# =========================================
# robots.txt for lemonmedia.cn
# Updated: 2026-10-16
# Purpose: SEO + GEO (Generative Engine Optimization)
# 策略：放行所有 AI 实时检索/引用爬虫
#      禁止 AI 训练类爬虫白嫖内容训练模型权重
#      屏蔽后台、搜索结果、草稿等无意义页面
# =========================================

# =========================================
# 1. 通用规则（所有爬虫）
# =========================================
User-agent: *
Allow: /
Crawl-delay: 1


# =========================================
# 2. 常规搜索引擎（Google / Bing / Baidu / Sogou 等）
# 全站放行，确保传统搜索收录
# =========================================
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-News
Allow: /
User-agent: GoogleOther
Allow: /
User-agent: Bingbot
Allow: /
User-agent: msnbot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: Sogou web spider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: YisouSpider
Allow: /

# =========================================
# 3. AI 检索 / 实时引用类（GEO 核心，必须放行）
# 这些 Bot 会在对话里引用你的 URL 并给链接
# 放行 = 提高被豆包/DeepSeek/ChatGPT/Perplexity 引用的概率
# =========================================
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Bytespider
Allow: /
User-agent: Google-Extended
Allow: /

# =========================================
# 4. AI 训练类（选择性屏蔽：防白嫖训练集）
# 屏蔽后：不影响 Google 搜索收录
# 屏蔽后：不影响 ChatGPT Search / Perplexity 实时引用
# 屏蔽后：仅阻止内容被抓去训练 GPT/Claude/Gemini 模型权重
# 如需全放行（最大化引用率），删除下方整段即可
# =========================================
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Meta-ExternalFetcher
Disallow: /


# =========================================
# 5. Sitemap 声明
# =========================================
Sitemap: https://www.lemonmedia.cn/sitemap.xml