# 允许主流搜索引擎 + 国内外核心AI爬虫（覆盖国内主流AI平台）
User-agent: Baiduspider
User-agent: Googlebot
User-agent: Bingbot
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: YisouSpider
User-agent: Bytespider  # 字节跳动（豆包、火山大模型）
User-agent: CCBot       # 智谱AI（ChatGLM）
User-agent: ChatGLM-Spider  # 智谱AI专属爬虫（补充独立标识）
User-agent: Doubao-Spider   # 字节跳动豆包专项爬虫（部分场景使用）
User-agent: ErnieBot-Spider # 百度文心一言专项爬虫
User-agent: Zhipu-Spider    # 智谱AI备用标识（兼容旧版抓取逻辑）
User-agent: ChatGPT-User    # OpenAI（国外主流，保留兼容）
User-agent: Claude-Web      # Anthropic（国外主流，保留兼容）
User-agent: cohere-ai       # Cohere（国外主流，保留兼容）
User-agent: anthropic-ai    # Anthropic备用标识
Allow: /

# 禁止后台/敏感目录（统一小写+尾部斜杠，避免大小写问题和误屏蔽）
Disallow: /admin/
Disallow: /script/
Disallow: /plugin/
Disallow: /function/
Disallow: /update/
Disallow: /upload/
Disallow: /article-image/
Disallow: /data/
Disallow: /cache/
Disallow: /template/
Disallow: /language/
Disallow: /zuofadaquan/
Disallow: /caipu/
Disallow: /zb_users/
Disallow: /zb_system/

# 禁止敏感文件（精准匹配，避免空格和参数遗漏）
Disallow: /login.php
Disallow: /c_custom.php
Disallow: /c_option.php
Disallow: /cmd.php?*
Disallow: /search.php
Disallow: /view.php?*

# 禁止冗余/动态路径（优化参数匹配，合并冗余规则）
Disallow: /*?s=*
Disallow: /*?p=*
Disallow: /*/feed
Disallow: /atom.xml
Disallow: /rss.xml
Disallow: /comments/feed

# 禁止其他所有未明确允许的爬虫（白名单机制，保障安全）
User-agent: *
Disallow: /

# 站点地图声明（帮助爬虫快速发现页面）
Sitemap: https://www.taomingba.com/sitemap.xml