# ==========================================
# 漫蛙漫画 - robots.txt
# 搜索引擎爬虫访问控制文件
# ==========================================

# 允许所有爬虫访问
User-agent: *

# 允许访问的路径
Allow: /
Allow: /sitemap.html

# Sitemap 位置
Sitemap: https://www.manwac.cc/sitemap.xml
Sitemap: https://www.manwac.cc/sitemap.html
Sitemap: https://www.manwac.cc/rss.xml

# 禁止访问的路径（根据实际情况调整）
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /tmp/
Disallow: /*.json$
Disallow: /search?q=*

# 特定爬虫规则
# 百度
User-agent: Baiduspider
Allow: /
Allow: /sitemap.xml
Crawl-delay: 1

# Google
User-agent: Googlebot
Allow: /
Allow: /sitemap.xml

# 360搜索
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 搜狗
User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

# ==========================================
# SEO优化提示
# ==========================================
# 1. 定期更新 sitemap.xml 以反映网站内容变化
# 2. 确保 robots.txt 不会意外阻止重要页面
# 3. 使用百度站长平台、Google Search Console 提交 sitemap
# 4. 监控爬虫访问日志，及时调整规则
# ==========================================