# Kiddoo AI绘本创作平台 - 搜索引擎抓取配置
# 最后更新: 2025-09-05
# 网站: https://kiddoo.cn
# 描述: 专业的AI绘本创作平台，为儿童和家长提供智能化的绘本制作工具

# 允许所有搜索引擎抓取
User-agent: *
Allow: /

# === 屏蔽不需要索引的内容 ===
# API接口目录（保护后端逻辑）
Disallow: /api/
# 配置文件目录（安全考虑）
Disallow: /config/
# 工具函数目录（内部使用）
Disallow: /utils/
# 非关键JavaScript文件
Disallow: /assets/js/
# 测试相关文件
Disallow: /tests/
# 数据备份文件
Disallow: /backups/
# 临时文件和缓存
Disallow: /*tmp*
Disallow: /*cache*
Disallow: /*test*
Disallow: /*backup*
# JSON数据文件（除公开API）
Disallow: /*.json$
# 日志文件
Disallow: /*.log$
# 环境配置文件
Disallow: /.env*
Disallow: /.*

# === 允许重要静态资源被抓取 ===
# CSS样式文件（影响页面显示）
Allow: /assets/css/
Allow: /*.css$
# 公开资源目录（图片、图标等）
Allow: /public/
# 关键JavaScript文件（用户体验）
Allow: /assets/js/script.js
Allow: /assets/js/storybook.js
Allow: /utils/jsonCompat.js
# 重要页面资源
Allow: /pages/
Allow: /index.html
Allow: /storybook.html
# 图片资源
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.svg$
Allow: /*.webp$
Allow: /*.ico$
# 字体文件
Allow: /*.woff$
Allow: /*.woff2$
Allow: /*.ttf$
Allow: /*.eot$

# === 特定搜索引擎优化 ===
# Google特定规则
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /config/
Disallow: /tests/
Disallow: /backups/
# 允许Google图片爬虫
Allow: /public/
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.svg$

# 百度爬虫优化
User-agent: Baiduspider
Allow: /
Disallow: /api/
Disallow: /config/
Crawl-delay: 2

# 必应搜索优化
User-agent: bingbot
Allow: /
Disallow: /api/
Disallow: /config/
Crawl-delay: 1

# === 网站地图位置 ===
# HTTPS优先
Sitemap: https://kiddoo.cn/sitemap.xml
# HTTP备用
Sitemap: http://kiddoo.cn/sitemap.xml

# === 抓取频率控制 ===
# 通用抓取延迟（避免服务器压力）
Crawl-delay: 1

# === 性能和安全提示 ===
# 建议访问时间：北京时间 00:00-06:00（服务器负载较低）
# 网站主要服务中国用户，支持中文内容索引