# Robots.txt for 上海公司注册
# 上海拓毅企业管理咨询有限公司 - https://www.igongsi.cn/

User-agent: *
Allow: /

# 禁止爬取的路径
Disallow: /css/
Disallow: /js/
Disallow: /images/

# Sitemap位置
Sitemap: https://www.ty.711811.com/sitemap.xml

# 爬虫遵守的规则
Crawl-delay: 1

# 百度爬虫特殊规则
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

# 360爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 神马爬虫
User-agent: YisouSpider
Allow: /
Crawl-delay: 1

# Google爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Bing爬虫
User-agent: Bingbot
Allow: /
Crawl-delay: 1