Robots协议的约束力
“Robots的约束力固然仅限于自律，无强制性，但这不等于说它背后反映的精神，没有法律基础。，让其切实有效地授权或者拒绝他人采集和使用其个人信息”，可见遵守规则就是要遵守公平竞争，不是没有强制力就可以不公平竞争。
例子
允许所有的机器人：
User-agent: *
Disallow:
另一写法
User-agent: *
Allow:/
仅允许特定的机器人：（name_spider用真实名字代替）
User-agent: name_spider
Allow:
拦截所有的机器人：
User-agent: *
Disallow: /
禁止所有机器人访问特定目录：
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
仅禁止坏爬虫访问特定目录（BadBot用真实的名字代替）：
User-agent: BadBot
Disallow: /private/
禁止所有机器人访问特定文件类型[2]：
User-agent: *
Disallow: /.php$
Disallow: /.js$
Disallow: /.inc$
Disallow: /.css$
非标准扩展协议
自动发现Sitemaps文件
Sitemap指令被几大搜索引擎支持（包括Google、Yahoo、Bing和Ask），指定了网站Sitemaps文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。Sitemap指令并不受User-agent指令的限制，所以它可以放在robots.txt文件中的任意位置。[3] 唯一要注意的就是要使用网站地图指令，<sitemap_location>,并将URL的"location"值换成网站地图的地址，
————————————————
版权声明：本文为CSDN博主「韩毓航」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Smileal/article/details/123867695
