网站robots正确写法 这些写的话百度搜索引擎收录快一些

Robots协议的约束力

“Robots的约束力固然仅限于自律，无强制性，但这不等于说它背后反映的精神，没有法律基础。，让其切实有效地授权或者拒绝他人采集和使用其个人信息”，可见遵守规则就是要遵守公平竞争，不是没有强制力就可以不公平竞争。
例子

允许所有的机器人：

User-agent: *
Disallow:

另一写法

User-agent: *
Allow:/

仅允许特定的机器人：（name_spider用真实名字代替）

User-agent: name_spider
Allow:

拦截所有的机器人：

User-agent: *
Disallow: /

禁止所有机器人访问特定目录：

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

仅禁止坏爬虫访问特定目录（BadBot用真实的名字代替）：

User-agent: BadBot
Disallow: /private/

禁止所有机器人访问特定文件类型[2]：

User-agent: *
Disallow: /.php$
Disallow: /.js$
Disallow: /.inc$
Disallow: /.css$

非标准扩展协议
自动发现Sitemaps文件

Sitemap指令被几大搜索引擎支持（包括Google、Yahoo、Bing和Ask），指定了网站Sitemaps文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。Sitemap指令并不受User-agent指令的限制，所以它可以放在robots.txt文件中的任意位置。[3] 唯一要注意的就是要使用网站地图指令，<sitemap_location>,并将URL的"location"值换成网站地图的地址，
————————————————
版权声明：本文为CSDN博主「韩毓航」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Smileal/article/details/123867695