robots使用误区
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记：<meta name="Baiduspider" content="noa
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
