名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
1：引导用户不要关闭网站，增强用户体验。2：防止网站出现死链接。
IIS网站服务器性能优化指南： 1. 优化硬件配置：增加CPU、内存、硬盘容量和网络带宽，以提高IIS网站服务器的吞吐和响应速度。 2. 优化IIS配置：调整IIS的连接和请求限制、缓存策略和安全设置，以提高网站的性能和可靠性。 3. 优化网站设计：采用有效的页面设计、清除过度的HTML、CSS和JavaScript代码、优化图片和多媒体，以减少资源的下载和浏览器的解析时间。 4. 优化数
尊敬的用户： 为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验，百度搜索于2020年10月27日发布了新版robots协议，主要特性包括： 1. 支持抓取控制与数据保护视角的并存 新增规定了两个特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便网站主在控制抓取行为的同时，保护网站内容的安全
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
