通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
如果您想让搜索引擎忽略某些网页，可以使用"robots" META标签。以下是这种标签的写法： ```html ``` 上述标签将告诉搜索引擎不要索引或跟踪该网页。下面是一些其他常见的指令： - "index" 将指令搜索引擎索引该页面。 - "follow" 将指令搜索引擎跟踪此页面上的链接。 - "noindex" 将指令搜索引擎不要索引此页面。 - "nofollow" 将指令搜索引擎
以下是一些使用robots.txt文件的技巧和最好的做法： 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件，因为他们认为这是保护网站的安全措施，但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹，请务必更新文件以反映更改。 3. 不要使用ro
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
