通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
1. 确定网站导航的关键词：根据网站的主题和内容，确定网站导航的关键词，把这些关键词放在导航栏中，以利于搜索引擎的识别。 2. 为导航分类命名：把导航栏中的分类用关键词来命名，并保持简洁清晰，不用过多的词汇，以方便用户和搜索引擎的识别。 3. 利用面包屑导航：在网站中使用面包屑导航，可以增强用户体验，也可以便于搜索引擎了解网站结构，从而提高网站的排名。 4. 避免使用Flash和图片导航：F
| 概念解释动态链接：即指在URL中出现“?” 这样的参数符号，并以aspx、asp、jsp、php、perl、cgi为后缀的url。静态链接：是指网页地址或者网页链接中，不带有任何参数的URL。伪静态是指展示出来的是以html一类的静态页面形式，但其实是用ASP一类的动态脚本来处理的。通过浏览器访问地址和真的静态页面没区别。目录形式连接：https://tech.ifeng.com/c/8Ap2
非标准扩展协议是指为特定需求而开发的协议，它们不是由标准化组织或工作组所制定的，并且通常只在特定的应用程序或系统内部使用。 在机器人领域，非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如，某些机器人可能需要与其他设备进行协同工作，因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时，非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如，一些机器人应用
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开