由于JavaScript可以创造很多吸引人的视觉效果，有些网站喜欢使用JavaScript脚本生成导航。这也是严重的蜘蛛陷阱之一。
据观察，有的搜索引擎在技术上可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对权重低的网站，搜索引擎觉得没必要，不会费那个劲。所以网站上的链接必须使用最简单标准的HTML链接，尤其是导航系统。用CSS做导航同样可以实现很多视觉效果。
JavaScript链接在SEO中也有特殊用途，那就是站长不希望被收录的页面（如无排名意义的页面，重复内容页面等），不希望彻底权重的链接，可以使用JavaScript脚本阻止搜索引擎爬行。
来源：搜外网
支持XML格式和TXT文本格式。
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
由于JavaScript可以创造很多吸引人的视觉效果，有些网站喜欢使用JavaScript脚本生成导航。这也是严重的蜘蛛陷阱之一。据观察，有的搜索引擎在技术上可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对权重低的网站，搜索引擎觉得没必要，不会费那个劲。所以网站上的链接必须使用最简单标准的HTML链接，尤其是导航系统。用CSS做导航同样可以实现很多视觉效果。JavaS
百度和google里面搜索我的站点，出现：“访问本页面，您的浏览器需要支持JavaScript”。到底怎么回事？比如：这几天发现在百度和GOOGLE里搜索自己的站点时都显示:访问本页面,您的浏览器需要支持JavaScript... 前几天还是正常的,网页都是纯的HTML,根本不存在浏览器是否支持的问题,请问是什么原因造成的呢?答案：我进行了一系列的分析，发现类似你这种情况的网站还很多。通过搜索“访
