robots使用误区
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
网站结构的第二意义指的是链接结构，或称为逻辑结构，也就是网站内部链接形成的链接的网络图。比较合理的链接结构通常是树形结构。当然，对于搜索引擎来说更重要的是链接结构，而不是物理结构。不少人有误解，认为物理结构比较深的页面不容易被搜索引擎收录，比如说：http://www.seowhy.com/cat1/cat1-1-1/pageA.html如果这个页面在网站首页上有一个链接，对搜索引擎来说它就是一个
面包屑（Breadcrumbs）是一种用于进行网页导航的UI设计技术，它将当前页面的位置信息清楚的提示给用户，从而让用户在浏览网站时更加清晰，导航页面更加便捷。 面包屑导航的原理是类似于一个视觉式的系统路径，它跟踪其用户当前处于网站哪个部分，是用户在当前网页或者浏览器窗口中显示当前页面标题以及它所处网站结构位置的链式结构，它显示用户已经在网站中浏览过的路线，并且可以像浏览这个路线一样，把用户
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
