Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
每个网页都需要有合适的标题，网站首页标题建议使用站点名称或者站点代表的公司、机构名称；其余的内容页面，标题建议做成与正文内容的提炼和概括，建议格式“页面标题_站点名称”，这可以让您的潜在用户通过搜索引擎结果中的标题快速访问到您的页面。充分利用网站首页或者频道首页的 description 标签，提供此网页内容的概括说明，形式为<meta name="description"
答：搜索引擎的蜘蛛的确是能够对404页面进行识别，但是蜘蛛去被动的识别网站的死链可能需要较长的时间，不利于网站及时清理在搜索引擎中已收录的死链，所以我们才在站长平台设置了死链提交功能。请站长在处理站点死链的时候，一定要注意收集整理好，然后前往站长平台进行提交。提交后，一旦验证死链真实性，将会比较快速地从搜索引擎删除提交的数据。提交链接：http://zhanzhang.so.com/?m=Dead
如果您想让搜索引擎忽略某些网页，可以使用"robots" META标签。以下是这种标签的写法： ```html ``` 上述标签将告诉搜索引擎不要索引或跟踪该网页。下面是一些其他常见的指令： - "index" 将指令搜索引擎索引该页面。 - "follow" 将指令搜索引擎跟踪此页面上的链接。 - "noindex" 将指令搜索引擎不要索引此页面。 - "nofollow" 将指令搜索引擎
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
