要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
网络危机公关是近一两个月非常热门的话题。三鹿联系百度，愿意出300万换取百度删除关于三鹿的负面新闻，使网络危机公关话题达到一个顶峰。网络上的危机事件常常起源于论坛，爆发于搜索引擎，所以搜索引擎、SEO与网络危机公关有着天然的联系。从事SEO的人现在都意识到控制负面新闻、进行名誉管理以及危机处理是SEO的强项之一，也有不少人写文章探讨。不过怎样利用SEO进行网络危机公关，大部分文章都没说到点子上，一
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
