robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
手机百度是一款有6亿用户在使用的手机搜索客户端，在中文用户信息获取上发挥了不可替代的作用。优质合理的广告作为信息的补充，广受用户喜欢。在不久前，百度用户体验部针对用户进行了满意度调研，发现很多恶意低质的广告严重破坏着用户的搜索体验。为了让用户顺利地完成整个搜索行为，百度工程师、产品经理、用户体验专家每天设计迭代策略，坚决与低劣广告作战。同时，为了让百度搜索的重要合作伙伴——站点免遭流量损失，发布广
作者：百度站长平台 发布时间：2013年5月16日各位网站管理员：很高兴的通知大家，大家长期关注的百度站长平台网站异常消息提醒工具即将上线，只要您在站长平台提交了有效的联系方式，就能够及时接收网站在百度中异常的消息提醒，即使不在电脑旁也能及时了解网站异常，避免未及时了解网站问题而产生的流量损失。通过站点异常消息提醒，我都能及时了解哪些信息？百度抓取网站时存在的
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
