Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。301重定向是什么页面永久性移走（301重定向）是一种非常重要的“自动转向”技术。网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。301永久重定向对SEO无任何不好的影响，而且网页A的的权重都会传达给网页B，对于搜索引擎优化、网站优化来说，给搜索引擎一个友好的信息，告诉它
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
