要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
1. SEO 排名受影响：如果网站的域名发生变化，搜索引擎会将其视为一个新网站，原有的搜索排名和关键字优化等都将失效，需要重新对网站进行 SEO 优化。 2. 流量下降：如果网站的域名发生变化或者网页内容大幅度改版，可能会导致之前的用户将无法找到该网站。这样就有可能使得网站的流量下降。 3. 品牌影响：品牌的信誉度是建立在用户对网站的认知度上的，如果网站域名或内容改变，可能会对品牌形象造成一定
当网站运营到一定程度，都会面对一个问题，就是关于子域名和子目录的选用的问题，那么到底该如何选择?子域名和子目录到底是哪一个更受搜索引擎青睐?很多企业网站就喜欢用二级域名感觉上更屌，更顺眼。但是我们考虑一下就不得不权衡一下搜索引擎的得分。《百度搜索引擎优化指南》里面有写到：选择使用子域名还是目录来合理的分配网站内容，对网站在搜索引擎中的表现会有较大的影响。目前seo行业对这个问题的回答也大多停留在理
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分:<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记:<meta name="Baiduspider" content="noa
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
