1. 银行和金融机构的网站，因为这些网站可能包含敏感信息，例如客户的个人和财务信息。 2. 医疗保健机构的网站，因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站，因为这些网站可能包含受版权法保护的内容。 4. 政府网站，特别是警察局和情报机构的网站，因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站，因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感数据。 6. 个人博客，因为作者可能希望保护他们的个人信息不被未经授权的访问者访问。 7. 与职业有关的网站，例如律师和医生的网站。这是因为这些网站可能包含敏感的行业信息和未经授权的技术数据。
众所周知，百度对301转向反应非常缓慢，网上站长和SEO们的抱怨大把大把的。最近对这个问题又注意观察了一下。我这个SEO每天一贴是2006年开始写的，但那时候不是在seozac.com这个域名上，当初是在另一个域名的二级目录上。2011年1月才搬到这个域名。2011年3月的这篇帖子对换域名并做301转向的后续情况做过一些记录，简单说，百度和Google都在两个月之内完成了内容、权重等的传递。不过，
页面永久性移走（301重定向）是一种非常重要的“自动转向”技术。301重定向可促进搜索引擎优化效果从搜索引擎优化角度出发，301重定向是网址重定向最为可行的一种办法。当网站的域名发生变更后，搜索引擎只对新网址进行索引，同时又会把旧地址下原有的外部链接如数转移到新地址下，从而不会让网站的排名因为网址变更而收到丝毫影响。同样，在使用301永久性重定向命令让多个域名指向网站主域时，亦不会对网站的排名产生
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
obots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。如：https://www.seowhy.com/robots.txt 是有效的。https://www.seowhy.com/a/robots.txt 是无效的。以下3种情况需要注意：1、如果手机网站采用的是m.的二级域名，要给手机网
