以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁IP 通过封锁搜索引擎抓取页面的IP地址，阻止搜索引擎访问指定页面。 5. 禁止链接 不在其他页面链接到需要禁止搜索引擎收录的页面，从而使搜索引擎无法发现该页面。 需要注意的是，以上方法并不能保证完全禁止搜索引擎收录网站，但可以有效减少搜索引擎抓取页面的可能性。同时，应该确保禁用搜索引擎收录的页面不会影响网站整体性能和用户体验。
搜狗严格遵循搜索引擎Robots协议，详细内容，参见http://www.robotstxt.org/您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被搜狗收录。如果您的网站在被搜狗收录之后才设置robots文件禁止抓取，那么新的robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots.txt禁止收录以前搜狗已收录的内容，从搜索结
“百度搜索结果右侧的小图标是错误的，如何修改？”也就是上图中所标示的位置。出现这样的情况网站管理员比较头疼，上周在VIP大讲堂学员微信群里，蘑菇街SEO人赵伟急火火地问：搜“美丽说”，右侧我们蘑菇街的图标是错的，怎么改？急急急！为此，院长走访了专门负责此类投诉的同事，协助赵伟走了一遍流程，发现搜索结果右侧图标还是很好改的嘛。下面就让我们看看蘑菇街SEO人赵伟做的经验分享。背景是这样滴：某日Boss
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后