您可以在网站的 robots.txt 文件中添加以下内容，来阻止 Sogou 蜘蛛抓取您的网站： User-agent: Sogou Disallow: / 这会告诉 Sogou 蜘蛛不要访问您的整个网站。如果您只想阻止蜘蛛访问特定页面或目录，可以将 Disallow: / 替换为您想要屏蔽的 URL。例如： User-agent: Sogou Disallow: /admin/ Disallow: /private/page.html 请注意，这只是提示蜘蛛不要访问您的网站，而不是完全保证它们不会访问。某些蜘蛛可能会忽略 robots.txt 文件或对其进行解释有所不同。此外，此方法也无法阻止其他搜索引擎的蜘蛛。
sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置，使搜狗显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照，但搜狗搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
百度spider，简称Baidu Spider，是百度搜索引擎爬虫程序，主要用于收集互联网上的网页信息，以提供更好的搜索结果。Baidu Spider 负责从网页中抓取文字、图片、链接等信息，并将这些信息交给百度索引系统进行处理。Baidu Spider 会根据设置好的规则，定期抓取网页内容，以确保百度搜索引擎中有最新的信息。Baidu Spider 还能够支持对 AJAX、JS 等动态页面进行抓
内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被 sogou spider 丢弃。
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要几个星期才能体现出效果来，另外，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
