内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。
链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。
如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。
重定向次数越多的页面，越有可能被 sogou spider 丢弃。
做网站优化的过程中很重要的一点，就是网站日志的分析。通过来访记录的日志文件我们能了解到网站出现的很多问题。以网站日志上的百度蜘蛛IP为例：123.125.68.*这个蜘蛛每每来，另外来的少，示意网站大概要进入沙盒了，或被者降权。220.181.68.*天天这个IP段只增不减很有大概进沙盒或K站。220.181.7.*、123.125.66.*代表百度蜘蛛IP拜访，预备抓取你工具。121.14.89
Win32 API 支持抢先式多线程网络，这是编写MFC网络蜘蛛非常有用的地方。SPIDER工程（程序）是一个如何用抢先式多线程技术实现在网上用网络蜘蛛/机器人聚集信息的程序。该工程产生一个象蜘蛛一样行动的程序，该程序为断开的URL链接检查WEB站点。链接验证仅在href指定的链接上进行。它在一列表视图CListView中显示不断更新的URL列表，以反映超链接的状态。本工程能用作收集、索引信息的模
sogou spider 对于同一个 IP 地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要过几天以后才会去更新。如果持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。如果您认为 sogou spider 对于您的网站抓取过快，请与我们联系，并最好能提供访问日志中sogou spider 访问的部分，而不要直接将搜狗spider的ua
sogou spider对于同一个IP地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要几天以后才会去更新。如果sogou spider持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。
