Sogou spider User-Agent字段是一种用于爬虫程序中的HTTP报头，它是搜狗搜索的爬虫程序使用的字符串，其格式为："Sogou web spider/版本号(语言:语言代码;平台:操作系统)"，例如："Sogou web spider/4.0(Windows NT 6.1;zh-CN)"。该字段包含了爬虫程序的名称、版本号、语言和操作系统等信息。
Baiduspider抓取造成的带宽堵塞？Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至反馈中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。如果大家对百度spider还有别的疑问，大家可以到[学堂同学汇
sogou spider 对于同一个 IP 地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要过几天以后才会去更新。如果持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。如果您认为 sogou spider 对于您的网站抓取过快，请与我们联系，最好能提供访问日志中sogou spider 访问的部分。点此投诉spider抓取过快
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要几个星期才能体现出效果来，另外，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
