sogou spider User-Agent字段是什么?
- 威海Spider 威海sogou spider
- 2664
PC端UA为
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为
Sogou wap spider
来源:搜狗资源平台
Public @ 2010-04-23 15:38:50
PC端UA为
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为
Sogou wap spider
来源:搜狗资源平台
什么是BaiduspiderBaiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。来源:百度搜索资源平台 百度搜索学堂
* Apache:通过在网站主机的.htaccess文件中添加下面一行代码即可实现: `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6:打开IIS管理器,右键点击网站,点击“属性”,然后选择“文件夹”,点击高级,在高级属性中勾选
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面。
sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。