Categories


Tags


360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令,以下为具体说明:

1. user-agent

360搜索各产品的爬虫user-agent为:

- 网页搜索 360Spider

- 图片搜索 360Spider-Image

- 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。


Public @ 2019-06-30 16:09:34

URL如何优化?网站url链接形式这样去做,利于优化

URL该如何优化?方法如下:1、URL越短越好对于搜索引擎来说,只要URL不超过1000个字母,收录都没有问题。不过真地使用几百个字母的URL,用户看着费事。另外短的URL也利于传播,做链接时短的URL复制没有什么问题,长的复制也费劲,有时不能完整复制下来,容易出现404错误。2、避免太多参数尽可能地使用静态URL。如果技术上不能实现静态URL,那动态的URL必须减少参数。一般建议2~3个参数之内

Public @ 2016-11-17 16:12:00

robots.txt文件有什么必要?

什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。robots

Public @ 2018-10-22 16:09:22

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可

Public @ 2014-06-20 16:08:58

更多您感兴趣的搜索

0.402519s