Categories


Tags


通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。搜外网站后台日志分析结果如下图:image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。在robots.txt文件填写屏蔽规则如下:Disallow: /*.asp$Disallow: /*.php$Disallo

Public @ 2015-07-18 16:09:24

URL如何优化?网站url链接形式这样去做,利于优化

URL该如何优化?方法如下:1、URL越短越好对于搜索引擎来说,只要URL不超过1000个字母,收录都没有问题。不过真地使用几百个字母的URL,用户看着费事。另外短的URL也利于传播,做链接时短的URL复制没有什么问题,长的复制也费劲,有时不能完整复制下来,容易出现404错误。2、避免太多参数尽可能地使用静态URL。如果技术上不能实现静态URL,那动态的URL必须减少参数。一般建议2~3个参数之内

Public @ 2016-11-17 16:12:00

如何设置网站地址URL规范化?网址规范化会造成哪些问题

网站如果出现多个不规范的网址,分散了页面权重,影响搜索引擎爬行和排名。如何设置网站地址URL规范化?1、使用301转向,很多用户习惯搜索带www,把不带www的301转向到带www的页面即可。2、URL网址规范化,链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向,区别在于用户并不被转向,还是停留在原网址上面,而搜索引擎会把他当做是301转向处理,把页面权重集中

Public @ 2011-08-17 16:11:21

更多您感兴趣的搜索

0.459750s