Categories


Tags


通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。搜外网站后台日志分析结果如下图:image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。在robots.txt文件填写屏蔽规则如下:Disallow: /*.asp$Disallow: /*.php$Disallo

Public @ 2015-07-18 16:09:24

URL链接优化:网站各个页面采用怎样的URL符合SEO

| 概念解释动态链接:即指在URL中出现“?” 这样的参数符号,并以aspx、asp、jsp、php、perl、cgi为后缀的url。静态链接:是指网页地址或者网页链接中,不带有任何参数的URL。伪静态是指展示出来的是以html一类的静态页面形式,但其实是用ASP一类的动态脚本来处理的。通过浏览器访问地址和真的静态页面没区别。目录形式连接:https://tech.ifeng.com/c/8Ap2

Public @ 2011-12-15 16:12:01

如何设置canonical标签

首先需要明确一下什么是 canonical 标签。canonical 标签是告诉搜索引擎该页面的主 URL,防止搜索引擎将同一页面的不同 URL 误认为是不同的内容,从而造成重复内容的问题。以下是设置canonical标签的步骤: 1. 在网页head标签中添加canonical标签。例如: 2. 在 href 属性中填写该页面的主 URL。该 URL 应为该页面的标准或规范 URL,而不应是

Public @ 2023-06-09 13:00:10

更多您感兴趣的搜索