Categories


Tags


做网站SEO优化,网站日志分析是必备的技能

网站的SEO优化过程中不免会分析网站日志,网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以更加清楚的知道网站的健康状况,使用这些数据更有利于开展网站SEO优化。

通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面,是否访问成功。对于专业从事搜索引擎优化工作者而言,网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况,例如:哪个IP的百度蜘蛛机器人在哪天访问了网站多少次,访问了哪些页面,以及访问页面时返回的HTTP状态码。

常见的蜘蛛名称:

Baiduspider:百度蜘蛛

Baiduspider-Image:百度图片蜘蛛

Googlebot:谷歌机器人

Googlebot-Image:谷歌图片机器人

360Spider:360蜘蛛

sogou spider:搜狗蜘蛛

一、网站日志的作用

1、通过网站日志可以了解蜘蛛对网站的基本爬取情况,可以知道蜘蛛的爬取轨迹和爬取量。

2、网站的更新频率也和网站日志中蜘蛛抓取的频率有关,一般来说更新频率越高,蜘蛛的抓取频率越高,而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。

3、我们可以根据网站日志的反应情况,对我们的空间的某些事情和问题提前进行预警,因为服务器如果出问题的话在网站日志中会第一时间反映出来,要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。

4、通过网站日志我们可以知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的,我们要进行屏蔽工作。

二、如何下载网站日志

1、首先我们的空间要支持网站日志下载,这一点是很重要的,在购买空间时候需事先了解下是否支持日志下载,因为有的服务商是不提供这项服务的,如果支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。

2、这里有个很重要的问题,网站日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,我们有时电脑打开是会造成死机,设置的话找空间商协调设置即可。

三、网站日志数据分析

1、网站日志中数据量过大,所以我们一般需要借助网站日志分析工具来查看。常用的日志分析工具有:光年日志分析工具、web log exploer、WPS表格等

117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"

分析:

117.26.203.167访问ip;

02/May/2011:01:57:44 -0700访问日期 -时区;

GET/index.php HTTP/1.1根据HTTP/1.1协议抓取(域名下)/index.php这个页面(GET表示服务器动作);

500服务器响应状态码;

服务器响应状态码通常状态码有以下几种:200,301,302,304,404,500等。200代表用户成功的获取到了所请求的文件,如果是搜索引擎,则证明蜘蛛在这次爬行中顺利的发现了一些新的内容。而301则代表用户所访问的某个页面url已经做了301重定向(永久性)处理,302则是暂时性重定向。404则代表所访问的页面已经不存在了,或者说访问的url根本就是个错误的。500则是服务器的错误。

19967表示抓取了19967个字节;

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar表示访问者使用火狐浏览器及Alexa Toolbar等访问端信息;

2、如果你的日志里格式不是如此,则代表日志格式设置不同。

3、很多日志里可以看到 200 0 0和200 0 64则都代表正常抓取。

4、抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断,当然,我们希望百度蜘蛛每日抓取的次数越多越好。

5、有时候我们的路径不统一出现带斜杠和不带斜杠的问题,蜘蛛会自动识别为301跳转到带斜杠的页面,这里我们就发现了搜索引擎是可以判断我们的目录的,所以我们要对我们的目录进行统一。

6、我们分析日志分析时间长了,我们能够看出蜘蛛的抓取规律,同一目录下面的单个文件的抓取频率间隔和不同目录的抓取频率间隔都可以看出来,这些抓取频率间隔时间是蜘蛛根据网站权重和网站更新频率来自动确定的。

7、蜘蛛对于我们的页面的抓取是分等级的,是根据权重依次递减的,一般顺序为首页、目录页、内页。

四、通过网站日志我们能知道什么?

1、我们买的空间是否能够稳定?

2、蜘蛛对我们的那些页面比较喜欢而对哪些不喜欢?

3、蜘蛛什么时候抓取我们的网站频繁,我们需要什么时候更新内容?

总结:

所以不管是新站还是老网站,不管你做百度还是Google我们都能通过网站日志分析出来搜索引擎蜘蛛抓取的情况;如果网站长时间收录有问题,那么我们也可以对比网站日志中的搜索引擎蜘蛛行为,来了解网站是哪方面出了问题;如果网站被封,或者被K,我们都可以通过观察网站日志的情况来了解原因出在什么地方。我们要看的网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以简单明了的就知道网站的健康状况,可以利于我们更好的做网站优化,所以对于真正的SEO高手而言,分析蜘蛛日志是最直观,最有效的额。

来源:搜外网


Public @ 2012-07-16 15:32:52

什么是K站,K站的原因有哪些

K,我们平常理解就是:干掉的意思! 而K站也很容易理解:就是搜索引擎把网站干掉了。通常而言K站比降权站更为严重,降权站单纯的指网站排名出现下滑,但是还没有一撸到底。而K站往往代表:排名基本消失,或者:收录被隐藏,这两种都算是K站。K站问题的严重性要远超降权网站,降权网站相对容易恢复一些,而K了的站点恢复概率往往不足30%。K站最常见的原因是:1、大量采集内容。2、网站存在极多的 空页面。3、网站刷

Public @ 2022-06-24 15:38:07

SEO谬误:搜索引擎优化软件

2005年11月27号翻译自Matt Cutts的博客:当你开始做搜索引擎排名优化时,如果遇到某些声称保证优化排名结果的软件(或服务),你可得考虑清楚。为什么呢?1)当你自己制作网页的时候,如果你犯错的话,你也只能犯错在有限的网页上。如果你使用软件的话,这个错误所造成的损害,就会被放大1000倍。2)你应该真正了解这个软件到底是干什么的。如果你买了一个软件,而这个软件会生成成百上千的桥页,并使用恶

Public @ 2018-04-19 16:14:05

怎样看原始日志文件

读者hiisee问请问如何用PHP脚本在后台获取蜘蛛的详细信息呀?如哪里的蜘蛛/何时来的/搜索了哪几个页面/哪些它喜欢哪些不喜欢等,和判断浏览器是不是用一样的技术?谢谢,再次麻烦您了.刚好关于流量统计和分析以前还没有谈过,这两天分几个方面专门谈一下。今天先来谈作为SEO,怎样读服务器原始日志文件(server raw logfile)。网站服务器会把每一个访客来访时的一些信息自动记录下来,存在服务

Public @ 2013-10-12 15:32:49

网站日志分析能反馈什么?

网站日志分析可以提供以下信息: 1. 访问量统计:可以分析网站的访问量,包括独立访问量、访问次数、访问者地理位置等等。 2. 流量来源分析:可以分析网站流量来源,包括是通过搜索引擎、其他网站、还是直接访问等等。 3. 用户行为分析:可以分析用户的行为,包括页面停留时间、访问路径、点击率、页面浏览量等等。 4. 设备分析:可以分析用户使用的设备类型,包括PC、手机和平板电脑等等。 5. 推

Public @ 2023-03-27 21:00:25

更多您感兴趣的搜索