Categories


Tags


网站改版中关于robots.txt文件问题

zbwsmile 提问于 3年 之前

zac老师好,非常感谢你无私的正确的分享对我的SEO工作方面的帮助!

我的站点状况:我有一个老的PC站点(例:www.oldPC.cn,当时还没有对应的WAP站点)进行了网站改版,当时的做法是全站301到新的域名(例:www.newPC.com)下。目前建立一个独立的移动m站(例:m.newPC.com)。通过百度的site语句发现,如果site:m.newPC.com会直接展示原来的PC域名(www.oldPC.cn)。前几天刚把老域名在百度站长里更新了网站改版,正在观察。

我的问题是:oldPC站点的www.oldPC.cn/robots.txt 访问时也被301跳转到www.newPC.com/robots.txt 。我目前觉得这个不正常,网络上百度谷歌都没有相关说明,想得到您的分析与建议,另外如果zac老师或者其他同行看到我的网站描述有什么建议也欢迎交流,响应式移动站点可能最近开发这里做不了。谢谢!

1 个回答

Zac 管理员 回答于 3年 之前

网站换域名时,旧域名robots文件不要自动转向到新域名下的robots文件,并且旧域名robots文件最好删除所有抓取限制,这样搜索引擎在旧域名上的抓取都会被识别到转向至新域名。

zbwsmile 回复于 3年 之前

“旧域名robots文件最好删除所有抓取限制”,是什么意思?我目前操作是全部Disallow了

Zac 管理员 回复于 3年 之前

意思就是全部要allow,全部允许抓取,和你做的正相反。你disallow的话,搜索引擎不能抓,那怎么看到转向到新URL了呢?

Ella 回复于 2年 之前

zac老师,如果不换域名,只是换协议,从HTTP到HTTPS呢?robots文件需要跳转吗?

来源:SEO每天一贴 Zac 昝辉


Public @ 2013-10-12 15:53:42

2012年的时候,一些大神说站长已死,两年过去,真的死了吗?移动的时代,还有复活的机会吗?

夫唯:还有最后一个问题就是咱们在前两年在互联网上经常看到一些大神他们说站长已死,也就是普通的最传统的一个人做一个站这种事情已经成为过去。这两年,我们百度移动流量已经超过PC,我想说有没有在移动搜索的时代在百度的移动平台上通过做一个小站从低端获得更高的流量,像最初的PC端的小站的情况一样。王淘:我是觉得不管是PC还是什么现在都有蛮多机会,只是看大家思路到底是什么样子的。因为现在互联网上资源也极大丰富

Public @ 2011-12-20 16:04:55

TF-IDF分词加权算法有用吗?

TF-IDF分词加权算法是一种常见的文本挖掘算法,用于衡量一个词语在文本中的重要度。它对于某些任务例如信息检索和分类任务,是非常有用的。TF-IDF可以降低常见但不重要的词语的权重,并提高重要但不常见的词语的权重,因此可以有效地减少文本中的噪声,同时突出文本的关键信息。但是,对于某些任务(如情感分析),TF-IDF可能并不是最优解,因为它不会考虑词语之间的语义关系。因此,在具体应用场景中,需要根据

Public @ 2023-06-23 07:00:08

如何解决百度spider无法抓取的问题?

以下是一些可能导致百度Spider无法抓取的问题和解决方法: 1. 网站被禁止抓取:如果您的网站被禁止抓取,您可以尝试在robots.txt中解禁Spider,或联系百度官方客服解决禁止抓取问题。 2. 网站优化不足:如果您的网站优化不足,百度Spider可能无法正常抓取。您可以进行网站SEO优化,增加关键词、建立外部链接等。 3. 网站速度过慢:如果您的网站速度过慢,百度Spider可能无

Public @ 2023-03-30 19:50:29

更多您感兴趣的搜索

0.406014s