Categories


Tags


Robots.txt 文件应放在哪里?

obots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://www.seowhy.com/robots.txt    是有效的。

https://www.seowhy.com/a/robots.txt  是无效的。

以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。

来源:搜外网


Public @ 2018-08-20 16:09:23

Robots.txt 文件应放在哪里?

obots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。如:https://www.seowhy.com/robots.txt    是有效的。https://www.seowhy.com/a/robots.txt  是无效的。以下3种情况需要注意:1、如果手机网站采用的是m.的二级域名,要给手机网

Public @ 2018-08-20 16:09:23

网站伪静态和静态的区别,网站为什么要做静态URL?

网站伪静态和静态的区别静态URL1、加载的时候不需要调用数据库,响应速度快。2、纯静态网页是纯HTML格式的文件,因此不容易遭受黑客攻击,网站的安全性比较高。3、网站的简洁化提高用户体验度。伪静态URL1、后台发布文章的时候,可以实时更新内容。2、方便的实现对化化引擎的优化,并且比生成静态更加方便。3、缩短了URL的长度,隐藏文件实际路径提高了安全性,易于用户记忆和输入。4、占空间比较小。5、UR

Public @ 2013-06-28 16:11:06

robots.txt:如何让搜索引擎不要抓取没用的页面

| 什么是robots文件?Robots是站点与spider沟通的重要渠道,是网站与搜索引擎爬虫之间的协议,告知哪些可抓取哪些不允许。| 为什么要做robots文件?网站上总有一些页面是禁止蜘蛛抓取的。例如:搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件?编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All

Public @ 2019-03-13 16:09:27

更多您感兴趣的搜索

0.518846s