Categories

Tags

robots.txt文件放在哪里?

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站 URL

相应的 robots.txt的 URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

http://www.w3.org:1234/

http://www.w3.org:1234/robots.txt

http://w3.org/

http://w3.org/robots.txt

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-01-09 16:08:57

什么是首选域设置

网站在做优化的时候有一个专业术语叫首选域，这个专业术语在很多SEO培训机构或者SEO行业前辈经验分享中都有提到过。那究竟什么是首选域的作用，网站如何设置首选域　　什么是首选域呢?　　网站的首选域类似于标准化URL，是搜索引擎索引中编制网页的域。在搜索引擎搜索结果中，指向网站的链接有www和非www网址格式。而所谓的首选域是我们希望网站在搜索结果中显示的格式。　　一般情况下，搜索引擎认为域名带www

 Public @ 2021-09-10 16:21:37

百度站长平台robots工具升级公告

亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的

 Public @ 2016-06-12 16:09:01

更多您感兴趣的搜索

0.477089s