Categories


Tags


robots.txt概念和10条注意事项

robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录,那怎么办?答案是:使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取,哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前,需先访问robots.txt文件,然后抓取robots.txt文件允许的路径,跳过其禁止的路径。总结:robots.txt是一个简单的.txt文件

Public @ 2019-12-20 16:09:22

Sitemap介绍

对于网站中希望360搜索抓取的网页url,站长可以将其制作成标准的Sitemap(站点地图)文件。站长提交后Sitemap文件后,360搜索会使用Sitemap中的内容来了解网站结构等信息,有助于今后更全面、更快速地对网站进行抓取。但我们不保证一定会抓取及索引Sitemap中所有网址,也不保证其在搜索结果中的排名。点此提交Sitemap网址

Public @ 2014-04-17 16:11:52

更多您感兴趣的搜索

0.575953s