1、在网站地图的文本和超级链接里提及最主要的关键词短语，帮助搜索引擎来识别所链接的页面主题是什么。
2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。
3、提供文本链接到你站点上最主要的页面上；根据您的网站大小，网页数目的多少，甚至可以链接到所有的页面。
4、为搜索引擎提供一条绿色通道，使搜索引擎程序把主要网页迅速收录进去。
5、当用户查寻网站上原来看过的相关信息时，告诉他们如何去查询。只要在这一个网页内就可以得到所有希望查找的内容链接。
6、帮助搜索引擎轻松索引一些动态页面。由于一些页面将是动态产生，如果不是用户行为调用，将不会显示出来，可以将此链接放在您的网站地图上，以帮助搜索引擎来索引重要的动态页面。
用几个最常见的情况，直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....都放进robos?回复：举个例子：www点zikao365点com/robots.txt(指定xml地址)ww
1.进入360搜索站长平台，点击左侧菜单栏的“Sitemap”选项。 2.点击“添加Sitemap”按钮。 3.填写Sitemap的相关信息，包括Sitemap的URL、名称、语言、文件类型等等，最后点击“保存”按钮。 4.返回Sitemap列表页面，将新添加的Sitemap展开，点击“立即提交”按钮。 5.等待搜索引擎爬虫抓取Sitemap，并开始对站点进行索引。 6.查看S
