站点地图生成工具
Xenu Link Sleuth
可同时生成html格式地图（适用于小型站点）和XML格式地图。
XML Sitemap
在线生成工具，网站地址很多时，会比较浪费时间，要是生成所有的时候需要收费。
Sitemap Generator
强大的sitemap生成器，需下载安装客户端
Public @ 2016-09-21 16:09:53
1. 编写.htaccess文件 打开文本编辑器，输入以下代码： ``` RewriteEngine On RewriteCond %{HTTP_HOST} ^旧网址.com [NC,OR] RewriteCond %{HTTP_HOST} ^www.旧网址.com [NC] RewriteRule ^(.*)$ http://新网址.com/$1 [L,R=301,NC] ``` 将上面的
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
功能说明提交Sitemap工具可以向搜狗提交网站Sitemap文件，帮助搜狗spider抓取您的网站。目前Sitemap采用邀请制，您可在此工具下选择已验证的站点，并观察站点是否已被邀请。Sitemap提交后，搜狗搜索会根据Sitemap了解网站中的网址及关于每个网址的其他元数据（上次更新的时间、更改的频率等）。注意事项1.sitemap采用邀请制，当您的网站存在原创或不可替代内容或不能被搜狗sp
sitemapindex文件根节点必须是<sitemapindex>。sitemapindex文件编码必须为UTF-8，第一行为: <?xml version="1.0" encoding="utf-8" ?>。sitemapindex文件禁止使用命名空间，禁止使用规定之外的属性。sitemapindex文件大小不得超过5M，site