1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
Sitemap文件标准格式： Sitemap文件通常是一个以XML格式编写的文本文件，其中包含URL信息和其他相关数据。Sitemap文件主要包含以下元素： 1. URL元素：用于指定页面的网址，并包含可选的数据，如最近的修改日期、相对于站点的相对权重等。 2. loc元素：为URL元素的子元素，用于指定页面的网址。 3. lastmod元素：为URL元素的子元素，用于指定页面的最近修改日期。
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
