robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全问题。因此，对于任何一个网站来说，编写一个有效的robots.txt文件都是非常必要的。
优化URL是做SEO的第一步，一个好的URL有这些特点：1、层次越少越好有的URL很深很长层次很多，这种URL就对SEO不是很友好，一个适合SEO的URL应该是3层：第一层域名、第二层定义当前页面属于什么性质、第三层是当前页面的ID。2、分类页采用目录形式，内容页采用内页形式网站的栏目页面、分类页面，采用目录形式的URL，如www.xxx.com/abc；网站的产品页面、新闻页面、内容页面，采用内
很多的网站由于不懂SEO的优化，乱定义URL链接，或者更改URL链接，最终造成了‘一个页面多条URL的情况是非常常见的。最常见的是：伪静态链接、动态链接这样的。如果搜索引擎收录了非常多的‘混合’类型的链接，这样网站的评分就会被大幅度的降低了，这个时候最正确的方式：查看排名，如果排名中两个类型的链接都存在，那么就使用canonical标签来做权威链接的定义。如果只存在某一种类型的链接，那么就把另外一
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
