| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
URL是统一资源定位器，是一个指向网页的地址。URL里包含关键词是对收录有帮助的，因为搜索引擎可以通过URL中的关键词来判断网页的主题和内容。同时，URL中的关键词也有助于用户在搜索结果中快速找到相关页面。但是，过多地添加关键词在URL中会被搜索引擎认为是作弊行为，影响网站的排名。
GZIP是网站压缩加速的一种技术，对于开启后可以加快我们网站的打开速度，原理是经过服务器压缩，客户端浏览器快速解压的原理，可以大大减少了网站的流量。什么是GZIP答：GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNIX系统的文件压缩。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种数据压缩格
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
