什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
站点属性指的是网站的特点和功能，包括但不限于以下几个方面： 1. 网站类型：这指的是网站所属的领域和类型，比如新闻类、论坛类、电商类、博客类等。 2. 网站规模：这是指网站的访问量、内容量、用户数量等方面的大小。 3. 网站设计：包括网站整体风格、色彩搭配、导航方式、布局等方面的设计。 4. 网站功能：指网站提供的各种功能，比如搜索、登录、注册、购物、评论、分享等，还包括网站的安全性、客服
欢迎您使用智能小程序平台！为使用智能小程序平台服务（以下简称“本服务”），您应当阅读并遵守《智能小程序平台服务协议》（以下简称“本协议”），本协议视与《百度用户协议》、《智能小程序服务商协议》、《智能小程序平台运营规范》等相关协议和规则视为一个整体，除非您已阅读并接受本协议及相关协议、规则的所有条款，否则，请您停止使用本服务。您使用本服务，即视为您已阅读并同意上述协议、规则等的约束。您有违反本协议
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
