robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
一、什么是结构化数据工具？二、什么是开放数据格式？三、目前已开放哪些数据格式提交？四、提交的结构化数据都会展现结构化摘要吗？五、创建Sitemap时有哪些注意事项？一、什么是结构化数据工具？结构化数据工具是百度引入优质结构化数据的入口，现在互联网中的资源类型越来越多，内容越来越丰富，为了给用户展示更丰富的搜索结果，同时给予网站内容更合适的展现，提高搜索结果的点击率，我们推出了结构化数据工具。二、什
相信大家已经知道站长平台升级为搜索资源平台的喜讯啦~我们也收到了好多大大们的视频祝福，由衷的感谢所有发来贺电的小伙伴们话不多说，我们一起来看一下大大们都说了什么吧~来源：百度搜索资源平台
robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。对于Google来说，使用robots也未必能阻止Google将网址编入索
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
