什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
目录什么是站内搜索？如何创建站内搜索？管理您的站内搜索基本信息搜索框样式提交数据结果页设置获得收入搜索干预统计信息附录什么是站内搜索？站内搜索全称为“百度自定义站内搜索（Custom Search）”，旨在帮助站长面向其站点用户低成本地提供高质量的搜索服务。借助站内搜索工具，您可以：自定义搜索框和搜索结果页的展现样式提交数据给百度，增加收录量关联广告位以获得收入根据需要进行搜索结果置顶、屏蔽等干预
以下是一个简单的 JSON 示例： { "name": "John", "age": 30, "city": "New York", "hobbies": [ "reading", "running", "traveling" ], "isEmployed": true } 该示例代表了一个人的基本信息，包括姓名、年龄、城市、爱好和是否就业等字段
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
