什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
亲爱的网站管理员：自百度搜索学堂创建以来，得到平台工作人员、百度内部工程师、百度外部专家和站长朋友们的大力支持，很多作者都是利用自己的业余时间不计报酬地分享着自己的知识和经验。但近日我们发现，许多媒体平台一直在转载搜索学堂的内容，却没有注明出处，甚至谎称为自己的原创内容，严重伤害了学院工作人员和作者的感情。百度搜索学堂欢迎各媒体平台转载我们的内容，帮助我们将内容传播给更多有需要的站长，但请尊重我们
百度站长平台服务升级，专注于为搜索引擎生态赋能，提供更加便捷和丰富的服务，让用户更轻松获取需求信息，并且加速Web站点的更新和改善。 百度站长平台服务升级，包括对已有服务的优化，以及新增功能，使站长能够更有效地掌握和更新搜索引擎信息以及优化站点。包括： 1、网站监控功能：帮助站长实时监测站点数据及搜索引擎信息，有效识别异常、快速发现问题，使站长能够做到及时决策、贴合个性化需求、加速站点优
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
