robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
站点关联主体是指一个网站或应用程序中被认定为与该站点或应用程序相关联的实体，这些实体可以是用户、组织、角色、设备等等。站点关联主体通常用于授权和身份验证，以确保只有授权的用户或实体可以访问站点或应用程序的特定资源。
作者：百度站长平台 发布时间：2013年5月28日各位网站管理员，很高兴的通知大家，外链分析&拒绝外链工具在今天双剑合璧，华丽升级。升级后的外链分析工具可支持批量拒绝外链及撤销拒绝等管理，这是继开放全网外链查询、上线拒绝外链工具之后的又一次大的功能升级，方便站长将站长更好的分析及管理外链数据，帮助网站更好的运营。本次工具亮点：1、将拒绝外链功能整合到外链分析工具中
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
