robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
百度站长平台《VIP大讲堂》已在北京连续举办两期，收获颇多赞誉，为了让更多城市的VIP成员享受到此项特权，10月31日，《VIP大讲堂》走进上海百度办公室，来自携程、大众点评、前程无忧、返利网等30余家上海及周边城市的VIP俱乐部成员，现场聆听百度站长平台高级工程师孙权讲解《如何建设对百度Spider友好的站点》，全程2个多小时的讲解、互动、问答，大家仍然表示意犹未尽。孙工从百度Spider抓取、
反馈中心分类繁多，站点问题该如何有效反馈？针对反馈中心分类不清晰，投诉反馈引导不明的现象，反馈中心对反馈重灾区PC搜索版块进行了升级优化。本次升级亮点如下：1、反馈入口精细化，在PC搜索分类中，由原来的7个简单分类，细化为5大类、20小类反馈入口，站长可根据自己的具体问题进行分类反馈，问题定位更精准，解决问题更顺畅。2、简单问题可查询，PC搜索版块下每个小分类已给到简单的解释说明，帮助站长更好的排
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
