1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
SPRIT 提问于 3年 之前是这样的，有一个新站，上线了13天，百度收录50多，但是内页的权重超过了首页，site首页不在第一位，从百度后台看到的展现量一般都是内页的关键词，首页几乎没有什么展现量问：怎集中首页权重，使site首页在第一位？注：标题我使用的是 深圳三菱空调维修_三菱空调售后_中央空调清洗_三菱官方指定【售后】有什么不妥的吗2 个回答Zac
第二期百度搜索公开课上线以来，讲师们分别从平台工具、搜索规范、搜索原理等方面为大家带来了不少干货，小编特地整理了重要的知识点，帮助大家更好地进行学习，快来一起看看吧！平台工具系列课程重要知识点Q1：PC端站点可以使用快速收录工具提交资源吗？不可以。快速收录工具仅限于提交移动端页面及移动端自适应的页面，并且页面浏览体验需要符合《百度搜索移动落地页体验白皮书5.0》的标准哦。Q2：如何才能提高资源提交
Win32 API 支持抢先式多线程网络，这是编写MFC网络蜘蛛非常有用的地方。SPIDER工程（程序）是一个如何用抢先式多线程技术实现在网上用网络蜘蛛/机器人聚集信息的程序。该工程产生一个象蜘蛛一样行动的程序，该程序为断开的URL链接检查WEB站点。链接验证仅在href指定的链接上进行。它在一列表视图CListView中显示不断更新的URL列表，以反映超链接的状态。本工程能用作收集、索引信息的模
* Apache：通过在网站主机的.htaccess文件中添加下面一行代码即可实现： `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6：打开IIS管理器，右键点击网站，点击“属性”，然后选择“文件夹”，点击高级，在高级属性中勾选
