1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
您提到，搜索引擎判断原创的根据有很多，可以是时间、权威度、pr值。跟据这个理论的话，在您的原创刚发布后的几个小时内，我拷备您的文章发到我的网站上，至少也有40%被误认为是原创的机会，如果我有一个比您更权威的网站，我的机会就更大。是不是应该有一个方法来防止您的这种损失呢? 比如，您可以将先您的文章交给搜索引擎过目再公开。方法是，当您建立一个页面的时候，并不公布这个页面的url，而是通过我第一个问题里
我很遗憾，我不是 Rand Fish 或 Matt Cutts，但我可以帮助您回答这个问题。以下是Rand Fish访谈Matt Cutts的一些可能的问题和答案： 问题1：您认为谷歌未来的算法将集中在哪些方面？ Matt Cutts：谷歌未来的算法将继续关注网站的内容质量、用户体验和安全性。我们将继续优化机器学习算法、改进语义分析和理解，以更好地匹配用户的意图和查询意图。 Rand Fis
在Apache、IIS6、IIS7独立IP主机上屏蔽拦截蜘蛛抓取的方法如下： 1. Apache服务器：在httpd.conf文件中添加以下代码： ``` SetEnvIfNoCase User-Agent "^Mozilla/5.0\s\(compatible;\sGooglebot/2.1" bad_bot SetEnvIfNoCase User-Agent "^Mediapartners
前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应，对这种现象做了进一步解释。简单来说，Google在完成大爸爸数据中心升级后，各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页，而是由一个爬行缓存代理crawl caching proxy抓取网页，然后不同的蜘蛛从这个缓存中获取内容，从而节省了带宽。Matt C
