网站打不开，蜘蛛还会来吗？
贺贵江：短期打不开，请使用503错误来提示搜索引擎，时间长了的话，会影响的，因为长期打不开就相当于被屏蔽了。
Public @ 2013-02-23 16:04:49
贺贵江：短期打不开，请使用503错误来提示搜索引擎，时间长了的话，会影响的，因为长期打不开就相当于被屏蔽了。
纪峰 提问于 3年 之前zac老师你好，我看同行网站在权重上来后文章更新基本上都是搬运的，SEO情况还是很好，所以我想请教一下，我网站目前收录、权重都还不错，可不可以按照更新2篇原创+1篇搬运的文章更新。有些类型的网站对一个网站内容量有比较高的要求，这样做用户体验也更好，但碍于没有精力更新的全是原创。1 个回答Zac 管理员 回答于 3年 之前中文网站可以尝试这样做。百度的观点是，同样的内容出现在
，是指在某个博客网站上，将某一页以后的博客页面，在网站爬虫抓取过程中，添加一个noindex的网页头，从而避免这些博客文章被搜索引擎索引，这样有利于博客主页面被更多搜索引擎获取，提高网站搜索引擎流量。
针对apache、iis6、iis7独立ip主机屏蔽拦截蜘蛛抓取的方法如下： 1. 在网站根目录下新建一个robots.txt文件，添加以下代码： User-agent: * Disallow: / 这样可以禁止所有蜘蛛抓取你的网站。 2. 在服务器端安装mod_security模块并配置，可以使用以下命令： sudo apt-get install libapache-mod-secu
在Apache、IIS6、IIS7独立IP主机上屏蔽拦截蜘蛛抓取的方法如下： 1. Apache服务器：在httpd.conf文件中添加以下代码： ``` SetEnvIfNoCase User-Agent "^Mozilla/5.0\s\(compatible;\sGooglebot/2.1" bad_bot SetEnvIfNoCase User-Agent "^Mediapartners