网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
问题：网站不备案，会不会影响优化收录?能影响多少呢回答：1、不备案的站点信任度会比备案的站点低一些，但是起不到决定因素。2、不要选用海外服务器，可以使用、香港、台湾，这样响应速度会好很多，这对网站而言是最重要的！要知道，百度的蜘蛛主要在国内！如果抓取缓慢，频繁超时，网站就不会有好的排名！来源：A5营销
Alone 提问于 3年 之前ZAC老师您好，一路看着您的博客成长起来，让我学习到更多的不仅仅是SEO技巧本身，而是更好的理解SEO的价值在哪里，SEO的未来在哪里，并为此提前做好准备。我希望搭建一个个人博客，撰写原创的一些SEO文章。目前考虑到的有HEXO在内的一些静态博客，想请教下ZAC老师： 您的这个博客是用框架搭建的吗？是什么框架呢为了SEO，哪个开源的博客框架更好些？比如支持各类型的链接
？ 1. 通过robots.txt可屏蔽Google、Baidu、Bing等常见的网站搜索引擎的抓取; 2. 通过User Agent阻止未知垃圾爬虫或无流量搜索引擎，通过历史行为表明该蜘蛛具有不良意图抓取数据; 3. 通过代理服务器设置黑名单，可以限制不同来源IP的访问； 4. 通过验证码屏蔽爬虫或机器人，使搜索结果不准确、不可用; 5. 通过网络防火墙设置黑白名单，阻止一些特定的网站
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。如何查看网站被百度抓取的情况？查看日志的方式：通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同，不
