网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
？ PC端收录移动端不收录是因为百度有不同的收录策略。为了保证PC端搜索体验，百度会更多地对PC端内容进行收录，移动端内容收录会比PC端较少。 解决方法： 1、制定有效的移动优化策略，实现PC和移动的统一； 2、在移动端充足标注，并在代码中便于爬虫抓取； 3、将移动端和PC端的网址分别提交到百度站长，加快移动端收录； 4、在PC端文章添加移动端相关链接，提升移动端收录。
百度权重是基于百度搜索引擎对于网站的评价体现的一个值，通过一系列的因素和算法计算而来。具体而言，主要是基于以下因素来计算：页面质量、网站访问量、页面反向链接数量、页面内容优化度、网站年龄等。这些因素都是百度搜索引擎平台进行评估和分析的重要依据，根据这些因素的综合计算，百度会给予网站相应的权重评分。通常来说，权重评分越高，会更容易获得更多的流量、排名等特定的优惠。
1、网站和页面权重。质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会更多内页被收录。2、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离近，页面权重越高，被蜘蛛爬行的机会也越大。3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道
网络爬虫（又被称为网页蜘蛛，网络机器人，查找引擎蜘蛛，在FOAF社区中心，更常常的称为网页追逐者），是一种依照必定的规矩，主动的抓取万维网信息的程序或许脚本，别的一些不常运用的姓名还有蚂蚁，主动索引，模拟程序或许蠕虫