Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
如果您不希望在您访问百度联盟网站时，百度基于cookie向您提供个性化的推广信息，可以通过隐私设置—个性化配置限制百度对cookie的使用。
如果您的站以前发布新文章收录快，而现在发布新文章收录得慢甚至不收录。可能的原因是搜狗微调了收录策略，而现在收录慢的网站均是未达到实时收录（秒级）要求的网站。如前所述，大型的新闻站、优质站点、地方优质门户网站，内容更新后才能够达到秒级的收录。若发生此类情况，站长们应该第一时间反省自己的网站是否达到了实时收录的要求，若确实符合要求，再进行申诉。来源：搜狗资源平台
如果您的网站没有被搜索引擎收录，可以尝试以下方法进行处理： 1. 检查 robots.txt 文件：确保您的网站没有被该文件禁止收录。您可以在网站根目录的robots.txt文件中查看并编辑。确保没有设置了类似"Disallow: /"的指令，这会禁止搜索引擎收录您的整个网站。 2. 提交网站站点地图：创建一个XML网站地图，并通过Google Search Console或其他搜索引擎的We
在站长群里，大家每天聊的无外乎就是网站的收录量，获得关键词排名地位等等，其中聊的比较多的就是网站的内容收录数量，有的网站约收录30%，有的网站则约收录70%，有的网站收录率可以达到100%.每一个网站的收录情况都是不一样的，所以，每当站长在讨论这个事情的时候，收录数量少的站长都会认为自己的网站没有做好，或者抱怨百度搜索平台不公平，特别对于新手站长来说，碰到收录页面数量较少的，更为头疼，根本无从下手
