Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
为确保永久删除您的内容，请进行以下某项操作。如果您没有进行相应操作，那么您的网站稍后可能会重新显示在搜索结果中。A.如果网页已不存在，请确保服务器返回 404（未找到）或 410（不存在）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。B.如果网页仍存在，但您不想让其显示在搜索结果中，请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通
A.查看您的robots.txt文件，检查您有没有拦截sogou spider访问自己网站上的任何网址或目录。B.查看您的网站结构并确保其易于访问，大多数搜索引擎是基于文本的。如果您使用 JavaScript、DHTML、图片或富媒体（例如 Silver light）来创建导航和链接，那么，sogou spider在抓取您的网站时可能会遇到问题。请确保您的内容是可以读取的文本内容，以便用户和sog
很多人都遇到过百度收录减少的情况，最近百度收录也在减少，网站的收录和流量其实是有很大关系的，一般收录多的网站流量就好，这也不是绝对的，但是如果百度收录很少，那么网站的流量可能很低，所以，当百度收录减少时，必须分析一下为什么，如何解决，接下来北京seo就带着大家分析一下百度收录减少的原因。1、网站内容大量采集导致收录减少很多人在建站的时候，为了偷懒，于是就对其他网站上的内容进行了大量的采集，这样的大
搜狗会收录符合用户搜索体验的网站和网页。为促使搜狗Spider更快发现您的站点，您也可以通过网站收录提交单个页面申请收录，也可以通过使用搜狗站长平台pc站长工具中的sitemap提交申请批量收录。搜狗会尽量收录提供不同信息的网页，如果您网站上相同的内容可以通过不同形式展现（如论坛的简版页面、打印页），可以使用robots.txt禁止spider抓取您不想向用户展现的形式，这也有助于节省您的带宽。搜
