做了伪静态，为什么网站日志里抓取的还是动态地址？
song 提问于 3年 之前
网站上线三个多月了，上线前就做了伪静态，目前被收录近万的页面都是伪静态地址，线上没有动态地址的入口，为什么网站日志里抓取的全部都是动态地址呢？
网兼吧 回复于 3年 之前
用robots.txt禁止抓取呢
3 个回答
Zac 管理员 回答于 3年 之前
如果搜索引擎蜘蛛没有在什么地方看到动态网址，蜘蛛不会把静态URL改写成动态的，搜索引擎无法知道页面是动态的还是静态的，即使猜测是动态改写成静态的，它也不知道对应的动态URL是什么样的。所以蜘蛛一定是在什么地方读到了动态网址。
可能是网站上你没注意的什么地方出现了动态URL，或者服务器由于某种原因，静态URL会被自动改写、转向为动态URL，或者服务器日志自动匹配为动态URL？
stevezhou 回答于 3年 之前
这个要具体看，宽泛的有很多原因可能会造成这种情况。
在js调用动态地址，是可能会被蜘蛛识别到的。
或者非SEO人员做了动态地址的外链。
或者些其它原因，比如你伪静态地址的实现方式。
…
黄小泉 回答于 3年 之前
一般很多大型的网站会出现这类问题，特别是上几十万页面的网站，这说明你的动态URL没有处理完成，不够全面！ 列举几个：
1、网站地图动态地址更换成伪静态地址，是否做了？（包括txt+xml+html格式的sitemap都检查下）
2、产品列表页面动态地址是否完善了？
3、搜索结果页是否做了？ 如果都做了，恭喜您没有了哈哈。。
来源：SEO每天一贴 Zac 昝辉
Public @ 2014-10-02 15:52:46