禁止收录机制
有些时候,站长并不希望某些页面被抓取和收录,如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接,或者使用JavaScript、Flash链接,使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面,其他网站可能由于某种原因出现导入链接,导致页面被收录。
要确保页面不被收录,需要使用robots文件或Meta Robots标签。
来源:搜外网
关于网站的URL设计,虽然很少有人问到院长,但是,院长却见过了各种各样五花八门的URL,现在,院长和大家聊聊什么是友好的URL设计1、在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可, 越简单越平常,越好2、不建议URL中含有中文字符,中文字符容易出现识别问题3、URL长度要求从www开始到结束,总长度不超过1024个字节4、避免无效参数,如ll等5、谨慎使用#参数,有可能会被爬虫
在Unix/Linux主机上设置的方法可以用.htaccess文件1. Apache模块 mod_alias的 Redirect 和 RedirectMatch命令上面提到2个命令使用方法相似。而区别就是后者RedirectMatch基于正则表达式匹配对当前的URL发送一个外部重定向语法为:Redirect [status] URL-path URLRedirectMatch [status] r
有些时候,站长并不希望某些页面被抓取和收录,如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接,或者使用JavaScript、Flash链接,使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面,其他网站可能由于某种原因出现导入链接,导致页面被收录。要确保页面不被收录,需要使用robots文件或Meta Robots标签。来源:搜外网