百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
1、打开虚拟主机控制面板，找到 Apache/Nginx 配置文件； 2、在配置文件中添加如下语句：ErrorDocument 404 /404.html 。 3、在网站根目录创建 404.html 文件，里面可以添加提示用户的内容； 4、保存修改，重启网站，404 页面设置完毕。
| 概念解释动态链接：即指在URL中出现“?” 这样的参数符号，并以aspx、asp、jsp、php、perl、cgi为后缀的url。静态链接：是指网页地址或者网页链接中，不带有任何参数的URL。伪静态是指展示出来的是以html一类的静态页面形式，但其实是用ASP一类的动态脚本来处理的。通过浏览器访问地址和真的静态页面没区别。目录形式连接：https://tech.ifeng.com/c/8Ap2
在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用 现在写这篇文章在补充一点点知识!什么是robots.txt文件搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等)，自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件r
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
