Categories

Tags

Robots文件是否支持中文目录

有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?

工程师解答：Baiduspider目前（2016年10月）在robots里是不支持中文的。

同学追问：那我们进行UrlEncode编码会不会支持呢？比如这种：http://www.a.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

工程师解答：robots文件支持这种写法。但是否生效，还要取决于当时BaiduSpider抓取的是哪种形式结构的链接，如果是UrlEncode编码就可以生效，如果是中文就非常不幸了。

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2013-01-02 16:08:54

不带www域名重定向到带www域名

在.htaccess文件中添加以下代码： RewriteEngine On RewriteCond %{HTTP_HOST} !^www\. RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L] 这段代码的作用是：首先打开Apache的重写引擎；然后检查HTTP_HOST是否已经是以"www."开头，如果不是，则执行下一行代码；最后执行

 Public @ 2023-06-23 12:00:08

404页面该怎么做？

404页面是指在网站中访问的页面不存在或者找不到时，服务器返回的错误页面，一般返回状态码为404。以下是404页面的制作建议： 1. 突出提示信息：应突出404错误提示信息，告知用户页面不存在，并给予建议或转到网站首页。 2. 留下联系方式：如果是用户信息输入错误导致的404页面，可以留下联系方式，方便用户与网站联系。 3. 美化页面设计：可以设计一张有趣、富有创意或者符合主题的图片作为40

 Public @ 2023-06-26 03:00:15

如何使用Robots避免蜘蛛黑洞？

蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接

 Public @ 2014-02-24 16:09:26

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开

 Public @ 2009-10-29 16:08:56

更多您感兴趣的搜索

0.413209s