robots禁止抓取图片
User-agent: *
Disallow: .jpg$
jpg可以代替为gif,png 等等...
来源:360站长平台
Public @ 2023-01-15 16:09:02
User-agent: *
Disallow: .jpg$
jpg可以代替为gif,png 等等...
来源:360站长平台
Robots META标签中没有大小写之分,name="Robots"表示所有的搜索引擎,可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
匹配方式分两部分:1.path部分,2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致,也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/",这样Robot就会禁止抓取图片。