360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
这是SEO过程中最经常碰到的问题，也是必须解决的问题。因为搜索引擎喜欢静态页面。从Web服务器的角度，这个问题转变为：如何将静态化的文件名称转化成参数。如何把动态链接静态化？需要两步来处理：1、把网页上带链接的地方，都换上新的静态化链接。搜索引擎和浏览器将通过该链接来发生请求。（有些人做修改不是在网页上，而是进行动态链接向静态链接的转向，这是严重错误的）2、在httpd.conf或.htacces
网站结构包含：“物理结构”和“逻辑结构优化”两部分。物理结构优化网站物理结构指的是网站目录及所包含文件所存储的真实位置所表现出来的结构，物理结构一般包含两种不同的表现形式：扁平式物理结构和树形物理结构。对于小型网站来说，所有网页都存放在网站根目录下，这种结构就是扁平式物理结构。采用扁平式物理结构的网站。这种扁平式物理结构对搜索引擎而言是最为理想的，因为只要一次访问即可遍历所有页面。但是，如果网站页
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
