User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不要與其他目錄或檔案混淆，否則會影響索引品質。 - Allow：機器人允許存取的目錄或檔案，若不設定，代表機器人可自由存取。 - Sitemap：網站地圖檔案通常是一個XML檔案，提供站點中所有的頁面、文章等連結資訊，可以協助搜尋引擎更精確地抓取網站的內容。在robots.txt中設定可以幫助搜尋引擎更快速地尋找該檔案，並進一步了解網站結構和相關信息。
1.首先要对网站进行分类：例如把所有的网站按分类，可以按照新闻、购物、娱乐、学习等来划分； 2.根据每个分类的特点，分别挑选几个最受大家欢迎的网站，如新闻方面可选择新浪、凤凰等，购物方面可选择淘宝、京东等； 3.确定好标题，根据每一类的网站的特点确定最简单的和一个看到就能理解的标题，如新闻类可以确定为“新闻播报”，购物类可以确定为“精品购物”等； 4.确定好网站链接和图标，把各个网站图标
树状结构不是指的URL的层次，而是指的网站的结构，SEO优化网站结构一般来说网站结构为树状结构比较吸引搜索引擎喜欢，根目录下以目录形式分成多个产品分类，再每个产品分类放置属于这个分类的产品页面。举个例子：当你进入图书馆的时候，会看到图书馆以学科的内容分成几大类，每一大类下分许多小类，每一小类下再分子小类。最后，每一种书都可以分到某一个类目下，每一个类目都有一个类号 。同理搜索引擎希望网站的类目都是
obots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。如：https://www.seowhy.com/robots.txt 是有效的。https://www.seowhy.com/a/robots.txt 是无效的。以下3种情况需要注意：1、如果手机网站采用的是m.的二级域名，要给手机网
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
