robots.txt文件的格式
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
User-agent: [robot名稱]
Disallow: [禁止存取的目錄或檔案]
Allow: [允許存取的目錄或檔案]
Sitemap: [網站地圖檔案位置]
注意事項：
- User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。
- Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不要與其他目錄或檔案混淆，否則會影響索引品質。
- Allow：機器人允許存取的目錄或檔案，若不設定，代表機器人可自由存取。
- Sitemap：網站地圖檔案通常是一個XML檔案，提供站點中所有的頁面、文章等連結資訊，可以協助搜尋引擎更精確地抓取網站的內容。在robots.txt中設定可以幫助搜尋引擎更快速地尋找該檔案，並進一步了解網站結構和相關信息。
Public @ 2023-06-17 03:50:02 整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容有且仅有借鉴意义。
