GUIDE
robots.txt 正確寫法與常見錯誤
robots.txt 位於網站根目錄，用來告訴守規則的爬蟲哪些路徑可以或不應抓取。它不是安全機制，禁止抓取的網址仍可能被看到或出現在索引中。
規則應保持簡單，修改後使用搜尋引擎測試工具確認。若頁面必須從搜尋結果移除，應使用 noindex 並確保搜尋引擎能抓取該頁讀到指令。
- 01
設定爬蟲
一般網站使用星號套用所有爬蟲。
- 02
新增路徑
分行填入允許與禁止抓取的路徑。
- 03
下載部署
下載 robots.txt 並放在網域根目錄。
← 回到工具箱
LOCAL · PRIVATE
robots.txt 產生器
用表單建立 robots.txt 的 Allow、Disallow 與 Sitemap 規則，立即驗證並下載。
資料只留在你的裝置
輸入、檔案與產生結果都不會上傳到伺服器。