免費 AI 工具

ai.txt 檢查工具

檢查網站是否提供 AI 爬蟲規則,並分析其 AI.txt 檔案是否完整、是否符合最佳實踐。

什麼是 AI.txt?

AI.txt 是一項提議中的標準,幫助網站所有者向 AI 爬蟲、大語言模型及其他 AI 系統說明自己的 AI 使用策略。就像 robots.txt 告訴搜尋引擎爬蟲可以訪問哪些內容一樣,AI.txt 專門針對訓練、摘要和索引等與 AI 相關的活動。只要在網域根目錄放置一個 ai.txt 檔案,你的內容策略就能被 AI 代理機器讀取。

網站為什麼要建立 AI.txt?

掌控 AI 使用方式

明確 AI 系統能否抓取、訓練或摘要你的內容,為資料的使用方式劃清邊界。

代理管理

允許或禁止 OpenAI、Anthropic、Google Gemini 等特定 AI 代理訪問你的內容。

面向未來

AI 爬蟲越來越多,有了 AI.txt,你的策略就能被它們發現,無需逐一更新多個系統。

與 robots.txt 互補

robots.txt 面向搜尋爬蟲,而 AI.txt 專門處理 robots.txt 當初沒有考慮到的 AI 相關用途。

AI 爬蟲如何使用 AI.txt?

AI 爬蟲和語言模型訪問某個網域時,會在 /ai.txt 或 /.well-known/ai.txt 查詢 AI.txt。該檔案告訴它們允許哪些類型的 AI 活動,以及哪些代理被允許或被遮蔽。隨著 AI 公司逐步建立負責任的抓取規範,這一點正變得越來越重要。

AI.txt 範例

以下是 AI 網站偵測器使用的 AI.txt 檔案,可作為你編寫自己檔案的參考:

site: aiwebsitedetector.com
name: AI Website Detector

description:
AI Website Detector detects AI website builders, CMS platforms,
frameworks, and hosting providers from any URL.

ai_crawling: allowed
ai_training: allowed
ai_summarization: allowed
ai_indexing: allowed

allowed_agents:
openai
anthropic
google-gemini
perplexity

contact: https://aiwebsitedetector.com/contact
sitemap: https://aiwebsitedetector.com/sitemap.xml

也檢查一下你的 LLM.txt

LLM.txt 是一項互補標準,專注於為大語言模型提供背景資訊。使用我們的 LLM.txt 檢查工具 分析你的 LLM.txt 檔案。