免费 AI 工具
ai.txt 检查工具
检查网站是否提供 AI 爬虫规则,并分析其 AI.txt 文件是否完整、是否符合最佳实践。
什么是 AI.txt?
AI.txt 是一项提议中的标准,帮助网站所有者向 AI 爬虫、大语言模型及其他 AI 系统说明自己的 AI 使用策略。就像 robots.txt 告诉搜索引擎爬虫可以访问哪些内容一样,AI.txt 专门针对训练、摘要和索引等与 AI 相关的活动。只要在域名根目录放置一个 ai.txt 文件,你的内容策略就能被 AI 代理机器读取。
网站为什么要创建 AI.txt?
掌控 AI 使用方式
明确 AI 系统能否抓取、训练或摘要你的内容,为数据的使用方式划清边界。
代理管理
允许或禁止 OpenAI、Anthropic、Google Gemini 等特定 AI 代理访问你的内容。
面向未来
AI 爬虫越来越多,有了 AI.txt,你的策略就能被它们发现,无需逐一更新多个系统。
与 robots.txt 互补
robots.txt 面向搜索爬虫,而 AI.txt 专门处理 robots.txt 当初没有考虑到的 AI 相关用途。
AI 爬虫如何使用 AI.txt?
AI 爬虫和语言模型访问某个域名时,会在 /ai.txt 或 /.well-known/ai.txt 查找 AI.txt。该文件告诉它们允许哪些类型的 AI 活动,以及哪些代理被允许或被屏蔽。随着 AI 公司逐步建立负责任的抓取规范,这一点正变得越来越重要。
AI.txt 示例
以下是 AI 网站检测器使用的 AI.txt 文件,可作为你编写自己文件的参考:
site: aiwebsitedetector.com name: AI Website Detector description: AI Website Detector detects AI website builders, CMS platforms, frameworks, and hosting providers from any URL. ai_crawling: allowed ai_training: allowed ai_summarization: allowed ai_indexing: allowed allowed_agents: openai anthropic google-gemini perplexity contact: https://aiwebsitedetector.com/contact sitemap: https://aiwebsitedetector.com/sitemap.xml
也检查一下你的 LLM.txt
LLM.txt 是一项互补标准,专注于为大语言模型提供背景信息。使用我们的 LLM.txt 检查工具 分析你的 LLM.txt 文件。