常用技术检查工具
选择要检查的文件或标记。每个工具都会说明发现了什么、问题在哪。
robots.txt 检查器
抓取或粘贴 robots.txt,测试指定网址和用户代理,并查看命中规则。
打开检查器按证据选择工具
使用能够回答问题的最小工具
每个检查器接收不同证据,也会返回不同类型的结果。最后一列与输出同样重要,因为技术检查不能被描述成收录、排名或引用证明。
| 问题与工具 | 输入 | 输出 | 不能证明 |
|---|---|---|---|
Robots.txt 检查器 哪条 robots.txt 规则适用于这个确切路径和用户代理? 检查一条规则 | 公开页面或 robots.txt 网址、粘贴的文件内容,以及路径和指定用户代理。 | 命中的规则组和规则、允许或阻止决定、语法问题、Sitemap 声明及抓取工具矩阵。 | 抓取工具已经访问、收录、排名或引用页面。Robots.txt 控制抓取,不控制是否进入索引。 |
结构化数据测试工具 页面或粘贴的 JSON-LD 能否解析,声明的类型和字段是否包含可用值? 测试 JSON-LD | 公开页面网址或一段 JSON-LD。 | 解析出的节点和类型、JSON 与结构问题、字段级证据、警告及具体修改方法。 | Google 富结果资格、标记与页面每个可见结论是否一致、排名或 AI 服务商是否使用。 |
llms.txt 生成与验证工具 能否创建或验证一个包含清楚章节和链接的小型 llms.txt 文件? 生成或验证文件 | 站点名称、简短摘要、章节名称和公开链接,或现有 llms.txt 文件。 | 可复制文件,以及对标题、摘要、章节、网址、重复链接和含糊标签的检查结果。 | 任何抓取工具会读取该文件,或它能够改善发现、检索、排名或引用。该格式是社区提案。 |
规范来源与适用边界
这些检查器依据公开规则,并刻意把不同问题分开。结果会影响生产站点时,请继续阅读对应原始来源。
RFC 9309:Robots 排除协议
定义兼容抓取工具应遵循的记录格式、匹配方法和访问结果。
规则判断正确,不代表抓取工具访问过网址,也不代表搜索系统已经收录。
阅读 RFC 9309Schema.org 入门指南
介绍用于描述实体和属性的共享词汇,并提供 JSON-LD 示例。
使用 Schema.org 类型本身不能让页面取得 Google 搜索功能资格。
阅读 Schema.org 指南Google 搜索结构化数据文档
说明 Google 如何使用结构化数据,并链接到具体搜索功能的要求与政策。
CiteCheckup 的结构检查是独立工具,不能替代 Google 富媒体搜索结果测试或 Search Console。
阅读 Google 文档llms.txt 提案
说明提议使用的 Markdown 文件、摘要、章节和资源链接格式。
它不是 Web 标准,提案本身也不能证明抓取工具采用或带来排名收益。
阅读提案