📍 WDQWDWQD987AAAAA:216.73.216.124
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /617d4ad95cc5.html
📄

网站不被收录原因，改动前怎样保存原始状态：一份可执行留证清单

改动站点之前要保存的“原始状态”，核心是三样东西：改动前服务器实际返回的响应、页面当时的可见内容与元数据、以及搜索引擎已经抓取到的版本。只截图后台或只复制一份HTML文件都不够，因为排查收录问题时，需要证明“改动前是什么样”，而不是“我记得是什么样”。下面按项列出要查什么、怎么查、结果说明什么。

先保存服务器返回的原始响应，而不是渲染后的页面

浏览器里看到的页面经过JavaScript渲染和样式处理，与搜索引擎抓取工具拿到的原始响应可能不同。留证时应保存HTTP层面的原始数据。

• 要查什么：状态码、响应头、未渲染的HTML源码。
• 怎么查：用命令行工具抓取并保存，例如 curl -I https://example.com/page 看响应头，curl -s https://example.com/page -o before.html 保存原始HTML；同时记录抓取时间。
• 结果说明什么：如果状态码是200但正文为空、或返回的是JS壳，那么页面不被收录的原因可能出在内容交付方式上，而不是内容质量。保存这份响应，才能在改动后对比“是不是改动引入的”。

注意：curl 默认不带浏览器User-Agent，某些站点会返回不同内容。建议同时用搜索引擎官方抓取工具（如各搜索平台的URL检查工具）抓一次，并把它显示的HTML一并留存，两者对比才有意义。

保存robots.txt、站点地图与canonical的当时状态

这三项是收录问题里最常见的“改动前正常、改动后异常”的对象，必须留原件。

• 要查什么：robots.txt 全文、站点地图文件、页面里的 canonical 与 meta robots 标签。
• 怎么查：直接访问 /robots.txt 和站点地图地址，另存为文本；用“查看网页源代码”搜索 rel="canonical" 和 name="robots"，把所在行复制出来。
• 结果说明什么：如果改动前 robots.txt 就禁止了该目录，或 canonical 指向了别的URL，那收录问题在改动前就已存在，不能归因于本次改动。反之，若改动前这些均为放行且自指，改动后才出现异常，方向就明确了。

需要区分的是：robots.txt 的抓取限制只是阻止抓取，并不等于可靠的索引移除；被禁止抓取的URL仍可能因外部链接等原因出现在索引中。所以留证时要把它当作“抓取证据”，而不是“收录结论”。

保存页面可见内容与内部链接结构

收录判断依赖页面内容是否可被解析、是否值得索引，因此要保存“人能看到什么”和“爬虫能顺着走到哪里”。

• 要查什么：标题、正文首屏文字、主要导航链接、指向该页面的内链入口。
• 怎么查：对页面做整页截图或打印为PDF，标注日期；用浏览器“查看源代码”确认标题和正文是否出现在HTML中；记录从首页到该页面需要点击几次。
• 结果说明什么：如果正文只存在于JS执行之后，而原始HTML里没有，那么抓取工具可能拿到空页面，这是收录失败的常见技术原因。如果该页面没有任何内链指向，它可能长期不被发现，这与内容质量无关。

同样要分清“可能原因”和“已定位原因”：原始HTML无正文只是可能原因之一，还需结合服务器日志或抓取工具返回的内容确认，不能仅凭这一点下结论。

记录抓取与索引的当时证据

改动前的“原始状态”还包括搜索引擎那一侧已经形成的记录，这部分无法事后补录，必须在改动前导出。

• 要查什么：服务器访问日志中搜索引擎爬虫的抓取记录、搜索平台后台显示的已收录/已抓取状态、页面是否曾出现在搜索结果中。
• 怎么查：从服务器日志中筛选爬虫User-Agent，导出该URL的抓取时间与返回状态码；在搜索平台的站点管理后台导出或截图索引状态；用站点限定搜索确认页面是否可见。
• 结果说明什么：若改动前爬虫从未抓取过该URL，问题在“发现”环节；若抓取过但状态码异常，问题在“抓取”环节；若抓取正常却始终未收录，才需要考虑内容质量与重复度。这三种情况的处理方向完全不同。

不同搜索引擎的抓取与索引机制独立，上述证据要按搜索引擎分别留存，不能用一个平台的状态推断另一个平台。

留证时的操作顺序与判断标准

1. 先导出日志与后台索引状态，再动任何文件，因为这两项改动后无法还原。
2. 再抓取原始响应、robots.txt、站点地图、canonical与meta robots，统一放进带日期的文件夹。
3. 最后做页面截图和内部链接记录，标注抓取时使用的User-Agent。
4. 每份证据都记录“抓取时间+工具+原始输出”，不要只留结论性描述。

判断标准很简单：改动后如果收录状态变化，能拿出改动前的对应证据，说明变化发生在哪一层；拿不出，就只能靠推测。留证的目的不是保证收录，而是让“网站不被收录原因”的排查有可对照的基线。

下一步：在动手改动前，先按上面的顺序把日志、原始响应和索引状态各导出一份，存到独立目录并标注日期，再开始修改。