博客技巧-重复页面怎样排查：先查参数与分页，再处理正文近似
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8f78ea6062b9.html
📄
博客技巧-重复页面怎样排查：先查参数与分页，再处理正文近似
重复页面排查的第一步不是改文章，而是找出哪些URL内容相同或高度相似，再判断它们是否都能被访问、被链接、被收录。时间和人手有限时，优先处理“同一内容有多个可访问地址”的情况，因为这类问题最容易通过规范链接、跳转或参数处理快速收敛；正文近似但各自独立的文章，可以放到第二批处理。
先看哪些重复最值得优先处理
博客常见的重复来源可以分成三类，处理优先级不同：
- 同一篇文章多个URL：带参数、带跟踪码、带打印页、带评论分页、大小写或末尾斜杠不同。这类重复通常最值得先查，因为内容完全一致，处理方式明确。
- 列表与分页重复：分类页、标签页、归档页、作者页之间内容交叉，分页又互相指向。这类要看是否承担导航作用，不能一律删除。
- 正文近似但主题不同：系列文章、改版旧文、投稿与原文并存。这类需要人工判断保留哪一篇，不能只靠工具批量处理。
适用前提是你能拿到站点的URL清单和访问日志或抓取记录。如果连有哪些地址都不清楚，先做清单，不要急着改模板。
用三步把重复URL找出来
第一步，导出站点地图和内部链接里出现的全部URL，去重后按路径分组。重点看同一路径下是否出现问号参数、?replytocom=、?utm_、?print=、index.html与目录形式并存等情况。
第二步，对每组URL做实际访问检查。检查项包括：
- 返回状态码是否为200，还是跳转或404；
- 页面标题与正文是否一致；
- 页面里指向自身的规范链接写的是哪个地址；
- 是否有其他页面用可点击链接指向这个地址。
第三步，抽样在网页搜索里用site:配合完整标题或首段句子查一下，看同一内容是否以多个地址出现。这一步只作为线索，不能当作收录量结论，因为不同搜索引擎展示方式不同，结果也会随时间变化。
判断该保留哪个地址
同一内容多个地址时，保留规则可以按下面顺序判断：
- 优先保留简短、稳定、无参数的地址；
- 优先保留已经被内部链接和外部链接指向的地址；
- 如果两个地址都有链接，选内容更完整、更新更方便维护的那个；
- 不要因为某个地址“看起来收录更多”就保留带参数的版本，收录展示会变化。
确定保留地址后，其他地址的处理方式要区分：能改模板的，用301跳转到保留地址；只是访问参数造成的，可以在服务端或规范链接里指向无参数版本；打印页、评论分页这类如果对读者没有独立价值，可以跳转或加规范链接。不要对大量正常分页直接301到第一页，那会让读者无法翻页。
正文近似页面的处理条件
如果两篇文章标题不同但正文大段相同，先判断是哪种情况：
- 同一篇文章的旧版和新版：保留新版，旧版301到新版，并检查内部链接是否还指向旧版。
- 系列文章共用大段说明：保留各自独立地址，把重复段落改成简短引用或链接，避免整段复制。
- 投稿与原文并存：确认哪一边有授权和更新维护能力，另一边做跳转或撤下，不要两边同时保留全文。
假设一个博客有“写作技巧”和“博客写作技巧”两篇文章，正文重合八成，标题分别指向不同搜索需求。此时不能只看重合度就合并，要先看两篇是否真的解决同一个问题。如果读者意图相同，合并并跳转；如果意图不同，改写重复段落，保留两篇。这个例子只说明判断方法，不代表任何真实站点数据。
改完以后看什么信号
改动后不要期待固定时间见效。可以观察这些可核对信号：
- 重复地址访问时是否稳定跳转到保留地址；
- 页面源代码里的规范链接是否指向保留地址；
- 内部链接是否还有指向旧地址的入口；
- 站点地图是否只保留可索引地址；
- 抓取记录里重复地址的访问是否减少。
比较前后数据时，要同时考虑季节、搜索需求变化和统计工具采集差异，不能把一次波动直接归因于这次改动。
下一步：从访问量最高的十篇博客文章开始，各查一遍是否存在带参数、打印页或旧版地址，先处理能明确跳转的重复，再安排正文近似的人工判断。
