先给结论:报告页数大于实际对象数量,通常是同一对象被拆成多行(URL 变体、参数、重复抓取)造成的,不是软件把对象数量算多了。去重的第一步不是删行,而是确定用什么做唯一标识,再决定哪些行保留、哪些改写、哪些退出。下面按可核对的顺序展开。
多个角色对“到底有多少个对象”理解不同,往往因为各自看的字段不同。核对前先区分三种情况:
?from= 参数、大小写域名、末尾斜杠差异的 URL 指向同一页面。这类应当去重。把这三类分开,分歧就从“谁的数字对”变成“我们按哪个字段对齐”。这是把争论转成可核对项目的关键动作。
去重必须有一个唯一标识。常见选择是规范化后的 URL、对象 ID 或“域名+路径”组合。选定后,建议做一次小规模验证(以下为假设示例,用于说明比较方法,非真实项目结果):
如果多行组里绝大多数是参数差异,说明唯一标识应选规范化 URL;如果多行组里混着分页和筛选页,说明标识要加上“是否可索引”这一判断维度。这个动作的结果会直接决定下一步是批量合并,还是先补一列标记再处理。
面对重复行,处理方式不是越干净越好,而是看该对象是否需要继续被跟踪。
三者可以并存于同一份报告:主表只留唯一对象,附一张明细表保留被合并的行。这样既让页数对得上对象数,又不丢原始证据。
当不同角色对数量仍有争议时,不要继续争论总数,而是把争议拆成可逐条核对的项目:
完成这一步后,下一步动作是更新报告模板:把唯一标识字段设为必填,把参数和大小写规范化写进生成规则。若下次报告页数仍与对象数不一致,先检查是否有新的 URL 变体进入,而不是直接怀疑软件统计错误。请求量或抓取量出现异常波动时,也不能单独据此断定去重正确,还需核对是否有抓取策略调整、站点改版等合理解释。
不同 SEO 推广软件对“页面”“对象”“URL”的定义并不统一,具体某款工具支持哪些去重规则、字段名和导出选项,需要以该工具当前文档或实际界面为准,本文不对未核实的功能和数值作断言。选择工具时,优先看它是否允许你自定义唯一标识和规范化规则,而不是看它默认给出多少行。默认行数多,往往只是把变体拆得更细,并不代表覆盖了更多实际对象。
把口径写进模板并固定下来,比每次临时争论更省事,也更容易在角色之间形成可复核的共识。