先给结论:不要从“总数对不对”开始查,而要先确认这次导出是不是在分页边界上被截断。假设一个情境:你用网络营销自动化工具导出三个渠道的线索,导出完成后总数比预期少了约一页的量,重跑一次结果相同。此时更可能是分页游标或时间窗口的问题,而不是真的少数据。下面按这个情境说明怎么逐步定位。
同样是少一页,成因不同,检查动作也不同。先做一次分类,再决定往哪查。
这三种解释都能造成“少一页”,所以看到数量异常时不能直接断定是数据丢失。先判断缺失分布形态,再选检查方向。
假设导出目标是某渠道最近七天的线索,预期约一千二百条,实际拿到一千一百条左右。不要全量比对,先取边界样本。
这一步的实际作用是:把“总数差多少”换成“缺在哪一段”。如果缺失只在尾部,优先查分页终止逻辑;如果缺失在中间,优先查游标或去重规则。
分页本身没问题时,遗漏往往来自筛选条件的组合。重点看两处。
如果工具用邮箱或手机号作为去重键,而部分记录该字段为空,这些记录可能在合并阶段被丢弃。检查方式是:把导出结果按去重键统计空值数量,再和原始渠道的字段完整度对比。空值多,说明去重规则吃掉了记录,而不是分页漏了。
按“更新时间”做增量导出时,如果导出过程中有记录被回写,时间戳会跳到窗口之外。检查方式是:固定一个不再变动的时间段重导一次。若这次完整,说明问题出在增量字段的选择,而不是分页。这个动作的结果会直接改变下一步:改用创建时间或加长窗口重叠,而不是继续调分页参数。
抽样只能定位方向,不能证明完整性。是否值得做全量对账,取决于两个条件。
对账时注意:渠道后台的统计口径可能和工具不同,比如是否含测试数据、是否按去重后计数。差集里出现的记录要先核对口径,再判定是不是真的遗漏。把口径差异当成遗漏,会导致改错地方。
修完分页或筛选条件后,不要只看总数变多了就收工。用同一套边界样本重跑一遍,确认之前缺失的那一段已经出现,并且没有引入重复。具体做法是:对重导结果按唯一标识统计重复条数,重复为零,且边界样本齐全,才认为这次导出可用。如果重复条数不为零,说明窗口重叠设置过头,需要回调时间范围,而不是继续加大重叠。
整个检查顺序可以概括为:先看缺失分布,再用边界抽样定位,然后排查去重键和增量字段,最后决定是否全量对账。每一步的结论都会缩小下一步的范围,避免在分页参数上反复试错。