先检查两组的分母是否来自同一口径。分组结论与总体相反,最常见的不是数据算错,而是分组用的分母在两组之间定义不同,导致同一指标在组内和总体之间不可比。
假设你按设备把落地页分成移动端和桌面端两组。移动端组内转化率高于桌面端,但合起来看总体转化率却更低。这种反转通常有两种解释。
第一种解释是辛普森反转:两组在总体中的权重不同。移动端转化率高,但移动端访问量占比很小;桌面端转化率低,却占了绝大多数访问。加权之后总体被桌面端拉低。这是真实的反转,分组结论和总体结论都成立,只是回答的问题不同。
第二种解释是分母错位。移动端组的分母是“进入落地页的会话数”,桌面端组的分母是“点击了主按钮的会话数”,而总体分母又是“全站会话数”。三个分母覆盖的人群不同,组内比较和总体比较根本不在同一集合上。这种情况下反转是假的,是口径造成的。
第一步,把每组的分子和分母都列出来,而不是只列比率。比率相同不代表构成相同。例如移动端 40/100,桌面端 90/300,总体是 130/400。单看比率,移动端 40% 高于桌面端 30%;单看总体,130/400 是 32.5%,仍高于桌面端,这就不构成反转。如果实际出现反转,分子分母的分布一定与直觉不同,先把数字摆出来才能看见。
第二步,检查分母的“可进入条件”是否一致。看每个分母是否都要求用户完成了同一前置动作。如果移动端分母只统计了加载成功的会话,桌面端分母统计了全部请求,那么桌面端分母里混入了根本没看到内容的人,转化率自然被压低。这不是设备差异,是统计口径差异。
第三步,做加权还原。把两组各自的分母占比乘以组内比率再加总,看能否得到总体比率。如果算不出来,说明总体分母不是两组分母之和,中间还有未分配的流量,比如直接访问、内部跳转或未识别来源。这部分流量必须单独列出,不能默认归入某一组。
假设某站按来源渠道分组诊断转化。搜索渠道组内转化率 5%,广告渠道组内转化率 3%,但总体转化率只有 2%。
先看分母:搜索组分母是“自然搜索会话”,广告组分母是“广告点击会话”,总体分母是“全站会话”。全站会话里包含了大量既非搜索也非广告的直接访问,而这些直接访问的转化率可能极低。总体被这部分稀释,并不是搜索或广告本身变差。
此时下一步动作不是去优化搜索落地页,而是先把直接访问单独分组,确认它的分母规模和转化表现。如果直接访问占比高且转化低,优先处理的是这部分流量的入口和意图匹配,而不是改动搜索组的页面。
能支持继续分组的证据:各组分母之和与总体分母一致,且加权还原能复现总体比率。此时反转是结构性的,可以按权重差异去解释,并决定是否需要按组分别设目标。
只能先修口径的证据:分母之和小于总体分母,或各组分母的可进入条件描述不同,或同一用户在两组间被重复计入。此时任何组内结论都不能直接推广到总体,必须先统一分母定义再重新计算。
实际动作上,先输出一张按组列出的分子、分母、比率和分母占比,再标注每个分母的统计条件。这个动作的结果会直接决定下一步是继续做分层诊断,还是回到数据采集环节修正口径。分母没对齐之前,分组结论和总体结论都只能作为待验证的线索,不能作为决策依据。