一句话: 一个合格的增长实验只需要四样东西:一句可证伪的假设、一个核心指标、一组护栏指标、事先定好的停止规则。AI 用来把想法改写成假设、给实验设计挑漏洞、按 ICE 给想法排优先级;下结论永远用数据,不用感觉。
很多增长实验失败,不是想法不好,是设计太随意。
今天改标题,明天改按钮,后天改价格说明,数据动了也不知道是谁的功劳。更糟的是"成功"了——按一个被污染的结论加大投入,亏得更快。
先把想法改写成假设
想法和假设的区别:想法是"我觉得改注册流程会更好";假设是"把注册从 3 步减到 1 步,7 日激活率会涨,因为大部分流失发生在第 2 步填资料"。后者能被证伪,前者只能被喜欢。
我想做一个增长实验。 当前问题是:[问题]。 目标用户是:[用户]。 请帮我把这个想法改写成可验证的增长假设。 输出:假设、目标指标、影响路径、实验风险。
盯"影响路径":AI 写不出路径的假设,基本是拍脑袋。路径写出来还有个用处——它告诉你该埋哪些点。路径是"看到新文案 → 点注册 → 完成第一步",这三个环节的数据就都得有,不然实验跑完只知道结果,不知道过程死在哪。
想法多的时候,让它按 ICE(影响 Impact、信心 Confidence、容易 Ease)逐个打分排序,分数你可以改,但排序的纪律要在。把老板的想法也放进同一张表里一起打分,讨论会从"做不做"变成"先做哪个"。
指标:一层不够,要三层
只看点击率是增长实验最大的陷阱。
请为这个增长实验设计指标。 包括:核心指标、辅助指标、护栏指标、观察周期。 请说明每个指标为什么重要。
| 指标层 | 作用 | 例子 | 常见错误 |
|---|---|---|---|
| 核心指标 | 判断成败,只能一个 | 注册转化率 | 一次实验定三个核心指标 |
| 辅助指标 | 解释为什么赢或输 | 各步骤流失率 | 拿辅助指标宣布胜利 |
| 护栏指标 | 防止赢了实验输了业务 | 退款率、投诉量、留存 | 不设护栏,转化涨了客诉爆了 |
新手最常犯的错是事后找指标:实验跑完了,翻数据找一个"涨了"的当成果。核心指标必须开跑前定死,而且只能一个,这条没得商量——两个核心指标一涨一跌时,你会临场发明解释,那不是分析,是辩护。观察周期也跟着指标走:点击当天能看,激活要等几天,留存要等满一个周期,拿第二天的数据判断 7 日留存,等于没做。
实验设计:把停止条件写进方案
请帮我设计这个增长实验。 输出:实验组、对照组、变量、样本范围、运行时间、成功标准、停止条件。
"停止条件"要写两种:正常停止(到样本量、到时间)和紧急停止(护栏指标恶化到某个程度立即下线)。没有紧急停止条件的实验,等于拿用户体验裸奔。样本范围也别想当然:只圈新用户还是全量用户,结果可能完全相反——老用户对任何改动都会先抵触一阵(变化厌恶),设计时想清楚你要回答的是谁的问题。
复盘:失败的实验也要入账
这是增长实验结果:[数据]。 请帮我复盘:假设是否成立、数据是否足够、可能干扰因素、下一步实验建议。
复盘最值钱的产出不是"赢了多少",是更新你对用户的认知:哪条假设被证伪了,以后不用再试。建一个实验台账,一行一个实验,字段固定:日期、假设、变量、核心指标结果、护栏有没有破、结论(证实/证伪/无效)、下一步。坚持记三个月,你会发现一半的新想法其实已经测过了。
这些坑别踩
- 同时跑互相污染的实验:两个实验改同一个页面,谁的功劳说不清;
- 中途改成功标准:核心指标不显著就换一个"显著的"宣布胜利,这是自欺;
- 把相关当因果:大盘涨了不等于你的改动有效,对照组就是用来防这个的;
- 小样本硬下结论:数据不够时,"显著"大多是噪音,宁可承认测不出来;
- 赢了就全量、从此不看:新鲜感红利会退,上线后效果衰减很常见,全量后至少再观察一个周期。
Glouth 怎么用
把想法改写成假设、设计指标、让 AI 当反方评审挑实验漏洞,用 Glouth Chat 就够。要把实验数据和用户行为接进内部系统做自动分析,看 Glouth Link;需要稳定开通 AI 订阅,看 Glouth Pay。
FAQ
Q:想法太多,先测哪个? 按 ICE 排序:预期影响多大、你多有把握、做起来多容易。让 AI 先打一轮分,你再按业务现实调,排第一的先上。
Q:产品流量小,做不了严格的 A/B,增长实验还做吗? 做,但换打法:前后对比加定性验证(用户访谈、灰度放量),并接受结论置信度低。小流量硬套统计检验,算出来的显著也是假的。
Q:实验失败了算白做吗? 被证伪的假设是花钱买来的信息。记进实验台账,标注"已排除",它会拦住三个月后想再试一遍的你自己。
Q:AI 在增长实验里最值的用法是什么? 反方评审。方案写完发给它:"假设你是评审,挑这个实验设计的毛病。"它没有你的沉没成本,挑出来的漏洞往往就是上线后真翻车的地方。
最后提醒
增长不是改出来的,是验证出来的。AI 帮你把想法变成可验证的方案,数据帮你判断真假,台账帮你不重复交学费。
想直接上手?
这篇讲的活,打开 Glouth Chat 就能干:GPT-5.5 / Claude 等模型中文直接用,不用翻墙、不用海外卡。想给自己的 ChatGPT 账号开 Plus 的看国内充值指南;要把 AI 接进自己的工具,走 Link API。