停止讨论，打造实验机器

最近和我们的工程负责人聊天时，他提到了一个很多技术团队都在担心的问题：随着 AI 编码能力的提升，交付速度越来越快，会不会有一天没有事情可做了？我的回答是：完全不需要担心，这是一个典型的 Jevons 悖论。十九世纪蒸汽机越来越省煤，煤的总消耗量却不降反升，因为用煤便宜了，很多原本不值得做的事情就变得值得做了。AI 也是如此，交付成本下降，需求不会减少，只会爆炸式增长，变的是游戏规则。

在传统的产品开发中，大量时间花在讨论上。产品会议里，设计师说这个按钮应该大一点，产品经理说应该小一点，工程师说两个都能做，于是继续讨论……什么时候触发付费弹窗？定价策略是什么？交互界面怎么设计？像这样相对细节层面的问题，很容易陷入“公说公有理，婆说婆有理”的境地。

你可以提出论点，别人可以提出相反的论点。人类的理性（更准确说是 theory 和 reasoning）在这里会丧失太多的参考价值。你怎么说都可以：“我认为用户需要这个”，“我的体验是这样的”，“我觉得应该这样设计”……结果就是无休止的会议，开几个小时也没有结论。更糟糕的是，我们绝大多数的 hypothesis 其实都是错的。根据 Google、Microsoft 等公司的实验数据，只有 10-33% 的产品假设最终被证明有效，也就是说，67-90% 的假设会失败。这些基于想象和推理的假设，往往不符合真实用户的需求。问题在于，我们在用理性（reasoning）解决实证（empirical）问题，而实证问题的唯一答案在用户那里。

0 到 1 和 1 到 100

但这不意味着所有阶段都应该实验驱动，产品开发的不同阶段需要完全不同的方法论。0 到 1 阶段，你在寻找 Product-Market Fit，还在摸索用户真正需要什么，需要的是拍脑袋的直觉、快速迭代、深度用户访谈，以及做那些不规模化的事情。正如我在之前的文章中讨论的，PMF 之前过早追求 A/B testing 和增长黑客是徒劳的。Airbnb 的成功跟优化按钮颜色没什么关系，靠的是创始人 Brian Chesky 和 Joe Gebbia 亲自给纽约的房源拍照片，手工打造 10-star 体验。这个阶段，产品方向的判断要依赖 taste，也就是对用户人性的理解。如果你一直 A/B test 更好的马车，你永远无法发明汽车。

到了 1 到 100 阶段，你已经找到 PMF，有了稳定的用户流量，这时候需要的是实验驱动、数据验证、快速迭代和规模化优化。正如 Marshall Goldsmith 那句被广泛引用的话：“What got you here won’t get you there.” 这两个阶段的方法论截然不同，混淆它们，要么在 0 到 1 时陷入过度优化，要么在 1 到 100 时依然凭感觉拍脑袋。

实验驱动也不是万能的。它有明确的前提：PMF 已经确定，产品方向清晰，不再是根本性的探索；有足够的流量，能跑出统计显著的结果；metrics 定义清晰，知道什么重要、什么不重要。它也有需要警惕的陷阱。很多人误解了数据驱动，变成了 data-centric，为了优化指标而优化指标，追求 vanity metrics，最终伤害了用户体验。正确的做法是 data-driven but user-centric，数据是手段，用户价值是目的。你不能为了提升 5% 的转化率，就在用户刚进来时弹窗，牺牲整体体验。Brian Chesky 说得很清楚：如果为了优化短期 conversion 伤害了 10-star 体验，那就是在杀鸡取卵。

另一个陷阱是盲目追求 metrics。如果你定义错了 metric，或者过度追求某个 metric，那可能比不看数据更糟糕。Metric 应该反映真实的用户价值：如果你的 metric 是“视频生成数量”，你可能会优化出一堆低质量视频；如果是“用户能达到的平均视频质量”，你才是在真正解决问题。纯数据驱动还有个经典陷阱，就是 local optimization 和 global innovation 的冲突，它可能扼杀颠覆性创新。iPhone 推出的时候，批评者认为用户需要实体键盘；Airbnb 早期，传统观念认为没人愿意住到陌生人家里；Netflix 从 DVD 转向 streaming 时，短期数据确实是负面的。所以在 paradigm shift 的时候，需要人的判断和 taste；在优化阶段，需要实验和数据。

Momentum 就是护城河

正如我在之前关于实验文化的讨论中提到的，AI 除了提升生产力，还让我们能够把“我觉得”变成“我试了”。当实验成本大幅下降，讨论的必要性也随之消失。一个典型的实验循环是这样的：先定义清晰的 hypothesis 和成功指标；用 AI 辅助，几天内做出 MVP；灰度发布，先给一部分用户，不急着 100% rollout；第二天就能看到数据变化；然后快速决定继续、调整还是放弃。只要流量足够、PMF 得到确保，就不需要在会议室里争论几小时，可以直接把功能上线，让数据说话。

这个循环的关键是速度，从提出假设到验证结果，越快越好，这就是 momentum 在 AI 时代如此重要的原因。如果你可以 data-driven 地一天或一周做 5 个产品 feature 的 shipping 和实验，并且用数据验证这些东西有用还是没用，那你和那些还在开会讨论、撰写 PRD 的团队比起来，就是一个代际差距（generational gap）。就像你已经用上了核武器，而他们还停留在冷兵器阶段，这场增长的战役根本没法打。所以 momentum 本身就是护城河。HeyGen 的产品开发手册中有一段描述：“竞争对手一个月发布一个功能，我们发布五个实验。我们学习快五倍。这个学习复利成更优秀的产品。“速度的价值在于让学习循环转得更快，你快速交付的其实是学习。

这样快速迭代，自然会有人担心技术债和用户体验的一致性。我的观点是，technical debt 其实跟 financial debt 很像，它是一种杠杆，没必要躲着走。你用 technical debt 换取产品增长速度，在 AI 这个 momentum-defined 时代，这是合理的 trade-off。当技术债的增量超过增长速度时，才是停下来处理它的时候。

至于用户体验的一致性，快速实验确实会带来问题：同时跑多个实验，不同用户可能看到完全不同的产品界面，造成困惑，支持成本也会上升。但这是 feature gate 和灰度发布的问题。你不需要把每个实验都 100% rollout 给所有用户，可以先给新用户测试，可以只给 10% 的用户，可以分地区、分场景。关键是确保单个用户看到的体验是一致的，别让他今天看到按钮在左边，明天在右边。

造机器的机器

AI Native 公司的整个产品开发流程是从零开始按 AI-first 设计的，它和传统公司的差别在组织架构和思维模式上。HeyGen 在他们的产品开发手册中系统地阐述了这一理念：在 AI 时代，我们运行在一个没有稳定技术基础的环境中，每隔几个月 AI 技术就会发生巨大的演变，模型能力未知，变化迅速。传统的软件开发假设有稳定的基础，但在 AI 时代，这个基础每 2-3 个月就会改变。这种不稳定其实是机会，要做的是 ride the wave，别跟潮流对着干。

传统时代的思维是在稳定的基础上构建，为长期性做优化，提前 12-18 个月规划，打磨完再发布；AI 时代则是发布为了学习，多个实验并行。具体有几条原则。要区分什么会变、什么不变：模型会变，能力会变，但用户的核心问题和工作流不会变，所以系统要围绕不变的东西来建，同时乘上模型改进的浪。产品要设计成能自动改进的，GPT-5 出来时，你的产品应该自动变好，不需要重构，这就要靠抽象层，让产品体验 ride on top of AI advancement。架构要灵活，预期变化，版本化所有东西，系统要可替换。规划周期定为 2 个月，足够长，能做有意义的事，也足够短，能快速调整，正好和 AI 模型的升级周期同步。实际规划虽然是 2 个月，战略上却要预测 6-12 个月后的能力，提前布局。

Elon Musk 说过一句话：“It’s important to build the machine that builds the machine.” 我现在对这句话有了更深的理解。对产品有极致的细节追求是合理的，你也必须要有这样的追求。但这些追求不能是主观的“我认为好就好”，要有客观的衡量标准，这个标准就是用户是否喜欢，而用户是否喜欢，很大程度上由你定义的 metrics 和数据所佐证。所以，把你的产品优化 workflow 打造好，比打造好一个单独的产品重要得多，这就是我说的“build the machine”，也就是打造一条更好的生产线。

这个 machine 是一个完整的、能够自我进化的产品开发系统，能持续产出更好的产品，它有三个层次。一层是技术基础设施：feature flag 系统，用来快速开关功能、灰度发布；A/B testing 平台，支持多变量实验和统计分析；实时监控和分析工具，快速发现问题和机会；还有前面说的为模型升级设计的抽象层。一层是组织能力：用数据说话的实验文化；快速的决策机制，two-way door 的决策当天就做，不陷进共识陷阱；和模型升级同步的 2 个月规划周期；disagree and commit，速度优先，错了就快速纠正。还有一层是战略判断，也就是前面讲过的那些：metrics 怎么定义才反映真实的用户价值，怎么做到 data-driven but user-centric，什么时候靠 taste、什么时候靠数据，什么会变（AI 能力）、什么不会变（用户需求）。

这是一种 meta-capability：你优化的是“优化能力”本身。大多数初创公司不具备 build this machine 的能力，这也是为什么从 0 到 1 和从 1 到 100 是完全不同的问题。但在 AI 时代，这台机器已经非造不可了。

快速移动和追求卓越并不矛盾，快速移动反而是长期打造更好产品的前提。Moving fast 不意味着 shipping features quickly，而是意味着 delivering customer value quickly（以及 learning quickly），速度服务于终极目标：成为绝对最好的。HeyGen 的质量标准很清晰：对视频内容这样的创意工具，质量没有商量的余地，用户喜欢的是能以卓越品质解决问题的产品。他们的成功指标就是前面提到的，任何用户在平台上能达到的平均视频质量。我认为这才是正确的 north star。

回到开头那位工程负责人的担心。我认为 AI 不会让我们没事做，但我们做的事情会彻底变样。交付成本降下来以后，需求只会更多，拉开差距的是你还在用老办法应付新的游戏规则，还是已经把那台实验机器造起来了。所以他不用担心没事做，活不会变少，只不过以后花在会议室里争论的时间会少很多，省下来的时间都可以拿去跑实验。