# 「别人把 Spark 做得比我们好，我们活该输」：Databricks 创始人的创业复盘

> Training Data No. 27 中文精读

- 原标题：Databricks Founder Ion Stoica: Turning Academic Open Source into Startup Success
- 发布日期：2025-01-14
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/027-databricks-founder-ion-stoica-turning-academic-open-source-i-S_osYy.html
- 精读字数：约 5316 字（阅读约 12 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2013 年，Databricks 刚成立，创始团队干过一件很朴素的事：上 LinkedIn 数数据科学家。数完发现，这个人群跟数据库分析师、数据工程师比起来少得可怜。团队心里打鼓，最后靠另一个信号撑住了信心：美国顶尖大学那几年纷纷开设数据科学学位，人才供给在路上，市场会长大的。

几个月后，团队上门回访一批企业客户。这批客户当初冲着「数据科学」和「AI」的名义下单，用量涨得不错，看起来是写成功案例的好素材。结果一聊发现，**几乎没人在真正做机器学习**。

原因很接地气：想做机器学习，先得有数据。这些公司回头一看，自己连需要的日志都还没开始收集，更别提清洗和治理了。

讲这段往事的人叫 Ion Stoica，UC Berkeley 计算机科学教授，Spark 的缔造者之一，Databricks 和 Anyscale 两家公司的联合创始人，更早还创办过视频分析公司 Conviva。主持人给他的定语是：多家独角兽乃至百亿美元估值公司的创始人，学界和产业界都做到了顶级。

在红杉资本的播客 Training Data 里，他从 Spark 怎么被想出来，讲到为什么坚持开源自家大模型，再到他眼里下一个 Databricks 级别的机会藏在哪。信息量很大，值得拆开讲。

## 客户为 AI 买单，回访时没人在做 AI

Databricks 最早的定位，是给数据科学家做一个云上托管产品：笔记本加 Spark。选这个人群有个内在原因，Spark 诞生之初的目标之一，就是给经典机器学习算法提速、扩容。所以 Stoica 说，公司今天大举做 AI，某种意义上是绕了一圈回到原点。

产品做得不差，客户数涨得也快。交互式分析的计费比批处理更贵，这类负载很长时间都是公司收入的大头。当时他们也清楚数据科学是个利基市场，赌的是自己能在这个小市场里做出最好的产品。

然后就有了开头那次回访的尴尬。客户是按愿景下的单，用起来却全在做数据工程：收日志、清数据、做治理。团队没有沮丧，反而顺势调整，把数据工程师当成核心用户来服务，后来又一步步加上机器学习平台和开源模型支持，长成了今天的端到端数据与 AI 平台。

回头看，Stoica 把成功归功于运气和时机，但他也点出一个事实帮了大忙：**Spark 本质上是个数据处理工具，客户卡在数据这一步，恰好就是 Spark 最擅长的事。**

这个故事的另一面同样值得记下：客户嘴上说的需求，和他们真正被卡住的地方，中间往往隔着一整条数据链路。谁先看清这一点，谁就能接到下一波需求。

## 敢跟潜在对手握手：先让 Spark 赢

Databricks 历史上最出名的一步棋，是跟微软合作推出 Azure Databricks。Stoica 给了个数字：这家当时规模不大的公司，为此投入几十名工程师，干了整整一年。此前他们一直扎根在 AWS 上，这是一次不折不扣的重注。

更大的背景是，Databricks 从第一天就把合作当成战略。公司成立头一年，就跟 Cloudera、Hortonworks 签了合作，而这两家是 Hadoop 阵营的领头羊，帮客户部署和销售 Spark 服务，随时可能反过来跟 Databricks 竞争。后来他们甚至跟 Snowflake 也合作过一阵。谈判桌上，CEO Ali Ghodsi 出了大力。

逻辑是什么？Stoica 的原话很直白：

> 我们对自己有个要求，至少在 Spark 这件事上，要做出最好的产品。团队内部常说，如果有人给 Spark 做出了比我们更好的产品，那我们活该输。只要 Spark 赢了，我们就会赢。

他甚至把所有可能性列出来推演过：Spark 赢了产品输了；Spark 输了产品成了；两个都输；两个都赢。四格里他们押最后一格，路径是先集中力量让 Spark 成为数据处理的事实标准，再把 Databricks 做成跑 Spark 最好的地方。当时 Hadoop MapReduce 的时代已经肉眼可见地在落幕，Hortonworks 力推的 Tez 等新系统虎视眈眈，这场仗并不轻松。

> 你必须下注。你是一家小公司，不下注，怎么可能赢？

**通往山顶的路有很多条，重要的是选一条确实通向山顶的路，然后走到底。**这是他对创业者的建议。公司取名 Databricks，没叫 SparkLabs，因为团队很早就清楚，真要做到足够大，总有一天要走出 Spark。后来 Ray 和 Anyscale 复制了同一套打法：先把开源框架做火，再把公司做成它最好的商业载体。

主持人追问：没有微软这笔合作，Databricks 还能成为今天的 Databricks 吗？他的回答是能，可能慢一点。理由是 Spark 赢了之后，他们就能在所有云上提供最好的 Spark 服务。多云对大企业越来越有战略价值，谁都不想被单一云锁死，Confluent 这类公司吃的也是同一个红利。

## 演示很惊艳，产品要管所有情况

聊到当下的 AI 热潮，Stoica 先泼了盆冷水。今天的 AI 生态复杂度在飙升，应用早就过了调一次模型接口就完事的阶段，RAG、RAFT 这些提升准确率的技术成了标配。大家看到的那些惊艳演示，解奥数题、写代码，本质上都是找到了一个能打动人的例子。**演示只需要一个惊艳的案例，产品必须在所有情况下成立**，从演示到产品之间隔着一条鸿沟，要靠提升准确率、可靠性，压制幻觉，一寸一寸填平。

所以他把帮客户「选对战场」当成自己的工作之一：AI 能套上一千个用例，哪个用例对你价值最大？这个问题想不清楚，投入再多也打水漂。

想清楚之后，企业买模型的逻辑就浮出来了。Databricks 在 2024 年发布了自研开源大模型 DBRX，总参数 1320 亿、每次激活 360 亿的混合专家架构，编程能力对标甚至超过 Code Llama 70B。一家数据公司为什么自己训模型？他的答案围绕三个词：隐私、控制、可审计。

企业想知道用了哪些数据、基于什么数据做了什么决策，出了事要能回溯。模型能部署在自己的虚拟私有云里、用自己的数据微调，一切等价的前提下，企业永远会更倾向可控的那个。GDPR 和加州消费者隐私法已经生效，监管只会越来越多。开源之外，Databricks 的基因里全是开源项目，Spark 之外还有 Delta、MLflow，开源模型是这条线的自然延伸。

开源模型的门槛也没那么高。**它不需要在所有任务上完美，只需要在企业真正在意的场景里有竞争力，天平就会倒过来。**他也不讳言现状：大量企业今天仍在用 OpenAI 跑各种应用，微软也一定会推出保密性更强的产品。这是个动态过程，开源追近的速度比很多人预期的快。

这里要提他和实验室这几年力推的概念：复合 AI 系统（Compound AI Systems）。类比写程序：一个程序由很多函数和模块组成，AI 应用也一样。一个模型负责解析数据，数学题走一个模型，写代码走另一个，格式化输出再走一个，需要外部信息就调用搜索或计算器，还有小模型专门把用户指令转成函数调用。目标是让 AI 应用的开发、部署和管理，变得像写普通软件一样有章法。顺带一提，这套架构还让小模型有了用武之地，该用小模型的地方用小模型，成本跟着往下走。

拼起来之后，一件反直觉的事发生了：**用自己数据构建的复合系统，在推荐、编程助手这类具体场景里，可以打过最强的闭源通用模型。**原因很简单，你手里的领域数据，OpenAI 没有。Databricks 的 Unity Catalog 还能让系统知道数据的结构和含义，进一步抬高准确率。他的总结借了句老话：「关键在数据，笨蛋。」说到底，起决定作用的是数据。

成本问题他也给了个时间线：早期先验证价值，用最强的闭源模型没问题，成本先放一边；一旦确认某个用例真有价值、要规模化，控制、安全、成本就全变成硬约束，这时候开源模型加自有平台的价值才真正兑现。

收购 MosaicML（2023 年，约 13 亿美元）补的就是这块：既有数据，又有完整的训练和微调基础设施，为客户针对具体场景优化模型的成本大幅下降。编程助手是企业场景的重头，因为软件工程师太贵，像福特这样的大公司很难招到顶尖工程师，**让现有的人变得更高产，就是真金白银的生意**。

## 问题比解法值钱：Spark 是怎么被想出来的

整期节目里最值得反复咀嚼的，是 Stoica 的研究方法论。他给学生的建议只有一条：**顶尖学校的人都是好解题手，拉开差距的，是你选择解决什么问题。**

这套方法有土壤。伯克利的传统就是第一个跳进新领域：RISC 处理器、数据库、网络、传感器网络，还有开源的 Unix BSD 和 TCP/IP。Patterson 和 Katz 那代人开创的五年制实验室，由一群教授带着学生围绕一个愿景干五年，产出过 RISC、RAID 磁盘阵列、工作站集群这些改变行业的东西。实验室的钱来自产业界，他刚到伯克利时 DARPA 的资助断了，Google 给了每年 50 万美元、连给四年的支持，这个数字当时闻所未闻。钱背后，是紧贴产业的问题清单。

实验室还有个特点，机器学习、系统、数据库、网络的人挤在一起。Spark 的诞生就是这种碰撞的产物。触发点有两个：一个是机器学习大牛 Michael Jordan 的学生想参加 Netflix 的推荐算法大奖赛，数据量太大，Hadoop 慢得让人绝望，他的学生 Matei Zaharia 搞了个把数据放进内存的原型；另一个是他自己的公司 Conviva，做视频流分析，临时查询慢到没法用，解法同样是内存计算。

两个信号之后，他做了一次冷静的趋势核对：数据增长速度超过摩尔定律，单机装不下，必然要走多机；再看 Yahoo、微软等公司的 Hadoop 集群日志，发现绝大多数分析查询只扫最近的数据，很少碰全量。重要数据集能装进内存，内存容量还在快速变大。几个点连成线，Spark 就出来了。

学界有人批评他，说这些工作工程味太重，算不上学术。他的回应是：**做一套别人真正在用的系统，你就站在了理解新问题的最佳位置。**用户会以你没想到的方式使用系统，撞出来的坑就是下一批研究题目。反过来，不去构建系统的人，只能跑去 Google、微软问人家有什么难题，而那些问题人家往往已经有理由搁置。他挑问题的标准浓缩成一句话：去解决那些明天会比今天更重要的问题。

## 他押注的下一个问题

下一个 Databricks 会在哪？Stoica 给了两个方向。

第一个，重写整个软件栈。AI 应用的需求增长速度，远远超过单节点的算力增长，算上加速器也不够，业界狂造加速器，Nvidia 就是被这个缺口推上万亿美元市值的。基础设施同时变得极度异构：Nvidia、Google TPU、AMD、Intel，每朵云都在造自己的芯片，网络上还有 InfiniBand 和 RDMA。Spark 那个年代所有节点长得一样，现在完全不同了。**必须有一层软件把这些复杂性抽象掉，就像操作系统当年为开发者做的那样**，这是他判断会出大东西的地方。

第二个，从人机协作到自主运转的鸿沟。现在的大模型应用，客服、Copilot、问答、摘要，全是给人当助手，人在回路里。这类应用很好，但人不点头，系统就停摆，而地球上人数有限，人迟早成为瓶颈。要让系统自主运转，确定性、可靠性、准确率都得达到工程级标准。他期待有人把大模型应用开发变成一门真正的工程学科，用小组件搭出可靠的系统。

聊到学界现状，他明显忧虑。当年互联网是学界、政府、产业三方协作的样板，如今这个结构在 AI 领域断了：公司各自关起门做研究，学界没钱，政府投入不足。大学实验室花一两百万美元训个模型已经算阔气，OpenAI 和微软谈的是千亿美元级的数据中心。**他担心学者们被迫退到应用层做边缘创新，新模型架构的突破会越来越难。**稀缺确实能逼出创造力，但资源鸿沟会压缩整个社会的创新总量。他因此坚定支持开源模型，认为这件事不解决，美国和加州长期都会是输家。他自己算是幸运儿，实验室能从学界之外拿到资源，但他强调，创新可能来自任何角落，把场地拉平，总盘子才会更大。

快问快答里还有几个判断够劲：Nvidia 的市场份额五年内一定会下降，部分原因是它自己也不愿背上垄断的罪名，眼下最大的挑战者还是 Google 的 TPU；模型蒸馏效果出奇地好，用大模型的高质量输出训练小模型来压低推理成本，会是主流路线，前沿探索则仍然要靠越来越大的模型，这再次印证了数据的核心地位；他实验室里最让他得意的是 vLLM，一个一年的项目增长速度前所未见，他补了句，AI 时代连项目成长的速度都被压缩了，还有 Chatbot Arena，让他坐在第一排看整个大模型生态的演化。问他未来一五年最兴奋什么，他的答案是让 AI 系统更可预测、可验证、可调试，这些全是软件工程的功夫。

## 明天就能用的三件事

整期听下来，给读者的行动清单可以很短。

- **选项目先问一句话：这件事明天会比今天更重要吗？**跟着趋势的交叉点找问题，数据增长超过硬件、AI 需求超过单机算力，都是交叉点。热度会骗人，趋势不会。
- **先验证价值，再优化成本。**验证阶段尽管用最强的闭源模型，确认用例真有价值之后，再换开源模型、进私有环境、压成本，顺序别反。
- **把你独有的业务数据用起来。**微调加检索增强，或者搭一套多模型协作的复合系统，在垂直场景里完全有机会超过通用大模型。你手里的数据，就是别人没有的那部分答案。

最后用 Stoica 给 AI 创业者的原话收尾：专注问题，别专注热度，热度是情绪化的，不可靠。说服自己这是个好问题，说服自己能解决它，哪怕先解决一个小得多的版本，只要那个版本对客户足够有价值。没有银弹。