# 全球顶尖语音研究员不到100人，ElevenLabs凭什么活过大模型围剿

> Training Data No. 91 中文精读

- 原标题：ElevenLabs' Mati Staniszewski: How Voice Becomes the Interface for Everything
- 发布日期：2026-05-08
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/091-elevenlabs-mati-staniszewski-how-voice-becomes-the-interface-93d824.html
- 精读字数：约 5207 字（阅读约 12 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2021年底，华沙。ElevenLabs联合创始人Piotr想和女朋友看部电影，女方不懂英语，只好切成波兰语配音。这一幕把他拉回了童年：在波兰，所有外语片都由同一个配音员从头念到尾，男角色女角色全是他一个人的声音，语调平得像在念说明书。

这个糟糕的体验至今还在。Piotr和高中同学Mati Staniszewski决定把它干掉，顺手做成了AI语音赛道最抢眼的公司。

红杉资本播客Training Data的主持人Pat Grady开场提问相当扎心：几年前有一派观点认为，ElevenLabs会被基础模型碾成“路杀”，大厂做基础模型，顺手就把语音做了。为什么你们还活着，还活得不错？

Mati的回答朴素得近乎无聊：专注，只做音频。但往深挖，这家公司四年的生存逻辑，值得每个做AI应用的人细读。

## 起点：一个配音员念完全片

Mati和Piotr的故事从15年前华沙的一间高中教室开始。两人读同一个IB班，选一样的课，在数学课上坐到一起，之后合租、同学、共事、结伴旅行，15年下来还是最好的朋友。公司起飞后，原本“再拼四周”的节奏一轮接一轮，两人后来才意识到这种强度会持续十年，索性约定：只做ElevenLabs，别的什么都不干。友谊被这场持久战反复锤打，反而更结实了。

创业前两人各有大厂履历，Mati在Palantir，Piotr在Google。周末凑在一起做hack项目：推荐算法试过，加密货币风险分析器也试过，后者没完全做成。2021年初，他们做了一个分析你说话方式、给改进建议的音频小工具，第一次摸清了语音领域的家底：说话人分离有哪些模型，语音生成的水位到哪里。

真正的灵光一现就是那次看电影。Mati在节目里回忆：

> 在波兰，你看的每一部外语片，所有声音，不管男声女声，都是同一个人在念。单调的旁白，体验糟糕透顶，而且这事到今天还在发生。我们当时就觉得，这一定会变。技术会让大家用原声、用那些了不起的声音享受内容，我们来把它变成现实。

时间点上，Transformer论文《Attention is All You Need》已经发表，音频却几乎无人问津。Mati解释，研究者大多涌向了LLM，一部分做图像，那些领域出结果快，也更吸引人。扩散模型、Transformer这些现成的创新，没人有效地搬进语音。

2022年，一个叫Tortoise-tts的开源项目给了他们第二次确认：这个模型复刻声音、生成语音的效果惊人，虽然不稳定，但让人看到了天花板。ElevenLabs后来干脆接管维护了它的v2版本。

**把Transformer和扩散模型带进语音，让文本转语音第一次真正理解上下文、带着情绪开口，这是ElevenLabs的第一块研究护城河。**但Mati补了一句，光有模型不够，怎么把体验交付给用户，同样决定胜负。

## 语音和文本，是两种工程

很多人默认语音是文本模型的附属功能。Mati从三个维度拆掉了这种误判。

算力上，语音模型比LLM小得多，训练和推理都省，这给了小团队跟大厂掰手腕的空间，算力劣势在这个赛道没那么致命。

数据上差别更大。文本数据拿来就能用，高质量音频既稀少，又常常没有对应的准确转写。更麻烦的是第三层信息：**不光要“说了什么”，还要“说得好不好”**，用了什么情绪，谁在说，夹了哪些非语言的声音。这类标注在高质量层面几乎不存在。ElevenLabs早期自建了语音转文本模型加人工标注的流水线，硬是把数据这关闯了过去。

模型上，语音生成预测的是下一个声音，文本模型预测的才是下一个token。而且语境可能藏在后面的话里。Mati举了个例子：“多么美好的一天”，听起来该用积极的语气读。可如果是“‘多么美好的一天，’我讽刺地说”，整句的意思全变了，重音落点也得挪位置。

声音本身的表示是另一项创新。行业常见做法是硬编码或预测性别、年龄这些特征，ElevenLabs跳过了这一步，让模型自己决定一个声音该有什么特征，再把文本语境和声音两个输入合并，生成最终输出。声音平静还是富有张力，都由这两个输入共同决定。

招人也跟着不同。Mati估计，**全世界做音频研究的顶尖人物大概只有50到100人**，靠开源作品和论文就能数出来。所以公司从第一天起就全远程，人在哪就在哪招。研究团队现在15人左右，研究员离部署极近，从做出东西到推给全部用户，周期非常短。研究团队之外还有一层别家少见的配置：声音教练，加上由声音教练培训的数据标注员，标情绪、复核质量。

## 出圈靠连环招

ElevenLabs的增长打法里有一条贯穿始终：**每个新模型先推给全体消费者和重度创作者，再自上而下打进企业。**理由有二：这批人尝鲜最快；而且新技术的用例，公司自己根本猜不全。

这个循环一直在转：新模型发布，铺给所有用户，重度玩家先玩出花，企业带着更高的可靠性要求跟进，然后下一个模型再来一遍。

第一次小规模出圈在2022年底的内测期。产品里有个只有一条推文长度的文本框，一位小说作者把整本书粘了进去，生成音频传上平台。当时多数平台封禁AI内容，但没人听出来，书还收获了不少好评。这位作者带着一群作者朋友杀了回来，第一个病毒循环就此启动。

2022年他们还发过一篇博客，标题就叫“第一个会笑的AI”，模型第一次能让合成语音笑出声，又收获一批早期用户。2023年初公开发布后，《哈利·波特》人物走Balenciaga秀场的病毒视频爆火，配音出自ElevenLabs。差不多同期，“无人出镜频道”兴起，创作者不露脸，全靠旁白撑内容，ElevenLabs成了幕后声源。

2023年底到2024年初，多语言和配音产品上线，绕回了最初的愿景：把音频搬进另一种语言，听起来还是原来那个人。有人拿它给唱歌视频配音，模型没为此设计过，效果像喝醉了在唱歌，结果又病毒了一把。

2025年之后的主角换成智能体。最出名的两个案例：一个和Epic Games合作，在《堡垒之夜》里复刻达斯·维达的声音，素材来自琼斯（James Earl Jones）生前授权的录音。数百万玩家排队跟黑武士聊天，多数人拿他当游戏伙伴，也有人变着法子想诱他说出不该说的话。Mati说产品扛住了，既保住表现力，也没脱轨。另一个是Lex Fridman采访印度总理莫迪，一个说英语一个说印地语，ElevenLabs把整场对话做成两个版本，英语版里莫迪说英语，印地语版里Fridman说印地语，后者在印度疯传。

还有《时代》周刊的年度人物实验，读者可以读文章、听文章，还能对着文章提问。以及和费曼家人合作做的费曼智能体，Mati最喜欢的物理学家。他设想，将来费曼的加州理工讲座或者《别闹了，费曼先生》都能用他的声音听，还能随时追问背后的故事。

## 客户要三样东西，瓶颈在语音之外

Pat Grady提到过去一年圈内的一个共识：整天吹跑分的公司，多半没抓住重点。Mati的回应更直接，尤其在音频领域，跑分和真实体验的脱节相当严重。客户真正在乎三样：

- **质量**。表现力如何，英语和其他语言分别什么水准。这是第一位的，质量不过关，其他免谈。不同场景阈值不同，旁白、智能体、配音各有各的及格线。
- **延迟**。压不下来，对话式智能体根本立不住，难点在质量和延迟的权衡组合。
- **可靠性**。能不能规模化部署，像《堡垒之夜》那样几百万人同时在线，系统不崩、不掉链子。

Mati的底层判断从创业第一天就没变过：**语音会成为人和技术交互的默认界面。**

> 语音承载的东西比文本多得多，情绪、语调、那些不完美。我们可以靠情绪线索，给出完全不同的回应。

跑得最快的场景已经清晰。医疗，Hippocratic这类公司在自动化护士打给患者的电话，提醒吃药、询问感受、把信息回传给医生，很多患者只能靠电话触达。客服，最传统也最快，从德国电信到一批新公司都在内部搭语音客服。教育是Mati个人最兴奋的一块，ElevenLabs和Chess.com合作，用旁白引导你下棋、边下边学，他设想下一步是让卡尔森、卡斯帕罗夫、中村光的声音陪你复盘。**未来每个人都会有自己愿意听的声音，做自己的私人导师。**

Pat Grady补充了红杉看到的图景：多数创业者先做文本智能体，在企业软件栈里铺开，终极形态则是HeyGen式的虚拟形象配上ElevenLabs的声音。Mati的观察一致，新公司人人在做智能体，大企业也想用它理顺内部流程，光谱从接上Stripe处理退款的开发者小工具，到陪伴型用例，再到真正的企业级部署。

但Pat Grady问到了关键：界面只是打开门的钥匙，瓶颈往往在别处。Mati完全同意。对话式AI的技术栈，语音转文本、LLM生成回复、文本转语音、轮次控制，这些只是敲门砖。**真正的瓶颈是知识库、业务逻辑和集成。**企业越深，集成越要命：接Twilio或SIP中继打电话，连客户的CRM，对接Genesys这类现有呼叫平台，这些占掉了大量工程时间。知识库倒是相对好办，前提是这家公司早数字化过、有像样的信息源头。碰上知识管理一团糟的公司，Mati的原话是“可以变得相当棘手”，得陪着一起理。MCP这类标准化协议正在缓解这个问题。

## 图灵测试、巴别鱼和欧洲创业的账

和基础模型的关系怎么处？Mati的策略有两条。一是保持多供应商，不押注任何一家，既防对方变成直接竞争者后断供，也因为客户本来就各有偏好。二是做级联容灾，主LLM出问题自动切到第二、第三层备选，这套机制在实际运行中效果很好。用他的话说，把它们当伙伴，真要竞争，那也是良性的竞争。

关于图灵测试，Mati给出了激进的时间表：

> 我们很想证明这件事今年就能做到。和智能体说上几句话，你就认定对面是人。这个目标很激进，但我认为可行。就算不是今年，也希望是2026年初。

他也留了余地：总有一批耳朵特别尖的用户很难骗过，但多数人应该会被骗过去。技术上悬而未决的是路线之争。现在的生产系统是级联式，语音转文本、LLM、文本转语音三段拼接，可靠，但上下文响应差一截；真正的全双工模型端到端训练，更快、更有表现力，但可靠性难保。**到目前为止，还没有任何公司把LLM和音频在模型层面真正捏合到一起。**OpenAI和Meta都在攻关，Mati希望ElevenLabs是第一个。

再往后看五到十年，他画了三幅图景。教育里人人自带引导声音，技术退到背景里。跨国交流时你带着自己的声音、情绪和语调说外语，对方听得懂，也就是《银河系漫游指南》里的巴别鱼，耳机可能是第一个载体，眼镜其次，甚至可能有非侵入式的神经接口。还有代理对代理的通话，订餐厅、进会议记纪要、打客服电话，届时怎么验证电话那头是谁，会变成新问题。

安全这件事ElevenLabs从一开始就建了机制：所有生成内容可追溯到具体账户，语音和文本双层审核防诈骗，还和加州大学伯克利分校等机构合作训练检测模型。Mati承认，开源模型泛滥之下，这就是猫鼠游戏。下一步他判断，验证会从“鉴别AI”推进到“鉴别真人”，设备端直接确认打电话的确实是Mati本人。

欧洲创业的得失，他讲得很坦白。好处是人才，外界说欧洲人缺拼劲，他完全没感觉到，团队的水准和投入度都是惊喜，中东欧的人才质量尤其高，而且多语言从公司基因里长出来，天然适合全球化。坏处有二：欧洲缺经历过完整创业周期的前辈，早期连“该问什么问题”都不知道；欧盟《人工智能法案》拖慢了整个生态，热情有，速度慢。

快问快答环节有些花絮。Mati常用的AI应用是Perplexity和Claude，写代码、做原型必用Claude，给客户快速搭demo用Lovable。最佩服的人是DeepMind的Demis Hassabis，理由是他既是一流研究者又能带队，还始终诚实谦逊。主持人Pat Grady也贡献了一个数据点：他自认重度用户，过去30天在ChatGPT里提交了约300次提问，团队里更年轻的同事这个数字是1000以上。Mati的反直觉判断留给了一个方向：**跨语言交流被严重低估了**，能带着自己的声音走遍世界自由对话，会改变我们看世界的方式，只是眼下还没有承载它的设备。

## 明天就能用上的几件事

这场对话对从业者各有一组可以直接拿走的东西。

如果你在做AI产品：

- 别拿跑分当卖点。评估语音产品就三问：表现力够不够、延迟压没压住、规模化扛不扛得住。
- 新技术发布先喂给重度创作者。他们能挖出你想不到的用例，从小说作者、无人出镜频道到醉酒唱歌视频，ElevenLabs的用例地图大半是用户教出来的。
- 数据又脏又没人愿意整理的领域，反而可能藏着小团队的机会。ElevenLabs的起点就是一条别人没有的标注流水线，加上一个当时没人抢的赛道。

如果你的业务里有大量电话环节，提醒服药、客服回访、预约确认，值得本周就测一个语音智能体原型。动手前先做一件事：把知识库理清楚。按Mati的说法，模型是入场券，业务信息和集成才是决定成败的部分。

至于那位念了半个世纪全片独白的波兰配音员，他大概想不到，自己制造的糟糕体验，会变成一家明星公司的起点。糟糕的体验从来都值得多看一眼，那里可能埋着生意。