# 波兰电影全片只有一个配音声，这个槽点逼出了ElevenLabs > Training Data No. 54 中文精读 - 原标题：ElevenLabs’ Mati Staniszewski: Why Voice Will Be the Fundamental Interface for Tech - 发布日期：2025-07-01 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/054-elevenlabs-mati-staniszewski-why-voice-will-be-the-fundament-EWXTZZ.html - 精读字数：约 4770 字（阅读约 11 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2021年底，ElevenLabs联合创始人皮奥特（Piotr Dąbkowski）打算和女朋友看部电影。女朋友不懂英语，两人切了波兰语配音，然后全片所有角色，男的、女的、老的、少的，全由同一个声音单调地念完。这是波兰人从小看到大的观影体验：任何外语片，都由一位配音演员从头念到尾，今天依然如此。 马蒂·斯塔尼舍夫斯基（Mati Staniszewski）和皮奥特当时一个在Palantir上班，一个在Google，周末凑在一起做黑客项目。看到这一幕，他们判断技术拐点到了，外语片该能听回原声了。2022年，ElevenLabs成立。2023年初产品公开发布，靠一支《哈利·波特》角色集体穿上Balenciaga的恶搞视频出圈。2025年，他们给《堡垒之夜》复刻了达斯·维达的声音，数百万玩家排队跟黑武士聊天。 几年前圈内的主流判断是，这类语音创业公司会成为基础大模型的车下亡魂。红杉资本播客Training Data的主持人帕特·格雷迪开场就把这个尖锐问题抛给了马蒂。他的答案拆开看就两层：**死磕音频这一个领域，再在模型之上包一层完整的产品**。模型赢人，产品留人，两层一起才扛住了巨头集体冲向多模态的一年又一年。 ## 两个高中生同学，15年后一起创业 马蒂和皮奥特15年前在华沙读高中，读IB课程，所有课一起上。两人都爱数学，从数学课同桌开始，发展到同住、同校、同旅行、同工作，到现在还是最好的朋友。马蒂回忆，公司起飞后，两人原以为高强度冲刺只持续四周，结果一个四周接着另一个四周，最后意识到这会是未来十年，索性“只做ElevenLabs，别的什么都不干”。创业的压力反而把友情测试得更结实，如今两人会刻意留出工作之外的相处时间。 创业前两人就有周末做项目的习惯：推荐算法、加密货币风险分析器（没做成），还有2021年初一个分析你说话方式、给改进建议的音频小工具。这个项目让他们第一次摸清语音技术的全貌：哪些模型做说话人分离，语音生成的水准到哪里。波兰配音事件给了临门一脚。 真正的技术信号有两个。一个是《Attention is All You Need》，Transformer的开山论文。另一个是2022年出现的开源模型Tortoise-tts，能克隆声音、生成语音，虽然不稳定，但足够让人看到方向，ElevenLabs后来还维护着它的v2版本。 他们做的事，本质上是把Transformer和扩散模型这两套当时最热的武器搬进音频。**文本转语音模型第一次能理解文本上下文，再用合适的情绪和语气读出来**。马蒂把这称为真正的科研创新，也是公司能跟大实验室掰手腕的起点。 ## 语音和文本，完全是两门手艺 训练模型的三要素是算力、数据、架构。语音模型比文本模型小，算力需求低，小公司有机会靠数据和架构上的创新赢过大实验室，算力劣势没那么致命。真正的差异在另外两处。 数据上，文本语料拿来就能用，音频不行。高质量音频本来就少，还常常没有对应的准确转写。更麻烦的是第三层需求：光知道说了什么不够，还得知道说得好不好，用了什么情绪，谁在说，有哪些非语言的声音。这类标注几乎不存在。ElevenLabs早期自己搭管线，自研语音转写模型，再配人工标注团队补齐这些信息。 架构上，模型要预测下一个声音，文本模型预测的是下一个token，而且后文会改变前文的读法。马蒂举了个例子：What a wonderful day，单独看是积极情绪，该读得阳光；如果后面跟了一句“我讽刺地说”，整句的重音和情绪全得重排。这种上下文理解是文本模型没有的难题。 声音怎么表示也是一道坎。ElevenLabs没有硬编码性别、年龄这类特征，让模型自己完成声音的编码和解码。生成时两路输入汇合：文本上下文决定情绪，声音编码决定音色和风格，合并输出最终语音。这套做法在当时算独一份。 招人也和别的AI公司不一样。全球真正顶尖的音频研究者，马蒂估计只有50到100人，所以公司从第一天起就全远程，人在哪就在哪招。现在公司有约15名研究员和研究工程师，研究员离部署极近，成果上线周期非常短，反馈立刻回来。另有一层别处少见的配置：由声音教练训练出来的数据标注员，学着给音频标情绪，再由声音教练复核。 ## 先放给极客玩，再卖给企业 马蒂总结出一个节奏：每次新模型发布，先开放给全部用户，让世界看到可能性，企业客户随后跟上，再补产品和可靠性，然后下一次模型发布，循环重来。这么做有两个理由，一是这群人尝鲜最快，二是用例的想象力远超公司内部的预测。**极客用户总能玩出开发者自己都想不到的用法**，《哈利·波特》Balenciaga视频就是典型。 2022年底内测时，产品里只有一条推文长度的文本框。一位图书作者把整本书粘了进去，下载音频，传上当时还在封禁AI内容的平台。平台和读者都以为是真人朗读，好评不断，他随后带着一群作者朋友回到ElevenLabs。这是第一波自然流量。差不多同期，公司发了篇博客《第一个会笑的AI》，模型第一次能让合成语音笑出声。 2023年初公开发布后，无脸频道兴起，创作者不出镜，全程用ElevenLabs的旁白，这股风刮了整整半年。2023年底到2024年初，多语言和配音产品上线，回到最初那个波兰电影的梦想：**把音频换成另一种语言，听起来还是原来那个人的声音**。有人拿它给唱歌视频配音，效果像喝醉了唱歌，又火了几轮。 2025年的主角是agent。ElevenLabs把语音转文字、LLM回复、文字转语音整条链路打包，开发者很快就能搭出能说话的agent。最出圈的案例是和Epic Games合作，用詹姆斯·厄尔·琼斯生前授权的原始录音复刻达斯·维达，放进《堡垒之夜》。数百万玩家排队跟维达对话，多数人拿他当游戏伴侣，也有人变着法子想套他说不该说的话，系统扛住了。 另一个案例是莱克斯·弗里德曼采访印度总理莫迪。两人一个说英语一个说印地语，ElevenLabs把整场对话转成同一种语言，弗里德曼“说”起了印地语，莫迪“说”起了英语，两个版本各自在两国刷屏。还有《时代》杂志的年度人物专题，文章可以读、可以听，还能直接跟文章对话。马蒂自己最喜欢的，是和费曼家人合作做的费曼agent，未来你也许能用他的声音听《别闹了，费曼先生》，边听边追问。 ## 客户只看三件事，跑分不在其中 马蒂说，语音领域的跑分尤其不可信，客户真正在意的是三样：**质量、延迟、可靠性**。质量排第一，没有质量其他都免谈，而且门槛因场景而异，同一家公司做有声书、做agent、做配音，容忍度完全不同。延迟是对话agent的生死线，过不了阈值，产品就不成立。可靠性是规模问题，Epic Games那种百万玩家同时在线，系统不能崩。 > “语音会从根本上成为人和技术交互的界面。它携带的东西比文本多得多：情绪、语调、那些不完美。” 这是马蒂的公司信条。具体到场景，跑得最快的有三个。医疗领域的Hippocratic，替护士给病人打用药提醒电话，问身体状况，把信息回收给医生，很多病人除了电话没有别的触达方式。客服最传统也最快，从德国电信这样的巨头到创业公司都在内部搭语音。教育是马蒂最兴奋的，ElevenLabs和Chess.com合作做对局讲解，未来可能请卡尔森、卡斯帕罗夫的声音来边下边教，**每个人都会有一个用自己信任的声音说话的私人导师**。 真正的瓶颈不在语音本身。马蒂把话挑明：语音转文字加LLM加文字转语音，再加轮次管理，这套东西只是入场券。往下走是知识库和业务逻辑，再往下是集成。**企业做得越深，集成越花时间**：接Twilio或SIP中继打通电话，连CRM，对接Genesys这类客服平台。知识库则看公司底子，数字化做得好、有统一信息源的公司接入很快，乱的公司相当痛苦。MCP这类标准化协议正在缓解这个问题，ElevenLabs也在跟进。 ## 和基础模型既竞争又合作 所有应用层公司都要回答一个问题：上游随时可能吃掉你怎么办。马蒂的答案是两头下注。**不绑定任何一家LLM供应商，多家同时接入**。一来防风险，万一某家变成直接竞争对手、停止服务，可以随时切换，他们也不向模型厂商回传数据，但条款变化仍是需要盯防的风险；二来产品上确实需要，ElevenLabs的对话产品给LLM配了降级链路，一家出问题自动切到下一家。客户偏好哪家就用哪家，他把这些实验室当伙伴，真竞争来了，“那也是一场好的竞争”。 ## 语音图灵测试，今年就要过？ 帕特问，距离完全可靠、人类水平的零延迟语音交互还有多远。马蒂的回答很直接：理想情况下今年就想证明能过语音图灵测试，你和一个agent对话，结束时会认定对面是人。做不到，就2026年初。他也承认用户分层，有些人对声音格外敏感，对他们过关更难，但他希望今年多数人就分不出来了。 时间表取决于一个技术分叉：继续用级联模型，语音转文字、LLM、文字转语音三段拼接，现网在跑的就是它，可靠、有表现力，但上下文响应慢半拍；或者训练真正的双工模型，端到端一起学，更快、更有表现力，但可靠性打折。ElevenLabs两条腿走路，双工模型马上部署。马蒂放话，还没有任何公司把LLM和音频真正融合好，OpenAI和Meta都在做，**ElevenLabs想当第一个**。 再往后五年到十年，他画了三张图。教育：学数学、学语言，都有语音agent全程引导。翻译：《银河系漫游指南》里的巴别鱼成真，你带着自己的声音、情绪和语调去另一个国家，对方直接听懂，载体可能是耳机、眼镜，或者某种非侵入式神经接口。服务：agent替你订餐厅、进会议记纪要、打客服电话，agent和agent之间怎么认证身份会成为新问题。 安全这件事ElevenLabs从第一天就在做：所有生成的音频都能追溯到生成它的账号，这是溯源；再往上是审核，识别诈骗和欺诈通话；再往外是检测技术，和UC Berkeley等机构合作训练识别AI语音的模型。开源模型让这场猫鼠游戏会一直打下去，但方向是让好人好用、坏人难用。 ## 在欧洲创业，得与失 ElevenLabs总部在伦敦，团队全远程。马蒂说欧洲的好处是人才，外界传说欧洲人缺冲劲，他完全没感觉到，团队是他见过最拼命的一批人。欧洲整体落后是事实，AI创新由美国领跑，亚洲紧随，但这种要改变落后面貌的劲头，反而让招人更容易。而且公司从骨头里就是全球化的：多语言写进了产品核心，各地区的员工说着当地语言服务当地客户。 坏处有两个。一是缺少过来人，美国有一大批创过业、卖过公司、管过大规模团队的人，泡在那个圈子里，你连该问什么问题都知道；欧洲早期连问题清单都列不出来。二是监管，欧盟人工智能法案（EU AI Act）在他看来不会加速创新，热情有了，节奏被拖慢了。 快问快答里有些细节值得记一笔。马蒂常用的产品是Perplexity、Claude（写代码和原型）、Lovable（快速搭demo），最佩服的人是DeepMind的德米斯·哈萨比斯，理由是既能自己做顶尖研究，又能带队伍，还保持智识上的诚实。主持人帕特也贡献了一个数字：他30天用了300次ChatGPT，自认重度用户，结果团队里的年轻人是1000次以上。 ## 明天就能用的三件事 - 评估语音或AI供应商时，把跑分放一边，用质量、延迟、可靠性三个维度打分，并按自己的场景定质量门槛：旁白、配音、对话agent的线完全不同。 - 搭agent别绑一家LLM，配好降级链路；先盘清楚自己的知识库和集成清单（电话、CRM、客服系统），这些往往比模型本身更花时间，能上MCP这类标准协议就上。 - 做内容的人可以现在就试多语言配音工具，把同一份内容做成多个语言版本，声音保持原味；学东西时试试语音交互产品，比如Chess.com的对局讲解，感受一下私人导师的雏形。 马蒂在节目最后被问到最被低估的方向，他没犹豫：跨语言交流。这个答案和他四年前那个看电影的夜晚首尾呼应。波兰那个只有一个声音的配音行业，可能真的快消失了。