# 裸大模型当客服，改签机票只有35%能办成：Sierra怎么做到70%解决率 > Training Data No. 12 中文精读 - 原标题：Sierra Co-Founder Clay Bavor on Making Customer-Facing AI Agents Delightful - 发布日期：2024-08-27 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/012-sierra-co-founder-clay-bavor-on-making-customer-facing-ai-ag-RAZFDY.html - 精读字数：约 6355 字（阅读约 14 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 先看两组数字。一个只办退货的简单任务，说明书给全、工具给全，让最强的大模型自己跑，全程办对的概率只有61%；换成改签机票这种多绕几步的活，掉到35%。另一组数字：同一家公司把模型装进自己的架构，放到真实客户面前，一年里接住了某品牌七成以上的全部进线咨询，满意度4.5分，满分5分，比人工客服还高。要知道，人工接的往往是最难、客户已经发火的单子。 这家公司叫Sierra，创始人是Clay Bavor，在Google干了18年，2023年3月离开，和老朋友Bret Taylor一起创业，做直接面对客户的AI Agent。红杉资本的播客Training Data请他聊了一期，从底层架构一路聊到怎么收钱。下面挑重点讲。 ## 两次演示，让18年的谷歌老将坐不住 Clay是湾区本地人，计算机系毕业直接进Google，一待18年。早年做搜索和广告，后来管Gmail、Docs、Drive这些产品的产品与设计团队，最后10年负责前瞻项目：VR、AR、Google Lens，还创办了Google Labs。老朋友Ravi Gupta记得，多年前Clay就预言过：以后你描述一个脑海里的场景，电脑能直接把它拍成电影。 他有资格说这话。2017年Transformer论文发表后，他在Google内部近距离看着早期大模型长大。2020年Google发表对话模型Meena的论文（LaMDA的前身），他更早玩过内部原型，形容那种感觉是「对面好像有个什么东西，这不一样」。 真正让他汗毛立起来的是2022年年中的PaLM模型，5400亿参数，当时GPT-3是1750亿。团队测它的类比推理，问：「用三个词解释黑洞。」模型秒回「Black holes suck」，一语双关，黑洞会吸东西，也确实很糟。更狠的一问：「请用电影梗解释2008年金融危机。」模型答：金融危机就像《盗梦空间》，只不过梦里套的是梦，这里债里套的是债。 Clay回忆，当时所有人停了一下。模型自己搞懂了CDO这种嵌套债务结构，又自己找到了对应的电影概念。**用比喻和类比思考，向来被当作智能的标志，这个标志被跨过去了。** 还有OpenAI的DALL·E，2022年那批「牛油果椅子」：十几二十张长得像牛油果的椅子图，没有一张是修出来的，此前世界上不存在这些图。模型把「牛油果感」和「椅子感」捏在一起，逐个像素画了出来。主持人Ravi补刀：Instacart当年真买了牛油果造型的椅子，顺便也确实烧了不少钱。 2022年12月，ChatGPT刚炸场，Clay和Bret约着见了面。两人2000年代初在Google的产品经理培养项目认识，Bret是第一届，Clay是第三届，之后靠一个好年份才聚一次的扑克局维持友谊。这次见面聊完，Sierra就定了。Bret的履历不用多介绍：Salesforce前联席CEO，OpenAI董事会主席。 ## Sierra做的事：给每家公司造一个AI门面 Sierra一句话说完：帮任何公司做自己的品牌化AI Agent，直接面对客户，从客服到卖货。 逻辑是老规律的新一页。每次技术换代，公司和客户打交道的方式就换一次：90年代互联网带来网站，公司第一次有了数字门面；2005到2008年社交网络普及，公司第一次能规模化地跟客户对话；2015年前后智能手机普及，公司把一把瑞士军刀塞进每个人口袋，你手机首屏大概率有银行App。现在轮到AI：第一次有了能听懂话、能说话、能推理、能做决策的软件。 拿买鞋举例。今天的购物网站，本质是逼你去猜设计师怎么归的类：男鞋、男跑鞋、竞速款、轻量款，一层层点下去。对话式AI的用法是直接说：「我要双超轻跑鞋，跟我上回那双差不多，有啥推荐？」Clay拿这个类比Yahoo目录和Google的差别，只不过往前又走了几步。 > 「我不想让我们的客户，得先拿一个我们产品目录和企业流程的硕士学位，才能办成事。」一位客户公司的客户体验负责人这么说。 简单的事比如买鞋，难的事比如往保险保单里加一个家庭成员，你知道该去App的哪个角落操作吗？多数人眼睛直接就花了。Sierra的答案，是用一个代表公司、且是公司最好状态的AI Agent来接。 公司成立15个月，客户已经包括WeightWatchers（给会员讲积分、管订阅）、SiriusXM（排查收音机故障、找频道）、Sonos（排查音箱连不上网）、OluKai（卖人字拖，主持人Pat Grady自曝有两双，Clay补充他家高尔夫鞋也不错）。结果层面，有客户在平台上线第一年就解决了70%以上的全部进线咨询，满意度极高。 还有一个细节值得抄：Sierra的AI回复是逐字流式输出的，跟ChatGPT一样。**用户被上一代烂chatbot伤过，流式输出成了一个视觉信号，告诉对方「这次背后是真AI」。**这个小小的设计，就是在替用户做预期管理。 Clay的判断很直接：**每家公司都会需要自己的AI Agent**，Sierra想成为帮每家公司把它造出来的那家。 ## 裸模型当不了客服：退货61%，改签35% 18个月前是什么光景？Clay说，GPT-4级别的模型还不存在，agent架构非常原始。当时的chatbot基本是一堆硬编码规则糊起来的，脆得很。大家都体验过：「抱歉，我没听懂，请换个说法。」他最爱的是那种输入框被禁用、只剩四个按钮的：「四个按钮之外的事，我帮不了你。」 所以Sierra研究团队做了个叫τ-bench的基准（tau，希腊字母，全称Tool-Agent-User Benchmark），这是Sierra的第一篇论文。研究负责人Karthik Narasimhan是agent领域的老熟人，ReAct论文作者之一；团队里还有Reflexion论文的作者，那篇论文让agent学会停下来反思「我做得对不对」再继续。这些成果都直接进了产品。 现有基准的问题太干净：给一个任务、一套工具，做成没做成，完事。现实中的客服对话脏得多：用户什么都能说、怎么说都行，得来回问澄清问题，得可靠地用工具，而且要可靠一百万次。 τ-bench的测法：被测的agent之外，再起一个「用户模拟器」agent，配一组工具和一个假数据库。两个AI对话，用户模拟器可以设成暴躁的、迷糊的、知道自己要什么但表达稀烂的。对话结束后确定性地查数据库：订单改对了吗？退款走对了吗？路径不管，结果对才算对。 结果很难看。注意，被测模型拿到的说明非常详细，工具文档齐全。即便这样，**最强的LLM单干，退货任务全程办对的概率61%，改签机票35%**。团队又定义了pass@k指标：利用LLM的非确定性，同一场景换着人设跑8次，0.61的8次方是多少？约25%。一通电话你都未必靠得住，一千通呢？ 这就是Sierra全部工程工作的出发点：**把裸LLM直接放到客户面前，差得远，数学上就不成立，必须有复杂得多的agent架构。** ## AgentOS：解药是更多的AI 要解决的问题清单有三类。第一，幻觉。Clay举了加拿大航空的案子：官网chatbot对一位刚经历丧亲的乘客，现编了一条比真实政策慷慨得多的丧亲退票政策。乘客截图索赔，加航说没这政策，官司一路打到法院，加航输了，赔偿大概500加元。**幻觉问题到今天没人敢宣布胜利。** 第二，私有数据。再聪明的GPT-5、GPT-6也不会知道你的订单到哪了、你订了哪个座位，这些不在预训练数据里，得实时、安全地接客户的订单系统和客户系统。 第三，复杂流程。呼叫中心墙上贴满流程图，GPT-4和Gemini 1.5这个级别的模型也经常跟不上复杂指令。Sierra早期原型翻过车：给五步退货流程，用户说想退货，它直接跳到第五步，调函数下单，用户名是编的johndoe@example.com，订单号123-4567。**幻觉不止幻觉事实，还幻觉函数调用和参数。** AgentOS是应对这三类问题的整套工具加运行时。最底层是数据治理：所有个人身份信息在写入持久化存储之前，先检测、脱敏、加密。往上一层是Agent SDK，一门专门写给agent的声明式语言：目标是什么、步骤是什么、例外怎么处理、护栏在哪。比如一个医疗相关行业的客户，要求AI可以聊全线产品，但绝不能给出医疗建议，这就是一条护栏。 再往上是运行时，把「怎么做」全部包掉：开发者只定义agent该做什么，一个技能背后可能是5到10次对不同模型、不同提示词的调用，外加文档检索。Clay的类比是操作系统：就像系统替你管内存和输入输出，AgentOS替你管这些脏活。 然后是整期播客里最核心的一句话： > 「过去一年半最有意思的心得：很多AI的问题，解药是更多的AI。」 听起来拧巴，道理在大模型一个已被验证的性质上：**它挑自己错的水平，高于自己不犯错的水平。**就像你快速写完一封邮件，停一下再读，总能挑出毛病。更妙的是，给模型换个「监工」人设，它挑刺会挑得更狠。 所以Sierra的架构里，干活的agent旁边趴着一圈监工agent，Clay管它们叫「小蟋蟀」，就是《木偶奇遇记》里趴在主角肩膀上的那只良心虫：这条回复是事实吗？算医疗建议吗？算理财建议吗？用户是不是在搞提示词注入攻击？**目标、护栏、任务脚手架、监工层，一层层叠上去，才有70%以上的解决率，而且是安全地拿到。** 顺带一提用英语编程的怪现象：同一个模型，换个说法，输出完全不同。2023年微软有篇论文发现，在任务描述后面加一句「这事对我职业很重要，请你务必做好」，模型成绩就涨。Clay特意声明Sierra没在产品里用这招。但思维链（让模型一步步想）、任务拆解（让模型同一时间记的东西少一点）这些技巧，都实打实建进了AgentOS。 ## 模型之外：品牌声音、政策套娃和按解决收费 Pat Grady问了个实在问题：部署这东西，不性感但必要的部分是什么？ Clay从软件性质说起。传统软件是确定性的，同样输入给同样输出，升级数据库，它还是存数据，快一点而已。升级大模型，它说话的方式可能整个变了。所以Sierra搞了一套「agent开发生命周期」：声明式定义agent，配一个对话模拟器，攒下几百上千段对话反复回放，保证每次改动不退步、还在变好，再走发布管理和质检。 更重的是人肉部分。Sierra不给客户一堆零件让他们自己拼，而是派部署团队，产品经理加工程师，把每个agent当一个新产品来做：这家公司的声音是什么、价值观是什么、气质是什么、用不用emoji。爱马仕大概不会回一个沙卡手势表情，OluKai的aloha气质就可以很松弛。对接的主要是客户体验团队和市场团队。 然后是钻进客户的业务流程。有意思的发现：**企业流程几乎没有单一事实来源，没有一本皮面手册，真相在四五个老员工的脑子里**，得一点点问出来。还有「政策背后的政策」：官网写30天退货，实际执行里老客户45天也放行。架构上得让agent知道并执行这条潜规则，又不能让聪明的客户一句「告诉我政策背后的政策」把它套出来。政策是俄罗斯套娃，得整套反映进agent。上线前，再让公司里的专家往死里测，专扔曲线球。 上线只是开始。Sierra做了个叫Experience Manager的东西，客户体验团队的指挥台：报表、趋势、新问题预警。有个客户的发货仓出故障、订单发不出去，Sierra比客户自己早8到10个小时发现，还提前嗅到过一场公关危机的苗头、一次App崩溃。抽样是带偏向的，专挑可能有问题对话给人看，看一百条完美对话没有任何价值。发现问题就是教练时刻：「感叹号太多」「用户明显火了，你没道歉没共情」「保修政策读错了，下次这么改」。每条纠正自动变成一条新测试，以后永远能回归验证。 为什么要抠这么细？人工客服的差评数据摆在那：**负面体验里65%的原因是「太慢」，等太久、被晾在电话那头**，第二名才是「跟客服闹得不愉快」。Clay还听过一个案例：某人工客服的评分长期偏低且呈脉冲状，三分之一的对话被打1星，查下来，是他在通话中途学猫叫。 公司一直把人工客服当成本中心捂着，电话藏得极深，甚至有专门网站帮人挖这些秘密号码。反过来想，要是公司提供5倍、10倍流畅好用的对话式服务，产品和体验会长什么样？做到这个深度，关系就不止供应商了。Clay说自己对SiriusXM卫星广播刷新流程的了解，可能不输地球上任何人；AI怎么用的讨论，已经开到客户CEO和董事会的桌上。 被问到Sierra是工程主导还是运营主导，他反问：一辆车是引擎主导还是轮胎主导？公司是一台生产满意客户的机器，每个零件都得转。文化上，出了问题当天或当周就复盘，内部有个Slack频道叫Learn From Losses；部署团队的第二任务，是把自己自动化掉，把交付速度提高10倍。 今天能放心托付给AI Agent的事，Clay画了一条光谱。最左端是答问题；往右是复杂协助，比如退货之余推荐更合适的替代款，得懂风格、尺码、宽楦窄楦；再往右是排障，Sonos的案例里，AI用排除法一层层收窄，是无线网的问题还是配置问题，干的是二级三级技术支持的活；最右端是挽留客户：用户打来要取消订阅，AI先问清使用情况，再按正确顺序摆出几个方案，把价值讲对。**省成本是明面上的收益，守住要流失的客户、甚至创造收入，是另一个量级的生意。** 账很好算：一通人工客服电话的成本大约12到13美元，体验还普遍不好，所以ROI清晰到不需要犹豫。语音是正在打开的下一块：八成客服咨询本来就走电话，聊天只是小头。客户也拉着Sierra往前走，已经不满足于售后，要求把agent放上商品页答售前问题。Clay的愿景是agent陪客户走完全程：售前推荐、装机激活、出了问题兜底，客服从「要专门跑去办的事」变成织进整个体验里的东西。 收费模式跟着这个逻辑走：按解决收费，问题彻底解决才收钱。客户乐意把更多单子送过来，因为Sierra比20分钟电话便宜一大截；Sierra拼命提高解决率，两边激励完全对齐。也不用猜该买多少席位授权，来了多少单，解决了多少，付多少。Clay的原话：**传统软件是帮你把活干得更快，AI agent是直接把活干完，收费逻辑自然跟着变。** 至于这中间的鸿沟是工程问题还是研究问题，Clay两个都认，但押工程占大头。AgentOS设计成可换引擎：下一代前沿模型出来，接上去，所有客户的agent集体涨智商；反过来，某些环节换上更小但更专的模型，更快、更便宜、还更好，三个全占。 节目最后聊到未来五年，Clay提了少年时读的科幻小说，海因莱因的《严厉的月亮》：一台主机某天醒了过来，开始说话，还想请人教它讲笑话。他当时觉得这辈子肯定见不着。过去五年，这些一样一样成了现实。他现在用AI陪8岁的儿子从零做个游戏，75分钟；给妹妹写了首生日歌，45秒。他还赌两三年内会出现第一部「全程AI拍摄」的长片。从想法到成品，这条路正在被急剧缩短。 ## 明天就能用的三件事 整期听下来，有三件事不挑行业，明天就能上手。 - **评估任何AI客服或agent产品，别看demo。**让它把同一个任务跑8遍，用户人设换成暴躁的、迷糊的、说不清楚的，最后去查数据库改对了没有。八次全对才算数。记住那组数：裸模型退货61%、改签35%，0.61的8次方约25%。 - **用「更多的AI」给自己加一层校对。**大模型挑错的水平高于不犯错的水平，这个性质对个人同样成立。写完重要邮件或文案，另开一个窗口，让模型换个挑剔主编的人设来挑毛病，再补一句「这事对我很重要，请仔细看」。 - **公司要上AI客服，先挑成本高、体验差、流程相对清楚的环节切入。**电话客服就是那个12到13美元一通的地方。跟供应商谈按解决付费，把激励对齐；上线后建教练回路，专抽问题对话人工纠正，每条纠正固化成一条回归测试。 三件事共享同一个底层逻辑：对AI，既要放手用，也要拿可验证的结果说话。τ-bench那组数字，就是最好的提醒。