隆重推出 Eleven v4,这是我们迄今最具情感表现力的模型。

探索跳至内容登录注册联系销售登录

AI 的能力前所未有地强大,但要让这种智能被广泛使用,系统必须让每个人都能轻松理解和使用。这取决于这些交互是否自然、直观。ElevenLabs 正在为 AI 构建这一交互层。 

在今日于纽约举行的峰会上,ElevenLabs 推出了新模型、智能体以及部署方案,帮助企业通过 AI 与人互动,并开拓新的创收方式。

“几年之内,对话式智能体将成为每家企业的关键基础设施,就像云服务或支付一样不可或缺,”ElevenLabs 首席执行官兼联合创始人 Mati Staniszewski 表示。“每家企业都需要重塑与客户、员工以及更广泛世界互动的方式。”

以下是 ElevenLabs 在峰会上发布的内容:

驱动每一次交互的模型取得进展

我们从语音起步,打造了行业领先的自然对话模型,如今我们的工作正扩展到支撑人们与技术互动各种方式的模型和工具。

在台上,Staniszewski 预览了多项更新,这些更新将使 AI 系统、客户和员工之间的交互更加自然,也更贴合具体情境。“ElevenLabs 的使命是解决人机交互问题,而这是第一次,这个问题变得可以解决,”他说。 

针对你的领域微调开源模型和 ElevenLabs 语音模型

每个行业都有自己的语言和规范。如何服务客户,以及最适合这种对话的渠道,因行业而异。正因如此,ElevenLabs 一直致力于为各大行业构建专用模型。领域专用的语音转文字模型会学习企业实际使用的行业术语,比如金融领域的 EBITDA,或政府领域的 HIPAA。ElevenLabs 采用这种方法打造了 Scribe v3 Medical,这是一款面向医疗行业的转录模型。它能以高得多的准确率识别数千个复杂的医学术语,并能区分 cycloserine 和 cyclosporine 这类药物名称,从而确保患者得到的是结核病治疗药物,而不是免疫抑制剂。  

这项工作不会放缓,Staniszewski 表示,一款面向金融服务行业的领域优化模型正在开发中。但我们也相信,企业应当能够改进它们使用的模型,不仅针对其行业,还要针对其具体情境和客户。   

在主题演讲中,Staniszewski 宣布,在未来几个月内,我们将帮助企业微调某些开源语言模型以及 ElevenLabs 语音模型,以供其自用。“如果不体现人和企业的独特之处,我们就无法解决人机交互问题,”他说。

团队将能够针对使公司独一无二的具体特性来微调模型。企业可以带来其实际部署中的数据,并与 ElevenLabs 研究人员合作改进驱动其业务的模型。每家企业都可以选择对自己重要的指标,例如客户满意度评分(CSAT)或可靠性,ElevenLabs 研究人员将帮助你利用实际部署中的数据来微调驱动这些业务的模型。你可以基于每一次新的交互持续优化;Staniszewski 将其比作每家公司实质上拥有自己的强化学习技术栈。  

“我们将继续推出更多领域优化模型,确保你的 AI 更准确、更有用,但我们也认为企业应当能够走得更远,让模型不仅针对其行业,还针对其公司和客户进行改进,”Staniszewski 说。“这是让你的数据为你所用、并扩展你自身独特优势的最佳方式之一。”

Interaction Engine 统筹整段对话 

并非每一项智能体任务在每一步都需要前沿模型才能成功。确定使用哪些模型、如何使用以及何时使用以推动特定结果,本身就是一门艺术,ElevenLabs 的研究人员一直在努力解决这一问题。 

ElevenLabs 预览了一款名为 Interaction Engine 的新系统,它从对话的节奏入手。它处理轮次转换和打断,让智能体知道何时该介入、何时该停止说话。它还能为交流的每个环节挑选合适的 LLM。较便宜的模型可以处理初步筛选,控制 token 用量,而前沿模型则在需要时介入处理更复杂的任务。

ElevenAgents 的重大升级及更多内容

ElevenAgents 是用于配置、部署和改进销售、支持、招聘和运营领域语音及聊天智能体的平台。它能理解对话对象是谁,并适应其需求。 

Yahoo、Westgate 和 KPN 等客户和合作伙伴已经在使用 ElevenAgents,并发现能更好地理解情境和文化的智能体能为所有人带来更好的结果。

Staniszewski 分享了 ElevenAgents 即将推出的多项更新,这些更新将使智能体与客户之间的交互更加无缝、自然。 

Memory 帮助 ElevenAgents 记住回头客

在客户支持对话中,人们常常分享有价值的信息,但这些信息未被记录或付诸行动。“与人进行良好对话的一个标志是,对方会记住你告诉他们的内容并据此行动。智能体也应该如此,”Staniszewski 说。

Memory 将让 ElevenAgents 智能体随着时间推移建立客户记录,识别回访的已认证客户并回忆起他们之前说过的话。虽然 CRM 仍是主要的客户记录,但 Memory 会捕捉对话中分享的、从未有过对应字段的细节,比如偏好、限制条件、即将到来的场合。如果客户偏好西班牙语且只能在下午 5 点后通话,智能体会记住并据此行动。

每次交互后,智能体都会将对话提炼为结构化记录,并在客户再次联系时更新该记录。它还会保留日后有用的细节。一位电话用户曾提到自己三月要搬家,那么四月他打来电话时就不必再提这件事:智能体会自动知道询问他是否希望将服务转移到新地址,并停用旧地址。结果是,对每位客户的理解都会随着每一次对话而不断累积,因此每一次交互都比上一次更个性化。

Routines 处理对话周边的工作

客户支持通话的大部分后续工作都发生在通话结束之后。这些工作通常由并未参与原始对话的人员和工具完成。Routines 是 ElevenAgents 中新增的自动化层,将允许用户在每次对话之前、期间和之后运行多步骤工作。它可以连接你的团队已经在使用的工具和系统。 

Routine 可以预先筛选抵押贷款申请人并在几分钟内回电,也可以提前提醒患者就诊,并从候补名单中提供一个已取消的预约名额。它们还可以被设置为发送电子邮件报告、写入 CRM 或发起通话,所有这些都原生集成在 ElevenAgents 中。

借助 Routines,ElevenAgents 承担了每次对话周边的更多工作,因此你的团队花在准备和跟进上的时间更少,花在客户身上的时间更多。

ElevenAI 帮助人们在重要的对话中保持专注

在主题演讲的抢先预览环节,Staniszewski 介绍了 ElevenAI,这是 ElevenLabs 推出的一款新应用。它充当企业团队的 AI 队友;它聆听口头对话,包括面对面会议,并将这些内容转化为笔记和后续步骤。如果说 ElevenAgents 是企业与客户之间的交互层,那么 ElevenAI 将成为员工完成工作时的这一层。 

ElevenAI 提供由 Scribe v3. 驱动的听写和会议纪要,这是 ElevenLabs 最新、最准确的语音转文字模型。在会议中,它会在征得所有人同意后做笔记,并在通话结束时为每位参会者提供摘要和行动事项。它还可以在通话期间提供实时协助,分享上下文并增强人员与智能体之间的协作。通知和同意机制已内置,因此另一端的人会感到安心。

随着人们在日常生活中越来越依赖个人智能体,他们在工作中也需要专为员工作身份而构建的支持。ElevenAI 会适应公司的工具和流程,并在整个工作日陪伴人们。它还会在智能体与人员之间传递正确的上下文,使两者能够作为一个团队协同工作。ElevenAI 的免费早期访问今日开放。 

通过 ElevenLabs 合作伙伴计划和 ElevenLabs Marketplace 扩展企业生态系统

ElevenLabs 的合作伙伴网络已发展到遍布 44 个国家的 550 多家合作伙伴,包括 Google Cloud、IBM、Deloitte、DXC 和 Genesys。今天,我们推出 ElevenLabs 合作伙伴计划,让企业更容易与已经了解其业务的咨询公司、系统集成商、软件供应商和代理机构一起部署 ElevenAgents。合作伙伴负责集成到你现有的技术栈中,或与 ElevenLabs FDEs 一起处理复杂部署,无论哪种方式能帮助你最快实现价值。

作为该计划的一部分,ElevenLabs 还宣布与 McKinsey 结成联盟,将 ElevenAgents 与该公司的企业转型专长以及 McKinsey 旗下 AI 公司 QuantumBlack 相结合。企业现在可以在 ElevenLabs 上构建、与合作伙伴一起构建,或从合作伙伴处购买,以在复杂系统中扩展智能体。

此外,ElevenLabs 与 NVIDIA 宣布扩大合作伙伴关系。Nemotron 3.5 Super VL 现已在 ElevenAgents 中可用,ElevenLabs 还新增了 15 MW 的 Vera Rubin 计算容量。两家公司还将为波兰国家电子健康平台开发一款本地部署的语音智能体。该智能体将为只有固定电话的患者处理预约安排。 

今天,我们推出 ElevenLabs Marketplace,这是一个由我们的技术合作伙伴基于 ElevenLabs 构建的行业特定 AI 和语音应用的精选集合,涵盖医疗保健、金融服务、保险、教育和零售等行业。企业可以浏览智能体和应用,并直接与背后的合作伙伴联系。从明年开始,企业将能够使用其现有的 ElevenLabs 承诺额度通过 Marketplace 购买这些智能体。 

当交互问题被解决时会发生什么

Staniszewski 在主题演讲结束时问道,当人与 AI 之间的交互问题被解决时会发生什么。他的回答是一个技术适应人类的世界,语言、地理和规模的限制消失,地方细微差异和文化得以保留。

“人们担心 AI 可能会集中化和同质化一切,这是可以理解的。担心企业将无法保护自己的护城河。担心每一代新的 AI 都会向均值回归,”Staniszewski 说。“我们正在构建的恰恰相反。模型、产品和社区,用来放大你企业的独特之处,并帮助你扩展优势。” 

今天的公告是通往那个未来的步骤,ElevenLabs 正与在纽约加入我们的客户、合作伙伴和开发者一起构建它。要开始使用, 请从 ElevenAgents 开始.

作者

Bearded man wearing glasses and a green shirt, seated indoors.

Mike Murphy

博客编辑兼首席撰稿人

查看个人资料

Mike Murphy 是 ElevenLabs 博客的首席编辑兼撰稿人,他将复杂的研究和技术转化为清晰、引人入胜的故事。在加入 ElevenLabs 之前,他曾多年担任科技记者,包括在 Quartz,并在 IBM Research 负责内容。他拥有西北大学新闻学硕士学位。

    类似文章

    使用最高品质的 AI 音频进行创作

    联系销售注册