AI News

ElevenLabs 推出模型定制、ElevenAI 应用与合作伙伴计划

Unite.AI更新于 11月12日 03:33

ElevenLabs Unveils Model Customization, ElevenAI and Partner Program

AI 导读

ElevenLabs 在纽约峰会上宣布将帮助企业用真实部署数据微调部分开源语言模型和自家语音模型,并预览了 ElevenAI 工作应用、Interaction Engine 与 ElevenAgents 的 Memory 和 Routines 功能。ElevenAI 已开放免费早期访问,其听写和会议记录使用覆盖 102 种语言的 Scribe v3。公司还公布覆盖 44 个国家、超过 550 家合作伙伴的合作伙伴计划,以及与 NVIDIA 的合作,包括在 ElevenAgents 中提供 Nemotron 3.5 Super VL,并计划新增 15 MW 的 NVIDIA Vera Rubin 算力。

推荐理由

AI 评分 62

原文梳理了 ElevenLabs 从语音生成转向企业对话基础设施的产品组合,读者可据此判断其企业部署路径。

主题

标签

正文 · AI 翻译

ElevenLabs于2026年11月11日宣布,将利用来自实际部署的数据,帮助企业微调选定的开源语言模型及其语音模型,同时在其纽约峰会上推出了新的ElevenAI工作应用和合作伙伴计划。

这一套产品将ElevenLabs从语音生成和转录扩展到用于管理客户对话和员工工作的软件。CEO Mati Staniszewski表示,对话式智能体将在几年内成为“每个企业的关键基础设施,与云或支付同样不可或缺”,并将这些产品定位为更广泛的企业部署推进举措。

ElevenLabs计划在未来几个月内启动定制工作。企业将与其研究人员合作,针对自身客户和运营环境调整模型,并选择客户满意度或可靠性等优化指标。由于数据来自实际部署,企业可以随着交互的积累持续改进模型,而不是仅依赖通用的行业模型。

ElevenLabs已经通过Scribe v3 Medical采用行业特定方法,这是一款为识别专业术语而构建的医疗转录模型。Staniszewski表示,一个针对金融服务领域优化的模型也正在开发中。

预览的Interaction Engine解决的是另一个问题:决定对话应如何运行。它管理轮流发言和打断,并可以为交流的不同部分分配不同的语言模型,使用更便宜的模型进行分诊,使用前沿模型处理复杂任务。该设计避免常规交流在每一步都需要前沿模型,旨在限制token使用量。

记忆、自动化与ElevenAI应用

ElevenLabs表示,其用于部署语音和聊天智能体的平台ElevenAgents将新增Memory和Routines。Memory将识别回访的已认证客户,并将每次对话提炼为包含偏好、约束和未来场合的结构化记录,同时仍将客户关系管理系统作为主要的客户记录。例如,一位偏好西班牙语且只能在下午5点后通话的客户,下次来电时无需重复这些细节。

同样即将推出的Routines旨在自动化对话之前、期间和之后的多步骤工作,并与现有工具和系统连接。示例包括对抵押贷款申请人进行预筛选并在几分钟内回电、提醒患者就诊并向候补患者提供取消的预约时段、发送报告邮件、写入客户关系管理系统或发起通话。这些功能共同推动ElevenAgents超越回答咨询,转向保留上下文并完成对话周边的工作。

对于员工,Staniszewski预览了ElevenAI,这是一款可以聆听语音对话(包括面对面会议)并生成笔记、摘要和行动事项的应用。它还可以提供实时协助,并在人员与智能体之间传递上下文。ElevenLabs表示,该应用在参与者同意的情况下记录会议笔记,并包含通知和同意机制。

ElevenAI的免费早期访问随公告一同开放。听写和会议笔记使用Scribe v3,ElevenLabs将其描述为其录音音频转录模型,覆盖102种语言;单独的Scribe v3 Live变体则专为低延迟、实时音频而构建。

合作伙伴、市场与NVIDIA基础设施

ElevenLabs报告称在44个国家拥有超过550家合作伙伴,包括Google Cloud、IBM、Deloitte、DXC和Genesys。新的合作伙伴计划让咨询公司、系统集成商、软件供应商和代理机构能够将ElevenAgents集成到企业技术栈中,或与ElevenLabs的前置部署工程师合作处理复杂部署。与McKinsey及QuantumBlack, AI by McKinsey的联盟将该平台与McKinsey的企业转型工作相结合。

配套的Marketplace最初提供精选的合作伙伴构建应用目录,涵盖医疗、金融服务、保险、教育和零售领域。企业可以浏览这些应用并联系其开发者;通过现有ElevenLabs承诺进行购买的计划于2027年启动。

ElevenLabs和NVIDIA宣布,Nemotron 3.5 Super VL已在ElevenAgents中可用,且ElevenLabs计划在现有Blackwell Ultra系统之上新增15 MW的NVIDIA Vera Rubin算力容量。新增容量旨在用于具有安全或数据驻留要求的大型部署,并让ElevenLabs的研究人员能够使用优化算力。

扩展的合作还涵盖为Centralna e-Rejestracja(波兰国家e-Health平台中的中央预约系统)提供本地部署的语音智能体,由EasyCall支持交付。该智能体致电只有固定电话的患者,提醒他们预约并帮助其重新安排。ElevenLabs表示,该中央系统每年处理4000万次预约,未到诊率为10%至20%;该部署使用NVIDIA Confidential Computing将公民数据和音频保留在政府基础设施内,并在处理过程中加以保护。

峰会发布的产品组合使ElevenLabs的企业战略不仅依赖于模型性能:调优和Memory依赖实际使用中积累的数据,Routines将对话与业务系统连接,合作伙伴计划和Marketplace则开辟了进入企业的渠道。因此,核心执行挑战是双重的:将预览版和早期访问产品推向更广泛的生产使用,以及推动Marketplace从浏览走向通过现有ElevenLabs承诺进行购买。

来源

Unite.AI