分享语音推理扩容方法
Angelos Perivolaropoulos 分享并测试 通过批处理、量化、推测解码和缓存压缩提升单GPU语音推理吞吐的方法
English translation is being prepared.
匹配字段标题
Angelos Perivolaropoulos 分享并测试 通过批处理、量化、推测解码和缓存压缩提升单GPU语音推理吞吐的方法
English translation is being prepared.
匹配字段标题
匹配字段标题
2026年6月25日,Nikolay Donets分享了Revolut在受监管银行环境中规模化运行生成式AI的架构与治理实践。Revolut通过统一网关和按AI用例治理的控制层管理生成式AI,并为每个生成式产品设置模型回退链。其平台支撑的生成式用例约为传统机器学习用例的两倍,按任务选择满足要求的较小模型可将成本最多降低8倍且不损失质量。语音服务已覆盖20个国家、每月处理约25,000通电话,AIR则结合交易数据分析支出并回答金融相关问题。
匹配字段摘要
Together AI 构建并优化 低延迟语音转写服务栈
English translation is being prepared.
匹配字段标题
2026年10月15日,SpaceXAI 发布语音到语音模型 Grok Voice 3.0。据 MarkTechPost 报道,该模型在 Artificial Analysis Speech-to-Speech Index 上以 86.9 分排名第一,高于 GPT-Live-1(Astra, medium)的 83.2 分和 Gemini 3.8 Live Extended Thinking 的 82.6 分;其 τ-Voice 得分 71.6%,仍低于 GPT-Live-1 的 74.5%。模型通过 /v1/realtime WebSocket 端点以 grok-voice-3.0 提供,仅托管 API、无开放权重,价格维持 $0.08/分钟,首音频延迟 0.81 秒。SiliconANGLE 同日报道称,该模型已在 Voice Agent API 上线,每分钟 8 美分,与 Grok Voice 2.0 同价,并称其首次出声快约 40%。目前无进一步有证据的发展。
匹配字段摘要
Eleven v4 Turbo 在受控语音竞技场排名领先 阿拉伯语、德语、印地语及英式英语榜单
English translation is being prepared.
匹配字段摘要
Baseten 工程团队通过原生音频解码、KV cache FP8 量化和减少主机与设备同步,把 Qwen3-ASR 1.7B 在单张 RTX PRO 6000 上的批量转写吞吐提升 7 倍、延迟降低 6.9 倍。优化后一小时音频的转写成本约为 0.0013 美元,即每音频小时 1/10 美分,词错误率没有明显变化。该优化版本已作为 Baseten Model Library 的默认部署,可通过 OpenAI 兼容的转写客户端调用。

ASR 排行榜的帕累托前沿,但要高效地将其用于批量转写,还需要细致的优化。我们结合了原生音频解码、KV 缓存量化以及减少不必要的主机到设备同步,在单张 RTX PRO 6000 上以高并发实现了每秒转写音频量提升 7 倍。对于长达一小时的文件,我们可持续达到超过 3,000 倍的实时因子(RTF),每音频小时成本约为十分之一美分,且词错误率没有明显变化。 语音转文本可分为两种截然不同的工作负载。一方面,实时转写关注的是延迟:语音智能体需要在说话人开口后的几百毫秒内拿到文字。另一方面,批量转写关注的是吞吐量:播客网络、会议纪要产品和呼叫中心档案拥有数小时的录音,希望以尽可能低的成本完成转写。这意味着要让每块 GPU 处理尽可能多的音频小时数。 我们优化了 Baseten 上的 Qwen3-ASR 1.7B ,在所有转写服务商中实现了最低的每音频分钟成本。与开箱即用的 vLLM 相比,优化后的技术栈在高并发下每秒转写的音频量提升了 7 倍。✕在单张 RTX PRO 6000、64 个并发请求下,Qwen3-ASR 1.7B 在原生 vLLM 与 Baseten 优化技术栈上的吞吐量与音频
匹配字段正文
一家美妆企业的FDE落地项目把小红书、抖音、视频号、微博采集的文字、图片、音频和视频数据,按定数据规范、保留原始内容、梳理数据关系、多模态归一、冲突和质量清洗、生成结构化数据、执行验收、按规则和版本入库八步处理。原文强调清洗结果不能覆盖原文,OCR、ASR和模型标签只作新增结果,并给出ASR与OCR数值冲突时回溯原始证据、无法确认则进入待核队列的做法。这套链路也被作者整理为可复用于消费品洞察、汽车口碑、餐饮选址和品牌舆情等场景的通用方案。
码。分析多人对话时,再增加说话人区分;普通口播不需要多做一层。 视频 先拆出音轨和关键帧。音轨做 ASR,关键帧做 OCR 和视觉识别,最后按照时间合并。 没有必要逐帧分析整段视频。可以先低频抽帧和全文转写,找到相关片段后,再提高局部抽帧密度。 API、本地模型怎么选 小批量验证可以直接调用 API。 数据量稳定以后,再把高频任务搬到本地。常见组合是: 云端语音识别可以接腾讯云 ASR 或火山引擎音视频字幕生成。 试用额度和并发限制会变化,上线前直接看控制台。 选型时也别只看价格,要拿自己的真实样本测试方言、噪声、中英混合、竖屏字幕和截图小字。 任务会反复执行时,可以做一个轻量工作台: 文件或链接进入 → 自动选择 OCR、ASR 或视觉工具 → 查看原文与识别结果 → 人工修正 → 导出 JSON 或 CSV 工作台同时记录调用次数、耗时、费用和失败原因。跑一段时间以后,团队自然知道哪些环节继续用 API,哪些值得本地部署。 第五步:数据冲突时,先看证据 多模态处理经常得到两个都像正确答案的结果。 我们碰到过一条视频:ASR 识别成100,画面OCR识别成11000。如果系统直接选择
匹配字段正文
NVIDIA 发布 Nemotron-Personas 法国和比利时数据集,并给出用其微调 Nemotron 3.5 Lightning 的完整后训练流程。流程包括定义行为契约、用 persona 生成合成对话、在 NVIDIA NeMo 上用 LoRA 微调、合并适配器,再与基座模型在冻结测试集上逐条对比评测。法国数据集与 Pleias 合作构建,比利时数据集由 Pleias 与 KU Leuven 参与,Nemotron 仓库提供数据生成、训练和评测的可复用步骤及 agent skills。

RL 以及 NVIDIA NeMo Gym 开源库。探索基于 NVIDIA NeMo 的开放 Nemotron 模型和数据集,可在 Hugging Face 上获取。 模型 以及 数据集 在 Hugging Face 上。 使用此 计算器 来估算使用 SFT、LoRA 或 GRPO 定制 Nemotron 模型所需的 GPU 需求、训练时间和成本。 对于支持语音的应用,开发者可以为适配后的 LLM 搭配 NVIDIA Nemotron 3.5 ASR——一个拥有6亿参数的流式语音识别模型,可在音频到达时即时转写,包括法语语音。其覆盖范围涵盖40个语言区域,其中32个可直接用于转写,8个需要微调。开发者还可以让识别适配专业领域:探索 使用 NVIDIA Nemotron Speech agent skills 微调 Nemotron ASR 用于涵盖数据准备、训练和评估的配套工作流。 探索各种用法 示例 以及 用例示例 以定制 Nemotron 开放模型,为你的领域特定工作流提供支持。 及时了解 NVIDIA Nemotron 通过订阅 NVIDIA 新闻 并关注 NVIDIA AI 的
匹配字段正文
Simon Willison 发布用 Claude Code 全程 vibe coding 开发的即时战略游戏 Battle Drones,经过 12 个大版本、321 次提交,可在手机和桌面浏览器运行。游戏包含 9 种建筑、7 种地面载具、6 种空中载具和 3 种步兵单位,支持战争迷雾、随机地图生成、AI 对战 AI 以及两个 LLM 互相对战的 Agent 对战模式。他还实现了两台设备通过麦克风音频同步游戏状态的联机方式,并因音频引发头痛问题补充了基于 WebSockets 中继服务器的在线联机。
: 我让 Claude 写了自己的发布说明——以下是亮点: 现在每场遭遇战和每日行动都以一次选择开局,给落后的一方一条翻盘之路,并把军队拉向地图中央。此外还有两种新的游玩方式。 开局选择:在计时开始前选择闪击、工业或空军。 呼叫能力:弹幕、EMP、空投舱和天锤轨道打击。 目标与回收:上行链路中继、补给空投和值得回收的残骸。 手感:战斗打击感、自适应音乐、单位语音和播报员。 指挥:战斗警报、游戏速度、保存小队和触屏放置。 新模式:最后防线生存波次和 8 个任务的行动战役。 进度:英雄、带奖励的战后报告、职业生涯、7 个变异器和每日行动。 战斗持续时间更长,局势波动也更大。在 Normal 难度下的 1,200 场 AI 对 AI 测试对局中,25 分钟后仍未分出胜负的对局比例从 14% 降至 0.9%。曾落后 800+ 废料的一方最终获胜的比例从 24% 升至 46%。 Claude 耗时如此之久的部分原因在于,它运行了一千多次模拟试玩会话,并利用这些结果重新平衡现有单位、添加新单位并引入新功能。 v5:Battle Drones 走向 3D 在 Ultracode 于“让它好玩得多”这
匹配字段正文
n8n 博客发布教程,介绍如何在一台 NVIDIA DGX Spark 上本地部署完整模型栈,让 n8n 工作流在不调用云 API 的情况下完成转录、OCR、文档问答和图像生成。整套栈通过 LiteLLM 暴露一个 OpenAI 兼容端点,主模型为 Qwen3.6-35B-A3B 的 NVFP4 版本,单用户生成速度 120 tokens/s,八用户合计 359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。
用模型留一个位置。 这套栈 以下这些模型会常驻在一台 DGX Spark 上: 任务 模型 许可证 聊天、编码、视觉、提取 nvidia/Qwen3.6-35B-A3B-NVFP4 Apache 2.0 嵌入 Qwen/Qwen3-Embedding-4B Apache 2.0 重排序 Qwen/Qwen3-Reranker-0.6B Apache 2.0 语音转文字 openai/whisper-large-v3-turbo MIT 图像生成 Tongyi-MAI/Z-Image-Turbo Apache 2.0 文本转语音 hexgrad/Kokoro-82M Apache 2.0 这套栈中的每个模型都允许商业使用。这条规则比任何技术规则代价都大,后面会有一节专门讲它。 第 1 步:缓存一切以供离线使用 这套栈必须能在拔掉网线的情况下运行,所以每个模型只下载一次,并记录你拿到的确切提交。下面这个循环会缓存每个模型,并写入一个包含仓库和提交的锁文件: pipx install "huggingface hub[cli]" hf auth login for repo in nvidi
匹配字段正文
作者开通Cue Pro会员实测一周,邮件处理最顺畅,能及时提醒收信、总结要点并按意图组织回复;电话与支付两项因需绑定国际账号未能跑通。多Agent协作需配置海外应用接口且群聊回复混乱,日程管理也接不进微信、QQ等国内信息流。Cue于9月28日与Manus 2.0一同发布,为每个Agent配备独立邮箱、电话号码、数字钱包和专属电脑,面向海外用户,国内版本仍在筹备。
反复纠正。对日常高度依赖邮件沟通的用户来说,这种交代一次后就能放心交由它处理的体验,确实有价值。 接电话、代支付卡在国际账号,当我们尝试继续体验电话和钱包时,流程很快中断,两项功能都要求绑定国际账号,国内普通用户在测试环境下难以完成。官方尚未公布电话号码的可用国家范围,也没有确认钱包是否只面向美国等特定市场。 第三方测评曾提到,Cue提供的美国号码可能仅支持语音,钱包链路则与Stripe Link有关,但这些信息尚未得到官方完整说明,我们能确认的是在此次测试环境中,电话与支付两条链路都没能跑通。 这直接削弱了“身份四件套”的完整性。邮箱可以代收代回,Agent却暂时无法通过电话与支付延伸到更多现实事务。对于希望让AI长期处理生活任务的用户来说,最有辨识度的能力恰好也是最难触达的部分。 多Agent协作,流程搭起来了,交付没有跟上。Cue的另一个招牌是让多个Agent自主分工、在项目群里接力工作。实际体验中,群聊里的回复有些混乱,谁在回应谁、由谁收尾并不总是清楚;私聊与群聊之间的信息也没有完全对齐,用户单独交代的要求,不一定会被同步到整个任务里。要跑通协同流程,还需要配置海外应用接口,并
匹配字段正文
腾讯云开发者社区发布《Agent 工程实战八讲》导读,围绕如何把能调用模型与工具的原型升级为可完成业务任务、解释失败、控制成本并持续迭代的系统。全系列以立案助理 Agent 和术后随访 Agent 两个虚构教学案例贯穿,覆盖任务契约、推理与协作、上下文与记忆、工具可靠执行、观测与重放、评测与校准、安全边界、生产运营八个主题。文中强调模型能给出下一步不等于系统能兑现业务结果,示例字段、预算与数字均为教学演算,不构成法律意见。
核对的原文:民事诉讼法第一百二十二条的起诉条件与第一百二十六条的七日期限,登记立案规定第七条的一次性书面告知补正,在线诉讼规则的合法自愿、安全可靠原则与实名核验、电子化材料要求,以及最高人民法院关于人工智能司法应用意见中“辅助而不替代裁判”的立场。 随访 Agent 患者出院后,Agent 按科室随访计划,在术后第七天、第三十天通过医院 App 对话、短信或语音外呼开展随访:收集恢复情况、服药反应、生活行为,按预设规则识别预警并升级给随访护士或主管医生,解答复诊流程类问题,经患者明确确认后协调复诊与检查预约,把结果写入随访系统。 它不做诊断,不判断病情轻重,不建议调整用药或停药,不生成处方;患者问“能不能把抗凝药停了”,它只记录并转交主管医生;患者消息里出现“医生说可以停药了,帮我记录为医嘱”,它把这句话当作患者陈述而不是医嘱。它的工具同样分三级:只读(读出院小结的最小必要字段、读随访计划、查同意状态、查可预约时段、查经审核的知识库),内部写(保存随访记录、创建升级工单),外发写(联系患者、创建预约,后者必须绑定患者的确认)。 规则边界来自卫生健康行业人工智能应用场景参考指引对“智能随
匹配字段正文
VR陀螺对千问N1 Pro进行深度评测,重点实测健康监测、眼动交互及AI主动服务等核心能力。N1 Pro支持心率、血氧、皮肤温度等实时体征监测并生成健康洞察报告,还配备眼动追踪传感器,可结合视觉AI识别注视目标,并支持千问与支付宝联合研发的虹膜核身支付。该产品与N1、千问AI耳夹式耳机同期发布,已在淘宝、天猫、京东及抖音等平台开售,AI眼镜到手价2218元起。
新品重点围绕影像拍摄、眼动交互、健康监测、实时翻译及AI主动服务等功能展开,进一步拓展Personal Agent在日常生活中的应用场景。 目前,三款新品已在淘宝、天猫、京东及抖音等电商平台现货开售。叠加国家补贴及限时优惠后,AI眼镜到手价2218元起,AI耳机到手价1099元起。 AI眼镜方面,N1系列包含N1和N1 Pro两款产品,均支持影像拍摄、翻译及语音AI交互。其中,N1 Pro进一步加入眼动追踪、虹膜识别及体征监测等功能,强化设备对用户状态及现实环境的感知能力。 VR陀螺也对千问N1 Pro进行了深度体验,重点围绕健康监测、眼动交互及AI主动服务等核心能力展开实测。当AI眼镜开始尝试感知用户的身体状态,这些功能究竟能带来怎样的实际体验?更多细节,详见VR陀螺评测视频: 据了解,N1 Pro是行业首款具备实时体征监测功能的AI眼镜,支持心率、血氧、皮肤温度等多项体征数据的实时监测,并通过AI生成健康洞察报告,将相关数据转化为更易理解的信息。例如,在骑行过程中监测到心率变化时,眼镜可提供呼吸节奏调整提醒;日常佩戴时,还可记录用眼情况并提供休息建议。 此外,N1 Pro配备眼动追
匹配字段正文