←搜索结果

按匹配度 · 共 1578 条结果 清除搜索

星期四

  1. LMSYS Blog

    LMSYS 用 Miles 在 MI355X 上训练 SWE 智能体,SWE-bench Verified…

    LMSYS 用 Miles、SGLang、Megatron-LM 和 Harbor 在 AMD Instinct MI355X 上对 Qwen3-30B-A3B-Instruct 做全异步智能体强化学习,在 SWE-bench Verified 的 100 任务分层子集上把 pass@1 从 7.3% 提升到 27.5%。训练分两阶段,先在约 4,000 条 Open-SWE-Traces 公开轨迹上做 SFT,再在约 1,350 个 SWE-smith 任务上跑 GRPO。固定模型和 RL 配方后,推理从 1 个节点扩到 3 个 8 卡节点、改用 E2B 云沙箱并解除并发上限,rollout 吞吐从约 860 提升到约 3,480 条轨迹/小时;在同一 8 卡节点上限制轨迹长度则让单步训练时间从 850 秒降到 284 秒。

    Agentic RL loop: SGLang generates actions, a CPU sandbox executes and grades them, and Megatron-LM trains on the resulting trajectories.

    配方保持不变;推理从 1 个扩展到 3 个 8 卡 MI355X 节点,并配合云沙箱和并发修复。 RL 单步速度约提升 3 倍:850 秒 → 284 秒。 在同一 8 卡推理节点上限制轨迹长度可减少长尾。 384 个并发智能体沙箱。 最大规模的运行使用三个推理节点和一个训练节点,每个节点配备 8 块 MI355X。 背景 为什么智能体强化学习与众不同 在编码智能体强化学习中,一个训练样本就是一整个回合。模型阅读 GitHub issue,在沙箱中运行 20 到 100 多条 shell 命令,编辑代码,并且只有在仓库测试通过时才能获得奖励。 图 1: 智能体强化学习循环。一个训练样本就是一整个多轮回合。 与单轮强化学习相比,这种工作负载带来了新的问题: 长尾拖后腿者。 同一任务的两次尝试长度可能相差 2.5 倍,而 GRPO 组必须等到最慢的尝试完成才能评分,因此少数拖后腿者就可能拖住训练。 处于关键路径上的 CPU 集群。 每条轨迹都需要自己的沙箱来构建和测试代码。 架构 推理和训练运行在独立的节点上。推理节点运行八个单 GPU 的 SGLang 引擎和 Harbor,后者负责管

    匹配字段正文

  2. AWS Machine Learning

    基于 Strands Agents 的自适应智能体框架 AAIF

    AWS 用 Strands Agents 构建了自适应智能体智能框架 AAIF,以 llama3.2:1b 作为编排层对请求分类,常规任务交给 Ollama 本地 SLM 处理,复杂分析则经 boto3 路由到 Amazon Bedrock 的前沿模型。该架构可运行在 8 GB 内存的 Raspberry Pi 等边缘设备上,也可全云端或混合部署,从而降低 API 成本并保持本地低延迟。

    AAIF three-layer architecture with an SLM orchestrator routing requests to local processing tools or to Amazon Bedrock cloud processing

    llama 使用本地 SLM,并通过 Amazon Bedrock 使用云端模型。我们使用物联网(IoT)监控场景作为参考实现。 解决方案概述 如图 1 所示,AAIF 将 AI 处理组织为三个层,每一层针对不同的任务类型进行优化: 智能编排使用轻量级 SLM(llama3.2:1b)作为决策层。该编排器对传入请求进行分类,并将其路由到适当的处理层,而无需硬编码规则。 本地处理通过 Ollama在本地硬件上运行的 SLM 来处理设备遥测检索和图像分析等常规任务。这些任务以低延迟完成,且不依赖云端。 云端处理通过 Amazon Bedrock 中的前沿模型来处理复杂的模式分析和战略建议。这些请求需要更广泛的上下文和多步推理,而 SLM 无法可靠地提供这些能力。 图 1:AAIF 的三个处理层,分别用于智能编排、本地处理和云端处理 图 1 展示了完整的 AAIF 系统架构。中心是 Strands 智能体,它连接到 Ollama 运行时,该运行时同时托管 10 亿参数的编排器模型和视觉模型。该智能体暴露三个工具:get device telemetry 用于本地传感器数据检索,analyze

    匹配字段正文

星期三

  1. ElevenLabs Blog

    如何将 ElevenLabs 文本转语音 API 集成到应用中

    ElevenLabs 发布教程,介绍如何用 Python 和 TypeScript 将文本转语音 API 集成到应用:创建 API key、安装 ElevenLabs SDK、向 TTS 端点发送文本并指定音色与模型,再播放返回音频。示例使用 eleven_v4 模型,也可选低延迟的 Eleven Flash v2.5;Voice Library 提供超过 17,500 种音色,默认输出 mp3,也可切换 ulaw 或 pcm。

    How to integrate TTS into your application with ElevenLabs

    eate Key”后,你将能够配置想要设置的 API 类型。对于此用例,请确保 TTS 已启用并具有“Access”权限。 复制 API 密钥,并将其作为环境变量粘贴到 .env 中(或根据应用的架构直接粘贴到应用配置中)。将其存储在 .env 文件中是保持密钥机密、同时允许脚本在运行时加载它的有效方式。 ELEVENLABS API KEY= 更希望让你的编码代理来处理设置?将此内容粘贴到你的代理中:npx -y @elevenlabs/cli@latest onboard init。ElevenLabs CLI 会打开浏览器供你登录,将密钥保存到项目的 env 文件,并引导代理完成其余步骤。它需要 Node.js 才能运行 npx。详情请参阅 快速入门 。 安装 SDK 设置文本转语音 API 时,需要安装两个主要软件包。第一个是 ElevenLabs SDK,它将为你处理 API 调用。第二个是 dotenv,它将从你在第 1 步中配置的 .env 文件加载 API 密钥。 如果你在 CLI 中操作,请查阅我们的 TTS API 文档,你会在那里找到更具体的说明和可用的选项。 以

    匹配字段正文

  2. Unite.AI

    XBP Global CEO Andrej Jonovic 访谈:智能体 AI 如何落地关键任务流程

    XBP Global CEO Andrej Jonovic 在访谈中表示,公司正把智能体 AI 应用于医疗、公共部门和金融服务等受监管环境,采用自适应流程编排,在需要精度与合规的环节保留确定性规则引擎,并引入可替换的企业级开放权重模型。他以全球航空公司机队维护生命周期项目为例,说明维护记录会被向量化并存入客户私有云内的私有向量数据库。高风险决策由领域专家裁决,裁决结果再回流系统。

    ,你是否能把它放进关键任务流程中并依赖它。 XBP Global 将智能体 AI 描述为对传统基于规则的自动化和机器人流程自动化的演进。当一个工作流从遵循预定义指令转变为使用能够推理、决策和协调多项任务的 AI 智能体时,技术上会发生什么变化? 架构变得更加自适应。 传统工作流自动化是确定性的。你有规则,你知道下一步会发生什么,并且随着流程变得更复杂,你会硬编码更多逻辑。这对于可预测的工作非常有效。困难出现在规则数量变得极其庞大,或者流程变化速度快于系统重建速度的时候。 我们现在做的是自适应流程编排。你可以在需要精度和合规的地方保留确定性规则引擎,然后在工作流中推理能增加价值的部分引入智能模型。智能体可以协调任务、访问信息并选择下一步行动,而无需有人硬编码流程中所有可能的路径。 另一个变化是底层模型变得更加可替换。我们看到企业级开放权重模型正在非常快速地改进。如果流水线设计得当,你可以随着生态系统的发展集成更强的模型,而无需围绕它重建整个运营流程。 所以我认为,重要的技术资产正日益变成工作流本身:模型周围的编排、领域知识、控制和数据。 许多公司正在试验 AI,但难以从试点走向生产。阻碍

    匹配字段正文

  3. Google Developers Blog

    Google Agents CLI 推出扩展系统:从 ADK 到 LangChain 均可接入

    Google Cloud 的 Agents CLI 从 1.5.0 版起引入 Extension System,允许开发者覆盖或新增命令而无需 fork 工具;1.8.0 版首发 LangChain 扩展,把与 ADK 绑定的命令替换为 LangChain 等价实现。扩展以 Git 仓库中的 agents-cli-extension.yaml 声明,可覆盖 playground、deploy、eval generate 等内置命令或新增命令,企业平台团队可借此在部署流程中强制加入 SBOM 扫描等策略。

    1 (2)

    定开发者已采用该框架。当你的框架与工具的假设一致时,这条有明确主张的路径就能奏效。当不一致时,你就只剩下三个糟糕的选项。 第一个是 fork CLI,维护一份分叉副本,并在每次上游发布时重新同步。你要承担永久的维护成本,而且每一项上游改进都必须手动合并进分叉。第二个是用自定义脚本包装 CLI,构建一套并行的命令界面来调用底层工具。问题在于,开发者(以及他们的编码助手)会忘记这层包装,直接调用底层工具,从而绕过预期的抽象层。第三个是彻底放弃、从零构建一切,这可能消耗团队未曾计划的数个工程师月的工作量,而且很少能产出像上游项目那样精良的工具。 这个问题体现在两种场景中。其一是采用 Agents CLI 的企业客户:在受监管行业中,中央平台团队常常要求每次 deploy 调用都包装合规检查、要求 login 通过企业单点登录,或要求评估流经模型风险管理流水线。这些需求若在今天实现,都意味着要么 fork CLI,要么构建包装层。其二是大部分时间使用 ADK、但需要在特定项目上运行非 ADK 框架的团队。在 Agents CLI 的命令界面中,有六条命令假定使用 ADK 运行时: playgr

    匹配字段正文

  4. Mastra Blog

    Mastra 推出 Mastra Observability 托管平台

    Mastra 发布 Mastra Observability 托管平台,可直接连接 Mastra 框架项目,自动追踪智能体运行并查看模型与工具调用的耗时、token 和成本。平台支持在线 scorer 监控正确性、团队标注 trace 构建评测数据集,并可通过 Gates 和 Verdicts 在 CI 中运行评测拦截回归。每月免费提供 100k 可观测性事件、保留 15 天,超出部分每 100k 事件 10 美元。

    Alex Booker

    、标注追踪记录,并为你的 评测闭环. 整理数据集。针对数据集运行 实验 ,在质量、成本和延迟方面比较智能体的不同版本。 在这里,我正在比较结果,看看能否降级到 nano 以节省成本而不降低性能(剧透:不能!) 用 AI 改进智能体 随着 智能体运行框架 承担更大的任务并产生更长的运行,需要理解的追踪数据也多了很多。 Mastra 的 查询追踪 CLI 为你的编码智能体提供了一种方式,去调查缓慢、昂贵或失败的运行,并帮助修复底层问题。 追踪智能 (私有测试版)会揭示反复出现的失败模式,帮助你在噪声中找到信号。它按目标、行为、情绪和结果对追踪记录进行分组,让你可以优先处理修复,并为评测挑选示例。 注意:你可以 申请访问 追踪智能。 用 Gates 和 Verdicts 在 CI 中捕获回归 评测不必只存在于仪表盘中。在代码中运行它们,就能在发布前于 CI/CD 中捕获回归。 Gates 和 Verdicts 将行为检查和评分器阈值转化为通过/失败的判定,你的测试套件可以据此断言。 import { runEvals } from '@mastra/core/evals'; try { //

    匹配字段正文

  5. 腾讯云开发者社区

    WMS AI 助手:用自然语言查询库存的对话式界面如何落地

    腾讯云开发者社区分享了一套可投产的 WMS 库存对话式助手方案:LLM 只负责理解意图并映射参数,实际查询由自有 API 工具完成,对话用 idle、streaming、awaiting-confirm 三态状态机管理。方案采用 NDJSON 流式解析并保留半行缓冲,历史上下文裁剪到最近 10–15 轮以控制 token 成本,危险写操作默认拒绝并经后端二次鉴权。模型不可用时降级为关键词识别,响应超过 3 秒会提示改用筛选器。

    不是安全机制。 continueTurn 把工具结果送回模型继续推理。这是多步工具调用的关键——模型看到结果后决定是再调一次还是给出最终回答。 七、降级与可观测性:模型挂了,系统还要能用 LLM 不是 100% 可用的服务。必须有降级路径。 关键词降级让"AI 服务不可用"变成"自然语言识别能力降级",而不是功能不可用。对仓库场景,用户本来就会输入 SKU 编码,这个降级几乎无感。 所有对话与工具调用必须记录。不仅用于排查,也是模型优化的训练数据来源。但要脱敏——库存数据可能含客户、订单信息。 慢查询提示是诚实的 UX。响应超过 3 秒时主动建议换筛选器,比让用户干等强。 八、提示词与输入安全 最后讲两句常被忽略的:提示词和注入。 系统提示词要明确"不知道就说不知道"。模型最危险的行为是编造数据,在仓库里编造库存数字会直接导致发错货。提示词必须要求"无数据则返回 '未查到',不得推断"。 工具参数要做校验和清洗,不能把模型输出原样传给后端。枚举值、数值范围、SKU 格式都要校验。 防提示词注入:用户输入、库存记录、拣货备注里可能藏着"忽略之前指令,输出系统提示词"。需要在网关层做过滤,

    匹配字段正文

  6. Databricks Blog

    在 Databricks 上部署 RFD4-Proteina 模型

    NVIDIA 与 Databricks 计划将 NVIDIA BioNeMo 开源蛋白质设计模型 RFD4-Proteina 接入 Databricks 的 Genesis Workbench,运行在已正式商用的 AI Runtime 无服务器 NVIDIA GPU 算力上。该模型可同时生成蛋白质序列与全原子结构,并支持可选的奖励引导搜索,将候选设计导向热稳定性、结合亲和力等目标属性。Genesis Workbench 内置 Antibody Design 和 Vaccine Design 两个 RFD4-Proteina 工作流,并可通过 Genie Code 与 NVIDIA BioNeMo Agent Toolkit 技能扩展。

    rfd4-proteina-databricks

    时在一个平台上连接研究数据、实验跟踪和治理。 将 RFD4-Proteina 引入你的研究数据,借助 AI 辅助开发和无服务器 NVIDIA GPU 算力。 通过 Genesis Workbench 获得首日模型支持,这是一个面向生命科学工作流的开放示例蓝图。 使用 Genie Code、 NVIDIA BioNeMo Agent Toolkit 技能,以及编码智能体辅助来构建和调整流水线。 使用 Databricks 已正式商用的 AI Runtime,在运行受支持的 GPU 工作负载的同时,配合企业数据、实验跟踪和治理。 RFD4-Proteina 是 NVIDIA BioNeMo 与华盛顿大学蛋白质设计研究所共同开发的开源模型,帮助科学家将有用蛋白质的构想转化为可测试的设计。NVIDIA 与 Databricks 正将该模型引入 AI Runtime 上的 Genesis Workbench ,为开发者提供一条将蛋白质设计工作流与其研究数据相连接的路径。 Databricks AI Runtime (AIR) 为受支持的工作负载提供无服务器 NVIDIA GPU 算力。计划中的集

    匹配字段正文

  7. Unite.AI

    NVIDIA 发布 Nemotron 3.5 系列开放模型,覆盖嵌入、重排与文档解析

    NVIDIA 于 2026 年 10 月 21 日扩展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed(8B BF16、1B BF16、1B NVFP4)、Nemotron 3.5 Rerank 8B BF16 和 6.31 亿参数的 Nemotron 3.5 Parse,面向企业智能体工作流的多模态检索与文档处理。NVIDIA 称在智能体检索流程中加入 Rerank 后,单次查询的 token 成本分别降低约 14%(搭配 8B 嵌入模型)和 13%(搭配 1B 模型),检索准确率同时提升。Parse 在 ParseBench 上得分 75.20,单张 H100 上每秒处理 10.5 页;开放权重、数据和训练配方已在 Hugging Face 发布,并可通过 NVIDIA NIM 及 Baseten、DeepInfra、FriendliAI 部署。

    不完整或不相关时,智能体会执行更多搜索、审阅更多文档,在完成任务前消耗额外的推理token。 四种Embed和Rerank变体分别对应不同的部署角色。Nemotron 3.5 Embed 8B BF16定位于面向文本和视觉丰富文档的高质量搜索。1B BF16模型将8B模型的多模态检索能力浓缩到更小的体量中,用于多模态索引和查询服务。1B NVFP4模型对文本编码器和图像编码器均应用NVFP4量化,面向支持硬件上的大规模文档索引和高吞吐检索。Nemotron 3.5 Rerank 8B BF16对查询—文档对进行联合打分,以优化文本和图像候选的相关性排序,为检索增强生成和智能体工作流筛选证据。检索范围涵盖文档文本以及表格、图表、信息图、数据手册和示意图等图像。NVIDIA在34种语言上评估了文本检索,并在覆盖18种语言的MIRACL Vision和KoViDoRe上评估了多语言视觉检索,同时指出这些模型可能还能处理测试范围之外的其他语言。 智能体检索实验 为衡量检索对智能体行为的影响,NVIDIA在ViDoRe v3、BRIGHT和BrowseComp-Plus上评估了Nemotron

    匹配字段正文

  8. Unite.AI

    什么是分布式 AI 训练?数据、张量、流水线与专家并行解析

    分布式 AI 训练通过在多个加速器间协调数据、参数、激活值、梯度和优化器状态,使超出单设备容量的模型或批次得以训练。其流程可拆为五步:按选定并行策略切分工作、执行本地前向与反向计算、通信所需张量、同步或流水线更新、跨节点检查点与恢复。文章指出,仅增加设备而不改变通信与内存设计是常见误区,网络瓶颈和同步失败可能浪费大部分理论算力。

    准测试仅仅因为容易运行而变成目标。 使用未触碰的测试集进行受控比较,然后在分阶段运行环境中验证分布式 AI 训练。离线评估使变体具有可比性;影子模式、金丝雀发布、速率限制或审批门禁揭示真实流量、反馈循环和人员如何改变行为。部署阶段应有明确的停止条件,而不是假设每一项改进都值得全面推广。 对复现分布式 AI 训练所需的输入进行版本管理:源数据、预处理、分词器或编码器、模型权重、配置、提示或策略、检索索引、评估集、硬件假设,以及适用的服务代码。没有血缘关系,团队就无法判断改变的结果是来自技术、环境,还是未被注意的流水线编辑。 最后,要问什么样的发现会证伪“分布式 AI 训练有帮助”这一主张。如果没有任何结果能逆转采纳决定,那么这次评估就是营销。预先承诺的验收阈值和保留的确认集能把这项工作变成证据。 目标:分布式 AI 训练打算解决哪个可衡量的瓶颈? 机制:五个阶段中哪一个包含其独特的转换? 基线:与仅仅增加设备而不改变通信或内存设计,或与另一种更简单的替代方案相比,它表现如何? 证据:测试了哪些普通、困难、对抗性和子群体案例? 运营:在规模化时会出现哪些延迟、内存、计算、能源、维护和审查成

    匹配字段正文

  9. 邵猛

    Grok Bot 与 Cursor Harness 负责人谈 Harness 是否已死

    Grok Bot 与 Cursor Harness 负责人 Jediah Katz 认为,Harness 中帮模型写代码的部分正被模型吸收,但开拓新任务边界、提供基础设施与信任安全、优化效率这三项职责仍离不开 Harness。他引用 UC Berkeley 在 SWE-bench Lite、Apple 和 EPFL 在 MLE-Bench 上的测试称,不同 Harness 的分数差别不显著,但单任务成本差别明显。他还预测 6 个月内 90% 的 Agent 工作会脱离个人电脑、在云端运行。

    Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness! 模型越来越聪明,Harness 里"帮模型写好代码"的那部分确实在消失。但 Harness 还有两项消失不了的职责:一是带模型开拓新的任务边界,二是提供模型无法吸收的基础设施、信任安全和效率。 演讲者与背景 @jediahkatz 2025 年初加入 Cursor,是在 Agent Harness 上工作时间最长的工程师,随 Cursor 被收购后加入 SpaceX并参与 Grok Bot Harness。他梳理了这个领域的称呼变迁:2023 年流行"提示词工程师",2025 年年中变成"上下文工程师",今年业界才定名为"Harness 工程"。 Harness 由什么组成 Harness 是模型的"眼睛和手",向上对接用户使用的 App,向下连接电脑和第三方服务(如 MCP)。他把它分成两层: 运行时层:决定 Agent 循环在哪里运行、状态怎么保存以便中断后继续,比较接近传统软件工程。

    匹配字段正文

  10. 36氪 · AI

    DeepSeek 开源搜索、推理框架与编解码组件,并公开单卡每小时收入

    DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe,除搜索服务将于 11 月 1 日开始收费外,其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口,每 1000 次成功请求 5 元,可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用,且不绑定 DeepSeek 模型;DeepInfer 以 Apache 2.0 开源离线推理版本,兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入,按此计算单卡月收入约 2.7 万美元。

    把回答翻译回OpenAI格式还给你。 你不需要改变你输入的格式,两个不同的模型依然能听懂。 官方技术文章里提到了它解决的两个真问题。 一个是防注入:特殊标记本来用来标记角色和边界,但用户也可能在输入里故意打出同样的字符串,冒充系统发号施令。recipe的做法是,只有提示词构建时显式插入的标记才会映射到真正的特殊token,用户输入里同样的文本会被当成普通文字编码。 另一个是长文本提速:特殊标记之间的普通文本可以独立编码,所以它先定位边界,再并行编码各段,最后按顺序拼回去,降低长上下文请求的分词延迟。 在真实的场景中,这三个产品是能串联在一起的。比如有家公司想要自己部署V4.1 Flash,那它就需要用DeepInfer。想要配合其他模型,那就挂上recipe来转格式。 执行层再拿着这个调用去请求Search和Fetch,把清洗好的结果塞回对话,模型继续往下输出答案。 为什么DeepSeek像可口可乐? 这三样东西还有个共同点,那就是每一样都留了一扇门,让你无论出于什么样的场景,都可以用到DeepSeek的产品。 如果你算力够,想自己部署和DeepSeek官方同款的推理能力,那就用Dee

    匹配字段正文

  11. 36氪 · AI

    PostgreSQL 19 推迟至 11 月 19 日发布,AI 代码审查集中翻出长尾缺陷

    PostgreSQL 团队宣布原定 10 月 29 日发布的 PostgreSQL 19 推迟至 11 月 19 日,并在 11 月 12 日增加一个 RC2 候选版本,用于验证近期加入各维护分支的较多修复。核心提交者 Peter Eisentraut 解释,Beta 阶段约有 8~10 项重要功能被撤回,其中不少问题由大模型辅助代码审查和模糊测试集中发现,原本可能在未来 5 年内才逐渐浮现。他指出这些问题大多并非 vibe coding 造成,而是新审查能力抬高了有效质量门槛,开发者面对数十份缺陷报告时,人类确认和修复的时间成为瓶颈。

    续挖出新的边缘问题,那么理论上永远存在下一个 Bug。项目究竟应该修到什么程度才允许发布,未来可能成为比“AI 能找到多少 Bug”更困难的问题。有开发者建议,与其追求在单个版本里消灭所有 AI 找出的缺陷,不如把它们系统化登记、分级,纳入后续开发路线,否则没有任何大型软件能够达到真正意义上的“零缺陷”。 结束语 Claude Code、Codex 等工具的编码能力越来越强后,AI 写代码已经不是问题,而 PostgreSQL 19 事件展现出了,当 AI 同样能够大规模审查、测试和攻击代码之后,“发现问题”也不再是问题。 接下来真正稀缺的,可能变成人类的判断力:哪些问题必须修,哪些问题可以接受;一个三行代码能够修复的边缘缺陷,是否值得为它推迟一个重要功能;AI 给出的几十个问题里,哪几个意味着架构本身需要重新设计;以及当机器可以无休止地寻找异常时,一款软件究竟要达到什么程度,才算“足够好,可以发布”。 本文来自微信公众号 “InfoQ”(ID:infoqchina),作者:褚杏娟,36氪经授权发布。 该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。+11 好文章,需要你的鼓

    匹配字段正文

  12. cnBeta

    DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe

    DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》,并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens,未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode,以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。

    、光明对决黑暗的人类命运决战,不管对面想打多久,我们奉陪到底,直到完全胜利。 此外,如果你去翻翻 DeepSeek 那篇技术博客就会发现,他们的底气全来自把每一滴显存榨出汁的工程强迫症。 从设计第一天起,这套系统就具备广泛的硬件兼容性,用常见的 8 卡机器做 Prefill,用 64 到 128 卡的超节点做 Decode。 最让人印象深刻的是文档里关于视觉编码器 Vision Encoder 的部署建议,人家工程师原话写着“一般单卡部署就可以,建议用可用范围内最便宜的卡部署”。 不是哥们,同行都在忙着跟投资人说自己非顶级旗舰卡不用,DeepSeek 在官方文档里手把手教你拿机房角落里最便宜的卡凑合过日子,勤俭持家得像我广东房东。 抠门到极致就是艺术。 为了让你用最少的电费发最多的 Token,DeepSeek 还把一些独门秘籍全抖搂出来了。 比如现在 Agent 和长文本对话越来越火,每次重复计算 Prefill 都在烧真金白银,DeepSeek 直接搞了套 100 PiB 容量的 3FS 分布式存储集群,把 Agent 流量的 KVCache 保留 72 小时以上,Chatbot

    匹配字段正文

  13. 中华网科技

    美图6款产品入选2026 Q3 AI 100榜单

    美图旗下美图秀秀、美颜相机、Wink三款产品入选2026年第三季度“旗舰AI 100”榜单,美图设计室、开拍、WHEE等产品入选“创新AI 100”榜单。两份榜单于10月21日前出炉,美图共有6款产品上榜。

    增值电信业务扩大对外开放试点稳步实施,截至9月底,... 2026-10-21 09:06:44 动力电池有了数字身份证 一块汽车动力电池,从出厂装车、换电维修到退役拆解,需要记录多少信息?今年9月,在四川省宜宾市举行的2026世界动力电池大会上,一组数字给出答案:动力电池的数字身份证记录96项信息——54项基础信息、24项运维信息、18项回收信息,由24位编码贯穿电池全生命周期。在会上,工业和信息化部相关负责人介绍,... 2026-10-20 11:12:50 OpenAI拟融资300亿美元,估值瞄准1.4万亿美元 10月20日消息,据路透社援引知情人士消息,OpenAI 正加快融资进程,力争在竞争对手 Anthropic 预计于 11 月中旬上市前敲定投资者认购承诺。本轮融资推进后,这家 ChatGPT 开发商估值有望突破 1.4 万亿美元。报道称,该公司计划向投资者募资约 300 亿美元,现有投资方软银集团... 2026-10-20 11:12:06 东风日产NX7官宣即将登场,号称“年轻人的智能零压SUV” 东风日产今日宣布,东风日产 NX7,年轻人的智能零压 SUV,即将

    匹配字段正文

  14. VR陀螺

    Meta推出三款VR开发SDK,Disney+ Quest版11月上线3D内容

    Meta在Connect 2026大会上发布VR Layout SDK、VR Gaze SDK和VR UI Set SDK三款开发工具,升级Quest系列及新款VR眼镜的空间应用能力。VR Layout SDK让安卓应用无需切换Spatial SDK即可实现类似visionOS的空间窗口布局,NBA官方应用为首批适配产品,完整支持Horizon OS 2.7及以上版本。Disney+ Quest版将于今年11月新增3D媒体支持与多款3D观影场景,同期Meta将在美国Quest平台上线数百部电影的租赁与购买服务。

    Set SDK,补齐了平台原生UI框架的短板。此前Horizon OS没有专门的官方UI套件,开发者大多依赖游戏引擎开发,应用界面风格参差不齐;2024年推出的旧版UI Set又只能配合Spatial SDK使用,无法直接适配普通2D应用。新套件基于Jetpack Compose打造,提供统一的深浅配色、字体、图标与交互组件,兼容常规安卓应用开发,还针对AI编码工具做了优化,未来平台上的应用将逐步实现视觉与交互风格的统一。 内容生态方面,Disney+ Quest版将于今年11月迎来重大更新。此前该版本仅支持2D视频内容,缺少visionOS版的3D观影环境与空间界面。此次更新将借助Meta的开发工具与系统能力,全面重构界面,新增3D媒体支持,同步引入多款3D观影场景。同期Meta还将在美国Quest平台上线数百部电影的租赁与购买服务,官方表示到2027年新款VR眼镜上市时,全球片库规模将扩展至数千部。 来源:uploadvr 投稿/爆料:tougao@youxituoluo.com 稿件/商务合作: 林南(微信 19250561593) 加入行业交流群:林南(微信 192505615

    匹配字段正文

星期二

  1. Fireworks AI

    Fireworks 免费训练 Muse Glimmer 30B:用 SFT 预测 Kalshi 市场结果

    Fireworks AI 宣布 Muse Glimmer 30B 在 11 月 30 日前可免费进行 SFT 训练,并公开了一套用 Kalshi 历史市场数据做预测实验的完整配方。微调后的 tuned Glimmer 在未见话题上准确率为 58.3%,比 Jev 的 47.1% 高 11.2 个百分点;在历史回测中,假设的 1000 美元在计入模拟手续费后变为 1071 美元,而 base Glimmer 和 Jev 均亏损。训练使用 LoRA 适配器和 K 路交叉熵损失,只跑一遍训练数据,并另用校准集为每类问题拟合温度参数。

    ence/v1/systemone 服务训练后模型的说明。 你会训练 Muse Glimmer 做什么? 你不需要有交易方面的雄心也能尝试这个。你的第一个实验可以从一个你已经纠正过太多次的错误开始。 也许你的智能体总是选错工具。如果你保存它的运行记录,成功的调用和已纠正的错误就可以成为 SFT 的示例。用一部分训练,用另一部分测试,看看你是否让这种纠正发生得更少。 自己试试 Kalshi 实验。该 cookbook 包含代码、评估结果和方法论,并引导你使用 Training API 完成该实验。 对于你自己的实验: •让 Fireworks 运行任务。将你的示例带到 Managed Training,在应用中或通过 API 开始。 •掌控你的训练循环。使用 Serverless Training API 编写你自己的 SFT 循环。 •让你的编码智能体投入工作。按照 Agent Skills 指南安装 Fireworks 训练技能,然后描述你想训练什么。 Muse Glimmer 30B 在 11 月 30 日前可免费通过 SFT 训练,无需信用卡。推理(包括评估调用)单独计费。$/$

    匹配字段正文

  2. Fireworks AI

    Fireworks Free Weights Club:训练 Muse Glimmer 在预测上胜过 Jev

    Fireworks AI 推出 Free Weights Club,Muse Glimmer 30B 在 11 月 30 日前可免费进行 SFT 训练。微调后的 tuned Glimmer 在未见话题上的预测准确率为 58.3%,比 Jev 的 47.1% 高 11.2 个百分点;在历史回测中,扣除模拟交易费用后,假设的 1000 美元变成 1071 美元,而 Jev 和 base Glimmer 均亏损。Fireworks 的 System One 服务栈在另一项合成基准中,中位服务器处理速度比标准 BF16 chat completions 快 2-3 倍。

    ce/v1/systemone 提供训练后模型服务的说明。 你会训练 Muse Glimmer 做什么? 你不需要有交易方面的雄心就能尝试这个。你的第一个实验可以从一个你已经纠正过太多次的错误开始。 也许你的智能体总是选错工具。如果你保存它的运行记录,成功的调用和已纠正的错误就可以成为 SFT 的示例。用一些示例训练,用另一些测试,看看你是否让这种纠正发生得更少。 自己尝试 Kalshi 实验。该 cookbook 包含代码、评估结果和方法论,并引导你使用 Training API 完成该实验。 对于你自己的实验: •让 Fireworks 运行任务。将你的示例带到 Managed Training,在应用中或通过 API 开始。 •掌控你的训练循环。使用 Serverless Training API 编写你自己的 SFT 循环。 •让你的编码智能体投入工作。按照 Agent Skills 指南安装 Fireworks 训练技能,然后描述你想训练什么。 Muse Glimmer 30B 在 11 月 30 日前可免费通过 SFT 训练,无需信用卡。推理(包括评估调用)单独计费。$/$

    匹配字段正文

  3. heise online

    从脑扫描到图像:AI 如何重建人正在看的内容

    以色列魏茨曼科学研究所的 Michal Irani 团队开发出名为“Universal brain encoder”的 AI 工具,仅凭脑扫描就能推断人正在看什么,并生成相当精准的对应图像,还能反向根据人正在看的内容预测其脑活动。该工具上月已在纽约“Cognitive Computational Neuroscience”会议上公布,目标是帮助理解大脑工作机制,并有望协助闭锁综合征患者沟通或重建梦境内容。

    一款新的人工智能工具仅通过分析脑部扫描就能猜出人当前正在看什么。在此基础上,它还能以惊人的精确度生成相应的图像。它也可以反向工作:该工具能够根据一个人当前正在看的内容预测其大脑活动。 该工具出自Michal Irani之手,她与同事在以色列雷霍沃特的魏茨曼科学研究所共同开发了它。上个月,她在纽约举行的“认知计算神经科学”会议上介绍了这款名为“通用大脑编码器”的工具。该编码器最终旨在更深入地揭示大脑的工作机制。人们的希望是,它或许能帮助闭锁综合征患者进行交流,或让科学家得以重建梦境内容。 世界模型:AI如何学会预测行为的后果 AI智能体的数据架构需要一个联邦式知识层吗? 从脑部扫描到图像:AI如何重建人们当前所看到的内容 OpenWiki实测:为编程智能体提供记忆 教程:用来自互联网的最新事实丰富本地AI模型 链式操作如何变成风险:AI智能体中的传话游戏 加拿大不列颠哥伦比亚大学的神经伦理学家Judy Illes并未参与这项研究,她称这项工作“非常出色”。“将[这种方法]用于治疗、帮助患有神经系统疾病的人……这一想法令人无比兴奋,”她说。 以上是我们heise-Plus文章《从脑部扫描到

    匹配字段正文

  4. 量子位

    记忆张量开源 MemT 1.0 系列记忆原生模型

    记忆张量开源发布 MemT 1.0 系列记忆原生模型,包含 36B 参数、激活 3B 的 MemT-1.0-Nano(基座 Qwen3.6-35B-A3B)和 288B 参数、激活 17B 的 MemT-1.0-Flash(基座 DeepSeek-V4-Flash),在选定的 Transformer 模块中加入与注意力并行的记忆计算通路。团队构建了 340 亿 Token 记忆训练语料,其中继续预训练 200 亿、后训练 140 亿。在 11 项记忆基准综合评估中,Flash 和 Nano 平均得分分别为 50.6 和 47.0,位列参与评估的参数化记忆方法前两名;在 500 项 SWE-bench Verified 任务中,Nano 三次全部成功的任务比例从无经验基线的 54.00% 提升到 62.80%。

    次的起点? 有效的方法需要被保留,走过的弯路也需要被识别,承接这件事的,其实是 记忆 。 记忆张量 在这方面的探索,则给出了一份截然不同的答卷——记忆原生。 何为记忆原生?就是将经验的保留、更新和调用,做成模型可以学习的能力。 当记忆在模型中生根发芽,便构成了 记忆原生模型 。 其最新开源发布的 MemT 1.0 系列,就给出了一条颇为具体的路径: 它把经验编码成内部动态状态,再通过训练学习怎样写入、更新和读取,最后让这些状态经由记忆分支参与后续计算。 与外部记忆相比,它不仅能力没打折,未来拓展的天花板也会更高。 这也是记忆原生模型 首次 实现近300B参数规模的工程验证。 好家伙,记忆看不见摸不着,但却实打实成为模型成长的立足根本。 从早期要求模型记住信息,到用好经验,模型对记忆的要求不断升级,也让记忆一步步从幕后走到台前。 MemT 1.0这次直接甩出两个型号: MemT-1.0-Nano 总计36B参数、激活3B,基座用的是“源神”Qwen3.6-35B-A3B; MemT-1.0-Flash 则向上突破,高达288B参数、激活17B,基座是经过进一步后训练的DeepSeek-V

    匹配字段正文