←搜索结果

按匹配度 · 共 268 条结果 清除搜索

星期一

  1. Replit Blog精选

    Replit 推出 Replit for Business,提出自驱动公司蓝图

    Replit 发布 Replit for Business,面向企业提供让智能体在受控边界内使用公司知识与系统的底座,目标是帮企业转型为自驱动公司。Replit 称 2026 年上半年其工程师代码产出接近三倍,评审时间、回滚和产品事故持平。客户 SMFL 表示原本需 6 人做 6 个月的开发流程由 1 人 1 周完成,全生命周期成本从约 30 亿日元降至 10 亿日元以下。

    The Rise of the Self-Driving Company — cover image

    核心循环,会选择其子智能体的层级和投入力度,并随着任务展开调整自身的层级和投入。有了这种自由,GPT-6 Astra 将常规实现交给成本更低的子智能体,并自行决定把 token 花在哪里最值得。在 DeepSWE 和 Terminal-Bench 上,Replit Agent 相对于单独使用 Astra 都具有帕累托效率:没有任何已发布的 Astra 基线成本更低且得分更高。它还比 sidekick 架构——即同样设置但配有一个长期存活的 worker——高出 11 分和 16 分。 为什么我们减少脚手架 每一次模型发布都会使框架中固化的假设失效。 随着模型在长周期任务上变得更强,它们不再需要框架层提供那么多脚手架。在实践中,我们观察到它们更倾向于自行委派:使用子智能体进行上下文管理和并行处理。近期的突破,包括 Navier–Stokes 问题,部分来自协调由前沿模型驱动的智能体集群 [1]。 但前沿是参差不齐的。最强的编码模型不一定最擅长设计 UI 或制作幻灯片,也不一定最擅长写邮件。因此我们设计框架,让每个模型按自己的方式工作,同时保留它仍然需要的护栏,并以最低成本实现质量为目标。

    匹配字段正文

星期日

  1. MarkTechPost

    Cognition 开源 Devin 漏洞修复插件,覆盖 PHP、Node.js 与 GitLab 三类高危漏洞

    Cognition 发布开源免费的 Devin Vulnerability Fixes 插件,包含 fix-php-vuln、fix-node-vuln、fix-gitlab-vuln 三个 Agent 技能,采用 MIT 许可,针对 PHP2Shell、Node.js 10 月安全版本和 CVSS 10.0 的自管理 GitLab 漏洞 CVE-2026-110264。技能按只读盘点、审批、校验目标版本、前后测试、每仓库一个 PR 五步执行,可在 Devin、Claude Code、Codex、Cursor、GitHub Copilot 等读取 SKILL.md 的智能体中运行,需 git、shell、Docker 和镜像仓库访问权限,npx 安装要求 Node.js 22.20 以上。原文未公布修复率基准,托管运行时、一体机和 Electron 应用只被标记而不打补丁。

    n 发布了 Devin Vulnerability Fixes 插件,这是一套免费、开源的智能体技能。它针对三个严重的远程代码执行(RCE)安全公告。它们涵盖 PHP2Shell、Node.js 2026 年 10 月 21 日安全版本以及一个 CVSS 10.0 的自管理 GitLab 漏洞。这些技能可在 Devin 以及任何读取 SKILL.md 文件的编码智能体中运行。Cognition 将其内部使用的修复工作流打包成了该插件。开发者可以依次执行盘点、审批、打补丁、测试,然后每个仓库提交 1 个拉取请求。 简要说明 规模:三个技能(fix-php-vuln、fix-node-vuln、fix-gitlab-vuln),MIT 许可证。 运行环境:Devin、Claude Code、Codex、Cursor、Factory Droid、GitHub Copilot、Gemini CLI、OpenCode 和 Windsurf。需要 git、shell、Docker 和镜像仓库访问权限。npx 技能安装需要 Node.js 22.20 或更高版本。 性能:该插件未公布修复基准或修复率

    匹配字段正文

星期六

  1. MarkTechPost

    Anthropic 开源 sandbox-runtime:为 AI 智能体提供无容器 OS 级沙箱

    Anthropic 开源 sandbox-runtime(srt),以 OS 级隔离限制进程可访问的文件和网络主机,无需启动容器,npm 包 @anthropic-ai/sandbox-runtime v0.0.81 采用 Apache-2.0 许可,要求 Node.js 22.12+。macOS 使用 Seatbelt,Linux 依赖 bubblewrap、socat 和 ripgrep,Windows 支持处于 alpha 阶段。Anthropic 称内部 Claude Code 使用中权限提示减少 84%,该数字为自报数据;网络默认拒绝,流量经主机侧代理按域名白名单放行。

    包装后命令字符串。 84% 这个数字意味着什么? Anthropic 报告称,在内部 Claude Code 使用中,沙箱化使权限提示减少了 84%。这是自报数字,并非外部基准测试结果。其目标是缓解审批疲劳。整天点击“批准”的开发者会不再阅读自己批准的内容。固定的边界让智能体可以在其中自由工作,只在边界处请求批准。 真正的权衡:严格的允许列表与可用的智能体 编码智能体不只是编辑文件。它们会安装依赖、拉取文档并调用 API。允许列表设得太严,npm install 就会失败。设得太松,沙箱就几乎起不到保护作用。srt 提供了几个调节参数来把握这一中间地带: 通配符和端口:如 .npmjs.org 或 api.example.com:443 这样的条目。 询问回调:决定没有规则覆盖的主机,并可返回模型会读取的原因。 按命令允许列表:仅为一次调用开放某个注册表。 实时更新:--control-fd 可在命令运行期间切换网络列表。 解析地址检查:阻止解析到回环或云元数据 IP 的已允许名称。 拒绝域名原因:告知智能体获准的替代方案,例如 HTTPS git 远程地址。 它与其他智能体沙箱相比如

    匹配字段正文

  2. Figma AI / Agent / Make

    Figma 代码层进入公开测试,六个团队分享使用方式

    Figma 宣布代码层(code layers)进入公开测试,团队可以在画布上探索和构建由代码支撑的原型。文章列举 Superside、Dell、Cox Automotive、Rocket Money、Merkle、Checkout.com 六个团队的使用方式,包括用 Figma agent 把静态设计转成代码层、并排对比多个版本、以及用精确数值和参考截图分阶段迭代。Merkle 称迭代和功能开发速度提升 30%,文档创建时间最多减少 50%;Cox Automotive 的产品经理称 19 个版本只花约一小时手动操作时间。代码层将消耗 AI credits,付费计划在 2026 年 11 月 4 日前创建和编辑免费。

    Pickup App preview showing a wall clock listing beside its App.tsx code.

    ell的产品设计师,负责面向企业客户和dell.com购物者的客户账户体验,覆盖移动端、平板和桌面端。由于Dell的 设计系统团队 如何用Figma agent减轻设计系统维护工作 Figma的agent可以承担设计系统中的重复性工作,从维护组件库到自动化设计遵循组件库的方式。在此,我们分享几种让Figma agent发挥作用的方法。 已在Figma中提供其编码的React组件,Miguel的代码层便基于开发者使用的相同组件构建。这让团队成员能更真实地了解提议的设计在已发布产品中的外观和行为。Miguel使用代码层将会话式AI体验带到画布上:利益相关者可以提问,原型会用正确的屏幕作出回应。“利益相关者真的可以在文本框中输入内容,这开启了我们以前没有的下一级原型体验,”他说。 一旦其他设计师批准了某个流程,Miguel就会在代码层中将其构建出来,以获得跨职能合作伙伴的签字确认,因为他们发现可运行的原型比一系列静态屏幕更容易理解。在编辑时,他会复制代码层以并排保留版本,这比切换版本历史更容易在备选方案之间做选择。“就像你看着一面墙,看看A,再看看B,”Miguel说。可运行的原型在评审周期

    匹配字段正文

星期五

  1. Replit Blog精选

    Replit 发布 Monitoring Agent,可自动排查并部署生产问题修复

    Replit 发布 Monitoring Agent,为已上线的应用提供自主值守能力:出现生产问题时,它能读取生产日志和指标、定位原因、验证修复,并在开启 auto-publish 后自动部署修复并邮件汇报变更。该功能建立在今年早前推出的 App Monitoring 之上,用户可在应用的 Publishing 设置中开启智能 autofix 告警。

    Replit Monitoring Agent: Your very own software engineering team — cover image

    报告之前修复问题 启用告警和自动修复后, Monitoring Agent 会在问题发生时收到通知。它会调查原因、验证修复,并通过电子邮件向你发送事件摘要。 自动部署修复 启用自动发布后, Monitoring Agent 可以部署经过验证的修复,并汇报改动了什么。修复是否自动发布由你决定。 迈向自主软件团队 Replit 是首个在云端实现 agentic 编码的平台。随着 agent 能力不断增强,我们的重心正从单一的编码 agent 扩展到 能够完成现代软件工程团队所能做的一切乃至更多的自主软件团队。 我们相信,软件的未来是由 agent 团队协同工作,来构建、维护、保护和优化软件,而创作者负责设定方向并保持掌控。 在过去六个月里,我们推出了业界领先的系统,用于 黑盒安全扫描, 增长, 以及现在的生产监控。这些是迈向自主 agent 团队的重要步骤,这些团队能够管理任何在 Replit 上构建的应用、工具或业务。 所有这些都服务于一个简单的理念:应该让更多人能够把想法变成现实。 构建应用只是这段旅程的一部分。保持其可靠、安全、可被发现并持续改进,历来需要一整个团队。通过让每位创作者

    匹配字段正文

  2. Amazon Science

    Amazon 发布 TorchNeuron:面向 AWS Trainium 的 PyTorch 后端

    Amazon 本周宣布开源 TorchNeuron,这是一个把 PyTorch 代码转换为可在 AWS Trainium 上执行的操作的后端,已在其他加速器上运行的 PyTorch 代码几乎无需改动即可迁移。它提供可选的 adaptive eager 模式,将操作分组编译并多级缓存 NEFF,在跨加速器的大语言模型测试中把首个训练步的时间缩短约三分之一。团队还用 AI 智能体扫描 Hugging Face 仓库,筛出 841 个代表性模型和数万个张量 shape,构建分层测试流程。

    除了因配置损坏而无法在任何加速器上运行的模型,并筛选出数十万个具有可运行、可执行代码的模型。 在所有那些模型上评估 TorchNeuron 代码的每一个修订版本将极其耗时。然而,而且此外,其中许多模型执行相似的任务或处理相似类型的数据。 因此,我们团队的成员构建了另一个智能体,根据一组定义的架构属性对模型进行分类。例如,大型语言模型有三个主要组件:前端通常是编码器,针对不同数据类型(如文本、音频、图像、视频或其某种组合)进行专门化。主干包含主要的 Transformer 块、注意力机制和前馈层,但注意力机制可能是自注意力、交叉注意力或两者兼有,并且有多种变体,如 flash attention、ring attention 和 delta attention。最后,后端将模型的内部表示转换为可用的输出形式,这可能是任何类型的数据,通过任意数量的策略生成。 在所有模型中,无论是 LLM 还是其他模型,我们发现仅 841 个代表性模型就覆盖了 TorchNeuron 在实际中可能遇到的所有设计特征。 但即使在 841 个模型上完整评估新的代码修订版本,对于快速回归检测来说仍可能耗时过长,因

    匹配字段正文

  3. Microsoft Research

    微软研究院发布 Flint-interactive,让智能体生成可交互数据可视化

    微软研究院发布 Flint-interactive,一种构建在 Flint 之上的交互式数据可视化语言,让智能体生成支持点击、筛选、缩放、高亮和跨图表联动的图表。它通过 Flint 编译器把点击、拖拽等原始触发解析为语义事件,用户只需用高层算子描述更新行为,无需编写底层可视化代码。该语言已可通过 Flint-MCP 和 MCP Apps 在对话中使用,也提供编程 API 供开发者构建仪表盘和数据故事。

    们不禁思考: (作为用户)我能否直接在聊天中与图表交互,以探索数据并根据我所选的内容提出后续问题? (作为开发者)我能否让我为客户构建的 AI 智能体生成交互式可视化,帮助他们探索和理解自己的数据? 是的,这是可能的,但存在显著的实践差距。即使拥有能力强大的前沿模型,我们仍然面临: 高生成成本。智能体很少能在一轮内生成完全令人满意的交互式可视化。反复的推理、编码和调试会消耗 token 和时间。 可靠性。交互式可视化本身就颇具挑战,富有表现力的交互式图表很容易引入糟糕的布局或损坏的交互,而我们在尝试修复这些问题时又可能引入新的问题。 这些挑战有助于解释为什么在现实应用中持续生成高质量的交互式可视化仍然困难。同时,一些可视化库中的内置交互本身表现力不足,无法创建定制的交互式图表。而这些挑战的根源在于缺乏一种既有表现力又高层的语言来指定视觉交互。 视频系列 再想一想 由 Sinead Bovell 主持的视频系列,围绕大家关于 AI 都在问的问题展开。汇集微软各领域的专家声音,我们剖析这项快速变化的技术所带来的张力与前景,探索什么在演变、什么有可能实现。 Flint-interactive

    匹配字段正文

星期四

  1. Google Developers Blog

    Google API Gateway 支持流式传输并进入公开预览

    Google 宣布 API Gateway 的流式传输支持进入公开预览,SSE、分块传输、WebSocket 和 gRPC 流式端点可与现有 API 共用同一网关和策略,API 规范无需改动。流可保持打开最长一小时,预览期需在创建网关时开启,现有网关无法原地转换。配合模型路由,客户端可用单一 OpenAI 兼容端点按请求中的 model 字段分发到 Gemini、Claude 和 OpenAI gpt-oss 模型并流式返回。网关默认域名改为由网关 ID、项目编号和区域拼成的固定格式,可在创建前写入配置。

    Streaming feature in  API Gateway _ Header

    ateway 一起,API Gateway 是 Google Cloud AI 网关能力的轻量级入口。 您可以流式传输的内容 API Gateway 现在支持现代 API 所依赖的全套流式传输模式: 服务器发送事件(SSE) ——将模型输出流式传输到浏览器或客户端 SDK 的事实标准,也是大多数 OpenAI 兼容聊天补全 API 背后的传输方式。 分块传输编码和 HTTP 响应流式传输 ——包括换行分隔 JSON(NDJSON)以及任何其他逐步交付的响应体。响应会随着您的后端生成而透传,而不是被缓冲并在最后交付。 WebSocket ——用于聊天、协作、实时仪表盘、通知和交互式会话的全双工连接。 gRPC 流式传输 ——服务器端流式传输和双向流式传输,因此您可以将网关置于此前无法代理的 gRPC 服务之前。 流最长可保持打开一小时。与任何长连接一样,客户端应实现重连逻辑,以便会话在流结束后仍能存续——行为良好的 WebSocket 或 SSE 客户端本来就应该这样做。 您的 API 契约不会改变 这是最令我们满意的部分: 没有任何新东西需要学习。 流式传输不是不同的产品、不同的资源类

    匹配字段正文

  2. The New Stack

    Google 将 Gemini 智能体背后的基础设施开放为云服务 Agent Compute Engine

    Google 宣布将在今年晚些时候向 Google Cloud 用户开放 Agent Compute Engine 预览,为每个 AI 智能体提供硬件隔离的 microVM,兼顾容器的启动速度与沙箱的安全性。该服务原本是 Gemini、Antigravity 及 Google 模型训练流水线的内部基础设施,智能体空闲时会对 microVM 做检查点以释放资源。Google 同时提供开源运行时 Agent Substrate,可在任意 Kubernetes 集群上运行,官方称在 20 万智能体基准中实现每秒 500 次激活、挂起与恢复低于半秒。

    数据中心中的计算。 正如 Google 的两位杰出工程师 Rohit Jnagal 和 Ramanathan Venkatapathy 在一篇技术深度解析中所指出的,传统 VM 为开发者提供了大量控制和灵活性,但代价是在启动、挂起和恢复机器方面的速度。鉴于智能体启动和关闭的速度之快,这不是一个可行的选择。 他们指出,容器解决了其中一些问题,“但有许多例子,如编码智能体和开发者助手,需要完全隔离以及对智能体环境的内核级和根级控制。” Jnagal 和 Venkatapathy 写道,借助 Agent Compute Engine,团队回归第一性原理,构建了“一个统一的、面向 Google 的智能体计算平台”(现在也面向其客户)。 为每个智能体提供一台持久计算机 其核心基本上是为每个智能体提供一台持久的、沙箱化的计算机来工作。这使智能体能够使用 shell 脚本、使用无头浏览器,并在可能持续数周的智能体循环中编写代码(对该机器拥有 root 权限)。 但团队也为大规模用例构建了它,例如前沿实验室用于测试其模型的评估循环、AI 基准测试和强化学习。 此外,团队还将 Agent Compute

    匹配字段正文

星期三

  1. Mastra Blog

    Mastra 推出 Mastra Observability 托管平台

    Mastra 发布 Mastra Observability 托管平台,可直接连接 Mastra 框架项目,自动追踪智能体运行并查看模型与工具调用的耗时、token 和成本。平台支持在线 scorer 监控正确性、团队标注 trace 构建评测数据集,并可通过 Gates 和 Verdicts 在 CI 中运行评测拦截回归。每月免费提供 100k 可观测性事件、保留 15 天,超出部分每 100k 事件 10 美元。

    Alex Booker

    、标注追踪记录,并为你的 评测闭环. 整理数据集。针对数据集运行 实验 ,在质量、成本和延迟方面比较智能体的不同版本。 在这里,我正在比较结果,看看能否降级到 nano 以节省成本而不降低性能(剧透:不能!) 用 AI 改进智能体 随着 智能体运行框架 承担更大的任务并产生更长的运行,需要理解的追踪数据也多了很多。 Mastra 的 查询追踪 CLI 为你的编码智能体提供了一种方式,去调查缓慢、昂贵或失败的运行,并帮助修复底层问题。 追踪智能 (私有测试版)会揭示反复出现的失败模式,帮助你在噪声中找到信号。它按目标、行为、情绪和结果对追踪记录进行分组,让你可以优先处理修复,并为评测挑选示例。 注意:你可以 申请访问 追踪智能。 用 Gates 和 Verdicts 在 CI 中捕获回归 评测不必只存在于仪表盘中。在代码中运行它们,就能在发布前于 CI/CD 中捕获回归。 Gates 和 Verdicts 将行为检查和评分器阈值转化为通过/失败的判定,你的测试套件可以据此断言。 import { runEvals } from '@mastra/core/evals'; try { //

    匹配字段正文

  2. 36氪 · AI

    DeepSeek 开源搜索、推理框架与编解码组件,并公开单卡每小时收入

    DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe,除搜索服务将于 11 月 1 日开始收费外,其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口,每 1000 次成功请求 5 元,可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用,且不绑定 DeepSeek 模型;DeepInfer 以 Apache 2.0 开源离线推理版本,兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入,按此计算单卡月收入约 2.7 万美元。

    把回答翻译回OpenAI格式还给你。 你不需要改变你输入的格式,两个不同的模型依然能听懂。 官方技术文章里提到了它解决的两个真问题。 一个是防注入:特殊标记本来用来标记角色和边界,但用户也可能在输入里故意打出同样的字符串,冒充系统发号施令。recipe的做法是,只有提示词构建时显式插入的标记才会映射到真正的特殊token,用户输入里同样的文本会被当成普通文字编码。 另一个是长文本提速:特殊标记之间的普通文本可以独立编码,所以它先定位边界,再并行编码各段,最后按顺序拼回去,降低长上下文请求的分词延迟。 在真实的场景中,这三个产品是能串联在一起的。比如有家公司想要自己部署V4.1 Flash,那它就需要用DeepInfer。想要配合其他模型,那就挂上recipe来转格式。 执行层再拿着这个调用去请求Search和Fetch,把清洗好的结果塞回对话,模型继续往下输出答案。 为什么DeepSeek像可口可乐? 这三样东西还有个共同点,那就是每一样都留了一扇门,让你无论出于什么样的场景,都可以用到DeepSeek的产品。 如果你算力够,想自己部署和DeepSeek官方同款的推理能力,那就用Dee

    匹配字段正文

  3. cnBeta

    DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe

    DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》,并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens,未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode,以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。

    、光明对决黑暗的人类命运决战,不管对面想打多久,我们奉陪到底,直到完全胜利。 此外,如果你去翻翻 DeepSeek 那篇技术博客就会发现,他们的底气全来自把每一滴显存榨出汁的工程强迫症。 从设计第一天起,这套系统就具备广泛的硬件兼容性,用常见的 8 卡机器做 Prefill,用 64 到 128 卡的超节点做 Decode。 最让人印象深刻的是文档里关于视觉编码器 Vision Encoder 的部署建议,人家工程师原话写着“一般单卡部署就可以,建议用可用范围内最便宜的卡部署”。 不是哥们,同行都在忙着跟投资人说自己非顶级旗舰卡不用,DeepSeek 在官方文档里手把手教你拿机房角落里最便宜的卡凑合过日子,勤俭持家得像我广东房东。 抠门到极致就是艺术。 为了让你用最少的电费发最多的 Token,DeepSeek 还把一些独门秘籍全抖搂出来了。 比如现在 Agent 和长文本对话越来越火,每次重复计算 Prefill 都在烧真金白银,DeepSeek 直接搞了套 100 PiB 容量的 3FS 分布式存储集群,把 Agent 流量的 KVCache 保留 72 小时以上,Chatbot

    匹配字段正文

  4. PyTorch Blog精选

    Google 与 Meta 联合推出 TorchTPU,让 PyTorch 原生运行在 TPU 上

    Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式,新增 DeferAndFuse eager 模式,覆盖约 450 个 Aten 算子,并已在 4,917 个 Hugging Face 模型上验证开箱运行,其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载,并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

    开箱即用的执行,包括: LLM:Qwen、DeepSeek、Gemma、LLama、Mistral、GPT、OPT、BLOOM、Falcon、StableML 音频/语音:Whisper、Wav2Vec2、HuBERT、MMS 视觉:DinoV2、SigLIP、CLIP、Swin Transformer、ConvNeXt、ViT、ResNet、DETR 文本编码器与搜索:BERT、ALBERT 与 Electra、RoBERTa、DeBERTa、T5、MT5、Flan-T5 验证了基于 DTensor 的分片; 验证了多主机推理(vLLM 和 SGLang)以及微调/训练工作负载(TorchTitan),并采用基于 Ray 的编排; 验证了与 vLLM、SGLang、TorchTitan、Ray 和 TorchRec 的集成。 在本文的剩余部分,我们将讨论 TorchTPU 架构的关键方面以及一些初步结果。 架构深入剖析 TPU 入门 Google TPU 是专门设计的 ASIC ,用于执行构成深度学习基础的大规模张量运算。从 硬件架构角度, 一个 TPU 芯片 包含(取决于代际):

    匹配字段正文

星期二

  1. 智东西精选

    DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe

    DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe,前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出,可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架,单一集群服务吞吐为 155 万亿 Tokens/天,按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐,团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深,相关代码尚未完整开源。

    unded Replay重算。 4、SWA Bounded Replay:V4把SWA落盘,占掉持久VCache近一半容量却换不到命中收益;V4.1改为只重算最近128 token,Decoder侧总prefill计算量近乎减半。 5、硬件成本:常见硬件组网(8卡机+超节点),兼容多厂商芯片,可在英伟达与华为昇腾运行。 延迟线:TTFT与TBT分别优化 1、编码器/Prefill/Decode分离部署:解耦资源分配,Prefill侧优化TTFT,Decode侧优化TBT。 2、chunk size按时间预算反解:由目标时延倒推每个chunk的大小。 3、分词不拖TTFT:分词从线性改为分段并行——special token之间的普通文本独立编码,再按序拼接;核心路径用Rust实现。 4、边生成边返回:跨chunk状态机缓冲不完整UTF-8码点,按思考/正文/工具参数分阶段维护状态,KMP增量匹配分隔标记,不回溯已确定文本。 5、工具参数不整体构造:按DSML边界直接输出JSON片段,字符串逐段转义,缩短首个参数片段的等待时间。 6、投机解码同时压延迟:Confidence Head按接

    匹配字段正文

  2. The New Stack精选

    DeepSeek 开源其 API 背后的推理引擎 DeepInfer,同时支持 Nvidia 与华为昇腾

    DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer,采用 Apache 2.0 许可,可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash,并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库,支持投机解码、异步调度和结构化输出,同时开源了处理请求与响应转换的 deepseek-recipe 库(提供 Rust 和 Python 版本)。硬件方面首日支持 Nvidia SM100(Blackwell)架构和华为昇腾 950 NPU 系列,Hopper 等旧架构未列入;批量不变推理与确定性采样仅在 Nvidia 硬件上可用,公开性能数据也基于 Nvidia GPU。当前版本支持离线推理,但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。

    求如何转换为模型输入,以及生成的输出如何被处理为响应。它提供 Rust 和 Python 版本,旨在帮助开发者在运行自有部署时复现 DeepSeek 官方 API 的行为。该库于 9 月悄然发布,周二又发布了更新版本。 这一公告发布仅数天前,DeepSeek 刚发布了 V4.1 Flash 的更新版本 DeepSeek-V4.1-Flash-1017,宣称在编码性能和效率方面有所提升。据 The New Stack 周一的报道,该版本发布的同时,该公司还通过新的 Search 和 Fetch API 向开发者开放了其内部网络搜索技术。 DeepSeek 为何在 2025 年有所保留 DeepInfer 比 DeepSeek 此前分享其推理技术的计划走得更远。早在 2025 年 4 月,该公司发布了一份文件,概述其推理引擎的计划,并解释称它曾考虑发布整个系统,但最终决定改为向现有项目贡献单个组件和改进。 当时,DeepSeek 指出了若干障碍。其推理软件已从早期版本的 vLLM 演变为高度定制的系统,公司质疑其相对较小的研究团队能否再维护一个大型开源项目。此外,要让该软件在 DeepSe

    匹配字段正文

  3. 36氪 · AI精选

    DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe

    DeepSeek 开源自研推理框架 DeepInfer(Apache 2.0)和生产级 Token 编解码组件 deepseek-recipe(MIT),支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒,生成阶段每秒输出 230 个 Token,平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash,开源版本仅提供离线推理,KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。

    案,每生成一个,都要用上前面所有的KV缓存。 两步吃的资源完全不同。Prefill一次要处理几万个Token,拼的是算力。 Decode一次只生成一个Token,大部分时间花在从显存里读参数和缓存上。 于是DeepSeek把两步拆到了不同的机器上。Prefill用常见的8卡机器,Decode用64到128卡的超节点。 请求里带图片的,还会先交给单独部署的图像编码服务。 实践中,两边需要的卡数差不多是1比1。按官方的建议,想要效率高,最小部署单元是64卡Prefill加64卡Decode。 官方API那套逻辑,也开源了 请求进门后,先过deepseek-recipe这一关。 眼下主流的API格式有三种,OpenAI的Chat Completions和Responses,加上Anthropic的Messages。 deepseek-recipe把它们统一转成同一种对话格式,再按模型版本拼好prompt、编码成Token。模型输出的Token,也由它翻译回各家格式,流式返回。 它还顺手堵了一个口子。DeepSeek的模型靠一批特殊Token标记对话结构,比如用户发言从哪开始、思考到哪结束、什

    匹配字段正文

  4. 钛媒体 · AGI

    DeepSeek 更新 V4.1 Flash-1017,编程与 Agent 基准提升且 API 不涨价

    DeepSeek 于 10 月 17 日更新 V4.1 Flash-1017,API 价格未上涨,Terminal-Bench 4.0 从 31.2 分升至 42.3 分,超过 GPT-5.6 Sol 的 39.9 分和 GLM-5.3 的 37.9 分,仍低于 Claude Opus 5 的 51.8 分。官方列出的 11 项测试成绩全部高于初版,非高峰时段输入每百万 Token 0.15 美元、输出 0.60 美元。同期开放 Search 和 Fetch API,每 1000 次成功调用 0.75 美元,通过 DeepSeek Harness、Claude Code 和 Codex 的调用暂免费用,计划 10 月 31 日 16 时(UTC)起计费。有海外开发者用 ModelTrace 检测出 GPT-6 Astra 相似度 84.66%,但该工具数据库未收录 DeepSeek,结果不能作为蒸馏证据。

    于10月31日16时(UTC)开始计费,也就是北京时间11月1日零时。 从完整项目开发到网页搜索与抓取,DeepSeek这次更新不只是在提高模型答题和写代码的分数,也在补齐AI真正执行任务所需要的能力。 那么,如果不靠“蒸馏”抄近道,DeepSeek究竟是怎么在不扩大模型规模的前提下,把能力和价格同时卷到这个水平的? 梁文锋有了新妙招 DeepSeek将这次编码与项目开发能力的提升,归因于基于自反馈的强化学习。 简单来说,就是让模型在反复尝试完成项目的过程中,根据结果改进自己的操作方式,减少从编写代码到最终交付之间的失误。 而在底层成本控制上,这次提升并没有靠增加模型参数。V4.1 Flash采用混合专家架构(MoE),模型主体有5520亿参数。但每个Token在生成阶段只调用约160亿参数,在读取输入时则调用约80亿参数。 简单来说,模型虽然拥有庞大的参数规模,但每一步只调用其中一部分参与计算,以控制推理成本。 此外,这套架构还针对AI处理长文本时的缓存开销进行了优化。模型在处理长文本时,会暂存已经算过的信息,方便后续继续使用,这些信息就是所谓的KV缓存。 官方技术报告显示,在处理同

    匹配字段正文

  5. Cursor Blog精选

    Cursor 发布 Agent SDK,支持用代码定义并一键部署智能体

    Cursor 发布 Agent SDK,这是其构建 Bugbot、Security Reviewer 和 Rollouts 等托管智能体所用的框架,开发者可用代码定义智能体并通过 agent-sdk deploy 一条命令部署到 Cursor 基础设施。智能体以小型软件项目组织,提示词用 Markdown 编写、工具用 TypeScript 函数定义,可响应 GitHub、GitLab、Bitbucket 的 PR 事件,并内置 evals 与事件回放。也可打包为单个 Node 进程运行在自有基础设施上。

    作方式量身定制的。到目前为止,构建这样一个智能体通常意味着采用围绕他人工作流设计的产品,或者从零开始。 今天,我们发布 Agent SDK,这是我们用来构建自家托管智能体(如 Bugbot、Security Reviewer 和 Rollouts)的框架。Agent SDK 允许你用代码定义智能体,并像管理任何其他软件项目一样管理它们。你可以从模板开始,或让编码智能体查阅我们的文档。当智能体准备就绪后, agent-sdk deploy 用一条命令将其部署到 Cursor 基础设施。 围绕你的工作流构建 Agent SDK 让你能够快速构建和部署按照你团队方式工作的智能体。它们响应你团队已经在处理的事件,并遵循你团队可以检查和更改的策略。 代码审查就是一个例子。每个团队对于什么需要关注以及谁应该审查都有自己的标准。借助 Agent SDK,你可以构建一个响应来自 GitHub、GitLab 或 Bitbucket 的拉取请求事件的智能体。该智能体可以评估变更的风险,将其路由到正确的团队,并批准符合你策略的变更。 举例来说,Cursor 内部的一个团队构建了一个庞大且快速增长的经验教训知

    匹配字段正文

  6. 邵猛

    Viggle 发布 3D 原生世界模型 JST-2

    Viggle 发布 JST-2,将整套模型栈构建在 3D 空间,用携带 xyz 坐标、属性向量和动力学向量的 Physics-Native Token 表示世界,而非从视频像素中隐式推断物理规律。架构分为 JST encoder、JST generator 和 JST decoder 三部分,单次前向推理约 1 秒生成完整 3D 场景,成本低于 $0.01(B200),并支持最多 64 个输入视角作为空间上下文窗口。Viggle 公布的盲测人类偏好显示,角色生成对 Meshy 7.1 胜率 58.4%、对 Tripo H3.1 胜率 73.2%,视频生成运动对 DeepMotion 胜率 89.1%。JST-3 计划把学习到的动力学推广到物体交互。

    型 (Sora、Genie、Genie-3、Cosmos...) 几乎都工作在像素/视频空间,模型从海量视频中隐式地“猜”出物理规律 @ViggleAI 最新发布的「JST-2」走了一条相反的路:整个技术栈直接构建在 3D 空间里 这一点是理解整篇发布的关键:物理结构不是从画面外观中推断的,是表示本身的一部分。架构上分三个组件:JST encoder(把图像编码为物理原生 token)、JST generator(从多模态 prompt 直接生成 token)、JST decoder(结合视角与运动/力输入,解码为图像或 3D 高斯泼溅)。 Viggle 花四年(JST-1 在 2022–2024,JST-2 在 2024–2026)自建了全栈:tokenization、架构、数据合成引擎、预训练和后训练。自建数据引擎很重要,因为 3D 原生的训练数据在自然界几乎不存在,必须靠合成获得,这既是壁垒,也是成本。 能力面:一条架构统一三件事 · 场景生成:单次前向推理约 1 秒生成完整 3D 场景,成本 <$0.01(B200),无需逐场景优化;支持最多 64 个输入视角作为“空间上下文窗

    匹配字段正文

星期一

  1. 邵猛精选

    阿里通义 MAI-UI 团队开源通用计算机使用智能体技术栈 OpenGCUA

    阿里通义 MAI-UI 团队开源通用计算机使用智能体完整技术栈 OpenGCUA,包含 harness、跨设备 SDK、原生 macOS 应用、评测轨迹和参考 agent 实现。其核心设计是代码执行与决策从 harness 转移到模型,模型按需截图、编写带循环和条件判断的 Python 程序编排 GUI 操作、API 调用和 shell 命令,并自行维护 todo 列表。在 OSWorld-v2 上对 8 个前沿模型的评测中,平均 partial score 从 45.3 升至 64.9,每任务步数平均减少 53%;真机 macOS 测试中,同一 harness 下 Qwen3.8-Max 的推理 token 消耗是 GPT-6 Astra 的 19.4 倍,4 个任务完成 3 个。

    条很关键:它承认"截图"本身就是一种有成本的感知行为,该省则省(比如执行批量操作时中间过程不需要看)。 2. 如何行动:不是输出单个原子动作,而是写一段带循环和条件判断的 Python 程序,把 GUI 操作、API 调用、shell 命令编排起来。 3. 如何组织工作:模型自己维护 todo 列表,每步声明 intent,任务状态管理从 harness 硬编码逻辑转为模型自主行为。 这两大设计「代码执行(code execution)和 harness 到模型的决策转移(harness-to-model decision transfer)」是整个方法论的支柱。代码执行的巧妙之处在于复用了模型已有的强大编程能力,且循环内的中间结果直接决定下一步代码走向,无需每步都回到模型,这是效率提升的根源。理论上,纯 GUI 智能体、CLI 智能体、GUI+CLI 混合智能体(他们早期的 Qwen-UI-Agent)都成了 GCUA 框架的特例,这个统一视角本身就有理论价值。 实验结果:数字说明了什么 在 OSWorld-v2 上对 8 个前沿模型(GPT-6 Astra、Claude Opus

    匹配字段正文