←搜索结果

按匹配度 · 共 149 条结果 清除搜索

星期二

  1. OpenAI:部署安全与系统卡

    OpenAI 发布 ChatGPT Images 2.0 系统卡

    OpenAI 发布 ChatGPT Images 2.0 系统卡,介绍该模型在图像生成能力上的提升,并新增 thinking mode,可在生成过程中结合推理与工具调用、接入实时网络搜索数据。安全方面沿用 ChatGPT Images 1.5 的安全栈并增加防护,采用提示层与图像层分类器及安全推理模型做输入和输出拦截。评估显示 instant 模式对 685 张违规图像的综合召回率为 96.1%,thinking 模式综合安全输出达 6886/6944(99.2%);生物化学领域因专家认定部分输出可能为新手提供帮助,按高能力模型施加缓解措施。

    Provenance We have continued to prioritize enhancing our provenance tools. For ChatGPT Images 2.0, our expanded provenance safety tooling includes: A continued commitment to C2PA metadata, an industry-standard framework that enables automated disclosure of provenance information, through the C2PA Conformance Program; Integrating an imperceptible, robust, and content-specific watermark alongside internal tooling to help assess whether a certain image was created by our products We recognize that

    匹配字段正文

  2. OpenAI:部署安全与系统卡

    OpenAI 发布 GPT-4o 系统卡附录:原生图像生成

    OpenAI 发布 GPT-4o 系统卡附录,说明原生图像生成的安全挑战、评测与缓解措施。与作为扩散模型的 DALL·E 不同,4o 图像生成是嵌入 ChatGPT 的自回归模型,具备图像到图像转换、照片级真实感和指令跟随能力,也带来新的风险。安全栈包括聊天模型拒答、提示词拦截、输出拦截以及对未成年人的额外保护,评测来自外部人工红队、自动红队和真实场景离线测试。

    DALL·E and Sora, we have continued to prioritize enhancing our provenance tools. For general availability of 4o image generation, our provenance safety tooling will include: C2PA metadata on all assets (verifiable origin, industry standard); Internal tooling to help assess whether a certain image is created by our products We recognize that there is no single solution to provenance, but are committed to improving the provenance ecosystem, continuing to collaborate on this issue across industry

    匹配字段正文

星期日

  1. 量子位精选

    何恺明团队发布多模态 Harness 框架 VISTA

    何恺明团队提出多模态视觉原生 Harness 框架 VISTA,让现有多模态模型直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节,无需从头训练。搭配 VISTA,Claude Opus 5.0 完成 ARC-AGI-3 全部 25 个公开游戏,相对人类动作效率得分满分 100,所用动作数比首次游玩的人类基线少 57.4%;GPT-5.6 Sol 同样全部通关,得分 99。使用同一 GPT-5.6 Sol 模型,VISTA 在 GameWorld 的 170 项任务中把成功率从 40.0% 提高到 63.3%,在 AI GameStore 的 10 个游戏中综合得分从 47.3 升至 140.3,在 BabyVision 的 39 道迷宫与连线题上准确率从 41.0% 提高到 63.2%。

    ushi Han(Josh Han) 目前是MIT运筹研究中心博士生,导师为Cathy Wu。 胡珂雅(Keya Hu) 目前是MIT电气工程与计算机科学系博士生,由何恺明和Jacob Andreas联合指导。 她本科毕业于上海交通大学ACM班,研究兴趣集中在语言与视觉的交叉领域,希望构建数据效率更高、泛化能力更强的智能体。 Linlu Qiu 目前是MIT电气工程与计算机科学系及计算机科学与人工智能实验室的博士生,导师为Yoon Kim和Jacob Andreas。 其研究方向包括自然语言处理和机器学习,曾在Google Research及Meta FAIR开展研究。 Cathy Wu 目前是MIT土木与环境工程系、数据系统与社会研究所副教授,研究如何用机器学习和强化学习改进交通等复杂系统。 她在MIT获得学士和工程硕士学位,随后在加州大学伯克利分校获得博士学位。 何恺明 目前是MIT电气工程与计算机科学系终身副教授,也是ResNet、Mask R-CNN和MAE等工作的主要作者。 他本科毕业于清华大学、博士毕业于香港中文大学,曾任职微软亚洲研究院和FAIR,于2024年加入MIT。

    匹配字段正文

星期六

  1. Goodfire Research

    Goodfire 与乐天用 SAE 探针在生产环境检测 PII

    Goodfire 与乐天合作,将稀疏自编码器(SAE)探针用于乐天 AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。SAE 探针在从合成数据到真实生产数据的分布偏移下,泛化能力优于激活探针和注意力探针,并在非英语和标签噪声场景中同样领先。探针方案比常见 LLM-as-judge 设置便宜 10 到 500 倍,且用 Llama 3.1 8B 做白盒探针的 F1 达 96%,远高于同一模型黑盒判断的 51%。

    SAEs Beat Baselines on a Real-World Task (A Code Generation Case Study) [link] Adam Karvonen, Dhruv Pai, Mason Wang, and Ben Keigwin, 2024. Tilde Research Blog, December 15, 2024; Meta Llama 3.1 [link] Meta AI, 2024. Meta AI Blog, July 23, 2024; Attention Probes [link] Stepan Shabalin and Nora Belrose, 2025. EleutherAI Blog; Negative Results for SAEs On Downstream Tasks and Deprioritising SAE Research (GDM Mech Interp Team Progress Update 2) [link] Lewis Smith, Senthooran Rajamanoharan, Arthur C

    匹配字段正文

  2. Goodfire Research

    Goodfire 用 Evo 2 嵌入解释 420 万个基因变异

    Goodfire Research 发布与 Mayo Clinic 合作的研究,基于基因组基础模型 Evo 2 的嵌入训练轻量探针,在 839k 个 ClinVar 单核苷酸变异上取得 0.997 AUROC,并零样本泛化到短插入缺失(0.991 AUROC)。研究用注释探针把嵌入翻译为剪接位点、调控元件等生物概念的扰动谱,再由推理模型生成自然语言解释,在 154 个高置信变异上的 LLM 评判综合得分为 3.8/5。团队同时开放 Evo Variant Effect Explorer(EVEE),提供 ClinVar 全部 420 万个变异(含约 200 万个意义未明变异)的致病性评分、扰动谱和解释,该研究仍在同行评审中。

    EVEE banner image

    ucleotide variants and generalizes zero-shot to short insertions and deletions (indels) with 0.991 AUROC – variant types it was not explicitly trained on. It outperforms classical meta-predictors, protein-based models, and existing foundation model approaches across consequence types and conservation levels, and transfers to deep mutational scanning datasets for BRCA1, BRCA2, TP53, and LDLR. To understand why this matters, it helps to understand where existing tools fall short. Protein-based met

    匹配字段正文

  3. The Decoder

    a16z 第七版消费级 AI 榜单:首次追踪美国消费者实际支出

    a16z 发布第七版最常用消费级 AI 产品榜单,首次借助 YipitData 数据追踪美国消费者信用卡上的实际 AI 支出。数据显示近半数美国消费者使用 AI,但仅 4.5% 在 8 月拥有 ChatGPT、Gemini 或 Claude 的付费个人订阅;支出高度集中,前 1% 用户贡献近五分之一支出,月均约 900 美元,而典型付费用户约 25 美元。a16z 指出,付费者更偏好 n8n、Manus、fal 等构建与自动化工具,专业用途是消费级 AI 的首个真实付费市场。

    nClaw wasn't usable for most consumers, according to a16z. Now startup agents like Instinct and Tomo report hundreds of thousands of users, and the big players are countering with Meta's Muse, OpenAI's Dots, and xAI's Grok Bot. Agents become an economic force once they start triggering real purchases. Instinct founder Noah Shinn says 40 percent of users link a credit card within three weeks and then spend four-figure amounts per month through the service, much of it on travel. As revenue grows,

    匹配字段正文

星期五

  1. Chroma Research精选

    Chroma 发布 Context-1:20B 参数自编辑搜索智能体

    Chroma 训练并开源了 Context-1,一个 20B 参数的智能体搜索模型,在八千多个合成任务上训练,检索表现接近前沿大模型,成本更低、推理速度最高提升 10 倍。它作为检索子智能体工作,把高层查询拆成子查询并多轮搜索,在上下文窗口填满时主动丢弃无关结果,并以 Apache 2.0 许可开放权重和完整数据生成流程。训练采用先召回后精确的分阶段课程,配合基于抽取验证的合成任务生成流程,与人工判断的一致率超过 80%。

    Chroma Context-1: Training a Self-Editing Search Agent

    t to generate and execute code (SQL queries, pandas operations, regex pipelines) would open up search over structured data that current tools cannot effectively handle. Schema and metadata discovery. Real corpora come with metadata: timestamps, authors, document types, categorical labels. The agent currently has no mechanism to discover or leverage this structure. Exposing metadata schemas and allowing the agent to construct filtered queries would improve both precision and efficiency, particula

    匹配字段正文

星期四

  1. The Decoder精选

    Zenity 发现单条提示词即可劫持 AWS 账号内全部 AgentCore 智能体

    安全公司 Zenity Labs 发现 Amazon Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链,攻击者只需对一个公开智能体拥有对话权限,用一条提示词就能接管同一 AWS 账号和区域内的所有 AgentCore 智能体,读取私密对话、源代码和存储的凭证。问题根源在于 AgentCore 默认权限未限定到单个智能体,而是覆盖同账号同区域全部智能体,并授予读写删除权限;Zenity 于 2025 年 12 月 25 日向 AWS 报告后,AWS 将 IMDSv2 设为新部署默认,并在 8 月前后调整了默认执行角色,不再允许智能体调用其他智能体、读取私密对话或从 AWS Secrets Manager 取凭证。

    als. According to Zenity, the problem was systemic and affected agents with built-in tools in multiple AWS accounts. The agent handed over its own credentials AWS runs an Instance Metadata Service at the internal address 169.254.169.254 that provides temporary credentials for instances and workloads to authenticate with AWS. Anyone who captures those credentials can use them to impersonate the instance. An AI agent normally shouldn't be able to reach that service, but AgentCore lacked proper iso

    匹配字段正文

星期二

  1. The Decoder

    研究者将 LeCun 的 JEPA 扩展为跨物理到生物的通用世界模型

    PhAI Labs 联合 Stanford、Oxford、Princeton 提出 JEPA-Anything,把 JEPA 的单一预测拆成多个专用预测模块,并让各模块在训练中分化出不同角色,从而用同一套架构覆盖物理、机器人、天气、单细胞和临床等七个领域。在简化 Pong 环境中预测误差下降 35%,未见过的干预组合下降 13%,Burgers 方程基准误差接近减半,但 50 步后优势缩小到约 3%;模拟行走机器人规划中三环境赢下两个。团队还从生物数据中筛出 IL-18 联合 CD73 阻断的肝癌候选方案,并在类器官、患者组织和小鼠中测试,论文同时指出这尚不能说明可成为疗法,代码与模型已公开。

    ,并选取了误差最低的那一次。 作者提醒,学到的部分能够清晰分离,并不意味着它们捕捉到了真实的因果关系。这样的模型何时能可靠到足以指导实验设计,也仍是一个未解的问题。这是团队的长期目标:AI智能体将使用JEPA-Anything提出并排序实验,然后将结果反馈给模型。代码和模型已公开。 LeCun于2022年提出JEPA,作为生成模型的替代方案。2025年6月,Meta发布了V-JEPA 2,这是一个拥有12亿参数的JEPA视频模型,无需额外训练即可在陌生环境中控制机械臂。2025年11月,LeCun与Randall Balestriero随后推出了LeJEPA,这是一个旨在无需常规变通手段即可保持训练稳定的理论基础。LeCun目前正通过其初创公司AMI Labs推进这一方法,该公司于2026年3月融资超过十亿美元,用于构建世界模型。 Google Deepmind已于2025年10月在实验室中测试了一个由AI生成的癌症假说。其基于Gemma的模型C2S-Scale 27B提出使用药物silmitasertib使肿瘤细胞更容易被免疫系统识别,而利用人类细胞模型进行的实验证实了这一预测。Go

    匹配字段正文

星期四

  1. 财联社

    贝恩报告:到2031年AI产业需6万亿美元年收入,仍有4.2万亿缺口

    贝恩公司在其年度全球技术报告中指出,到2031年全球AI产业需实现6万亿美元年收入,才能证明全球数据中心建设投入的合理性。现有面向消费者和企业的AI服务预计可创造高达1.8万亿美元收入,仍有4.2万亿美元新收入需要创造,缺口可能来自自主机器、机器人以及药物研发、心理健康和能源生产等新兴领域。报告预测到2030年数据中心支出将达5万亿至6.5万亿美元,新增至少150吉瓦计算容量,到2031年AI基础设施年度支出可能高达1.5万亿美元。

    该报告的主要作者、贝恩全球科技、媒体和电信业务主席David Crawford写道:“该行业需要的是一场远超移动和云计算所带来的变革的创新浪潮。 人工智能基础设施的建设远远领先于需求曲线,而要为其提供可持续的资金支持,就需要将全球年均GDP增长率提高约1%。 ” 贝恩公司的报告凸显了要使人工智能目前的研发速度可持续发展所面临的障碍。 以微软、谷歌、亚马逊、Meta Platforms和甲骨文为首的公司正在数据中心领域投入数万亿美元,以满足人工智能对计算资源的需求。数据中心的规模和成本大约每12到16个月翻一番,部分原因是英伟达和SK海力士等公司的芯片、网络设备和其他组件的价格飙升。 而这份报告发布之际,围绕人工智能服务提供商尚未实现的收益的争论愈演愈烈。批评人士担忧,技术制造商和人工智能开发商之间日益紧密的相互依存关系,助长了过高的期望,而这些期望反过来又需要更多的资金投入。 贝恩公司表示,虽然目前的讨论主要集中在员工生产力上,但人工智能基础设施的经济效益将需要数万亿美元的新收入,而不仅仅是生产力的提高。 该咨询公司预测,到2030年,数据中心支出将达到5万亿至6.5万亿美元,新增至

    匹配字段正文

  2. Anthropic Research精选

    Anthropic 研究:机器人今天能做什么工作

    Anthropic 发布机器人暴露度指数,用 Claude 评估现有机器人对 O*NET 约 1.9 万个工作任务的完成能力,结论是机器人可完成美国 74% 的体力任务、占全部工时的 34%,但多数限于受控环境。研究称机器人仅在 0.3% 的工作上具备成本竞争力,若按历史约每年 3% 的降价速度,这一比例达到 10% 需约 40 年;机器人与 LLM 合计覆盖约 80% 的工作任务。研究还发现暴露于机器人的岗位更偏向男性、学历较低和低薪,且过去 50 年这类岗位的工资与就业下降更多。

    of tasks by work time at level E2. Only 8% of their work time is unexposed. For example, robots with computer vision and suction grippers can do the task “Sort materials, such as metals, glass, wood, paper or plastics, into appropriate containers for recycling.”³⁰ These robots stand in for workers picking recycling from conveyor belts, so this and other tasks are rated E2. Robots are highly capable at specific tasks for tapers, while for recycling workers exposure is broader, but robots are les

    匹配字段正文

  3. Johann Rehberger / Embrace The Red

    SQL Copilot 只读绕过与提权研究:从 SELECT 到 SYSADMIN(CVE-2026-65669)

    安全研究者 Johann Rehberger 在 BlueHat Asia 2026 披露 SQL Server Management Studio 中 Copilot 的提权漏洞 CVE-2026-65669,该漏洞被微软评为严重级别。研究发现 Copilot 的只读模式仅靠 LocalSqlExecutionAccessChecker 中的正则黑名单实现,通过 DECLARE @p sysname='sp_who'; EXEC @p 或 sp_executesql 即可绕过,进而执行 CREATE、INSERT、UPDATE、DELETE、DROP 等任意 T/SQL。攻击者还可利用数据库元数据中的 AGENTS.md 与 CONSTITUTION.md 指令实施间接提示词注入,在低权限用户植入指令后由高权限用户的 Copilot 执行,最终把 db_owner 加入 sysadmin 角色;作者建议只读约束应作为安全不变量而非模型指令。

    r to trigger them. Indirect Prompt Injection Attack Paths SQL Copilot consumes quite a bit of context. That includes database content, T/SQL files, schema information and database metadata. That creates an indirect prompt injection surface. Since my initial research in May 2026 Microsoft has added MCP support by the way. Malicious instructions embedded in content could influence Copilot when another user later asked it to inspect that content. Here is a demonstration showing how a comment in a f

    匹配字段正文

星期二

  1. MarkTechPost

    Google Research 开源 RRSI:让 AI 智能体改进自身 harness 而不过拟合

    Google Cloud AI Research 联合 UNC-Chapel Hill、斯坦福和圣路易斯华盛顿大学发布 RRSI(Regularized Recursive Self-Improvement),让 LLM 智能体重写自己的 harness,包括提示词、工具、记忆、控制流和子智能体,模型权重不变。RRSI 对改进循环本身施加约束,以缓解基准特定拟合、追逐噪声和复杂度累积三种失败模式,全部 6 个留出集均有提升:以 Gemini 3.5 Flash 为策略时,Terminal-Bench 2.1 从 64.6 升至 78.7,SWE-bench Verified 从 76.8 升至 79.0。代码以 Apache 2.0 开源,需 Python 3.10+,支持任意 LiteLLM 模型字符串,默认使用 Vertex AI 上的 Claude Opus 4.8。

    same starting harness, policy, evolve split and candidate budget. Per the RRSI research team. OOD average is the mean of JobBench, GDPval and APEX-Agents, computed from Table 1 . Meta-Harness leads on the Harvey LAB evolve split. RRSI has the smallest evolve gain but the only OOD average more than 1 point above H0. git clone https://github.com/google-research/rrsi.git && cd rrsi pip install -e ".[dev]" python3 rrsi.py --domain coding baseline python3 rrsi.py --domain coding run Each round draft

    匹配字段正文

星期五

  1. Latent Space

    Runway 详解 GWM Worlds 2 的 WorldPrompt 与实时世界生成工程

    Runway 本月推出研究预览版 GWM Worlds 2,把高保真视频与音频生成变成实时交互式模拟,并提出 WorldPrompt 输入格式,可固定首帧等环境要素后按时间戳编排事件。该模型以 720p、24fps 视频和 48000Hz 音频流式输出,做法是先微调基础音视频模型以适配 WorldPrompt,再后训练为自回归生成,最后用蒸馏做到实时。CTO Kamil Sindi 与首席研究科学家 Robin Kahlow 表示,自回归模型的误差累积、长时记忆和上下文取舍仍是待解问题,模型也没有结构化状态可供智能体读取。

    sis [01:30:29]: And so, yeah, Vibhu [01:30:30]: You got a good essay that people should read on Anastasis [01:30:33]: Yeah. Yeah Vibhu [01:30:33]: Real-world. Swyx [01:30:33]: No, Meta released a model that was, like, six modalities in one, right? Vibhu [01:30:37]: Yeah. Swyx [01:30:37]: I forget what the name of the thing was, but it was like, yeah, okay, depth is one of them, but depth is like a transformation of RGB in some sense. Vibhu [01:30:45]: ImageBind. Swyx [01:30:45]: ImageBind, yeah.

    匹配字段正文

星期五

  1. SemiAnalysis

    SemiAnalysis 复现 Engram 架构并实测 DRAM/SSD 卸载

    SemiAnalysis 复现了 DeepSeek 的 Engram 架构,在 fineweb-edu 上以约 6E18 FLOPs 每轮训练,观察到与原文一致的 U 型扩展规律,Engram 优于纯 MoE 基线。其 DeepSeek-V4.1-Flash 配置中 Engram 约占 189 GiB 内存,改用 mmap 文件并卸载到 SSD 后,B200 上 DRAM 方案在约 125 tokens/s/user 时每美元可产出 1.21 亿 token,SSD 仅 5200 万,作者认为生产环境中 SSD 卸载并不划算。在 B300 上启用 Engram 卸载可从 TP4 切到 TP2,帕累托曲线提升最多 1.6 倍。

    g the emgram in HBM. Our benchmark has been widely reproduced, validated and/or supported by almost every major buyer of compute from Google Cloud to Microsoft Azure to Oracle, to Meta and many more. Furthermore, it has the support of the ML community including from vLLM, LMCache, SGLang, PyTorch, Huggingface and the support of major labs like OpenAI, MiniMax, ZAI, Qwen, Moonshot Kimi, etc. Star the InferenceX GitHub repository if you find the open-source benchmark and data useful!. InferenceX i

    匹配字段正文

星期二

  1. SemiAnalysis

    SemiAnalysis 实测 Rubin NVL72:AgentX 基准下每美元性能达 GB300 的 67 倍

    SemiAnalysis 发布首份 Rubin NVL72 智能体推理实测结果,基于其 AgentX 基准,在 170 TPS 下每 TCO 总吞吐量约为 GB300 Dynamo TRTLLM 的 67 倍。在多数服务商实际部署的 60-100 TPS 区间,Rubin 每 TCO 吞吐量为 GB300 的 1.4 至 3 倍;按 3 年租赁成本计算,80 TPS 时可多产出 62% token。该测试使用 2300W TDP、每计算托盘 1.5TB CPU LPDDR5X 的量产 SKU,结果基于预发布软件,后续还将补充 vLLM 与 SGLang 的 Rubin 数据。

    t in what scenarios. Our benchmark has been widely reproduced, validated and/or supported by almost every major buyer of compute from Google Cloud to Microsoft Azure to Oracle, to Meta and many more. Furthermore, it has the support of the ML community including from vLLM, LMCache, SGLang, PyTorch, Huggingface and the support of major labs like OpenAI, MiniMax, ZAI, Qwen, Moonshot Kimi, etc. Thank you to Jensen Huang, Ian Buck, Nick Comly, Kedar Potdar, Rohit Nagraj, and the Mainland China Tensor

    匹配字段正文

星期五

  1. The Rundown AI

    Anthropic 发布威胁报告,披露 Claude 全球滥用案例

    Anthropic 发布最新威胁报告,梳理过去八个月中其处置的 Claude 滥用案例,涵盖生物武器风险、间谍活动以及中国 AI 实验室用 Claude 做蒸馏。报告点名七家中国实验室通过数千个欺诈账号进行蒸馏,其中 Moonshot 和 DeepSeek 在部分场景下把 Claude 当作自家模型提供给客户,并用其回复做训练。报告还提到五起生物领域案例被标记为可能涉及武器用途,Anthropic 称不认定其有伤害意图;也门一起行动用 Claude Code 为火箭编写制导软件,另有顾问为马里情报机构搭建监控 2500 万条电话线的系统。

    3-based coding model that claims to match Fable 5.1 and GPT-6 Astra on certain coding benchmarks while costing 64% less. Thinking Machines co-founder Andrew Tulloch is moving from Meta to Anthropic, months after initially rejecting Mark Zuckerberg's reported $1.5B package and then signing on anyway at an undisclosed compensation. OpenAI denied to the NYT that Tristan Buckmaster's Codex prompts shaped its Navier-Stokes proof, while claiming "substantial progress" on another Millennium Prize probl

    匹配字段正文

  2. Anthropic Research精选

    Anthropic 红队发布评估:AI 模型的情报定位与常规武器能力

    Anthropic 前沿红队开发了一组新评估,测量模型在战术情报定位(如根据碎片信息定位人员)和常规武器开发(如编写无人机打击移动目标的制导代码)上的能力。在照片地理定位任务中,Mythos Preview 和 Mythos 5 的中位误差分别为 37.0 km 和 47.2 km,优于 GeoGuessr 冠军组 151 km 的人类基线;在无人机终端制导任务中,Opus 5 在 540 次模拟发射中命中 20%,开源模型 Kimi K3 为 1.6%。Anthropic 表示已部署新的分类器拦截武器开发相关请求,并认为开源模型能力虽落后于前沿但差距不应被误认为安全。

    ngth sample. Geolocation from photos Images can contain important clues about where a person of interest was when they took a photo, but they do not always come with geolocational metadata. Images are regularly used to narrow down the possible locations of a target as part of “fixing” in intelligence targeting. This evaluation measures model capabilities at this task. We asked models to geolocate social media photographs using only their own understanding of the world (no reverse image search, m

    匹配字段正文

星期二

  1. SemiAnalysis

    SemiAnalysis 公布 TPUv7 Ironwood 第三方推理结果:每美元性能最高优于 B200/B300 50%

    SemiAnalysis 在 InferenceX 官方预览中发布 TPUv7 Ironwood 的首批第三方推理结果,在与 B200/B300 的同等对比中,Ironwood 每美元性能最高提升 50%。在 100 tokens/s/user 交互性下,Ironwood 每百万 token 成本约 0.181 美元,低于 B200 的 0.222 美元和 B300 的 0.276 美元;在 20 tok/s/user 时其单芯片吞吐达 9,364 tokens/s,高于 B200 的 8,903 和 B300 的 8,925。文章还介绍了 TorchTPU 外部软件栈的进展,该栈预计 10 月左右结束私有测试并开源,首批使用 Qwen3.5 397B FP8 作为启动模型。

    ate slots, and block tables in the serving engine. Optimizing Communications With DP attention and EP, the TPU GroupedGEMM implementation all-gathers token activations and routing metadata before the experts run, then uses reduce-scatter to sum their weighted outputs and return each token’s result to its attention rank. The backend originally gathered the selected expert IDs and routing weights separately. Google combined these into one all-gather, removing an extra collective whose latency can

    匹配字段正文

星期日

  1. SemiAnalysis

    SemiAnalysis:多数 neocloud 安全不达标,实测发现跨租户 RCE

    SemiAnalysis 在 ClusterMAX 3.0 测试中对 25 家 neocloud 的 32 个集群做了约 4 个月安全审计,发现大量公开已知漏洞导致的跨租户元数据泄露、容器逃逸提权和跨租户 RCE,受影响数据涉及银行、电信、高校、研究机构和某国情报机构。文章还统计了 Nvidia 驱动、CUDA、PyTorch、Kubernetes、Docker 等组件的季度 CVE 数量,认为目前尚看不到 AI 显著推高漏洞披露的证据,并给出 InfiniBand 安全密钥、BlueField DPU 的 RShim 接口、多租户 Grafana 等具体配置建议。作者同时发布 cmax audit security 命令,供用户自查集群软件版本是否低于公开安全公告的最低版本。

    t: cmax audit security for a free report from us on your cluster or standalone GPU machine. The cmax CLI will auto-detect Slurm clusters, Kubernetes clusters, standalone VMs, bare-metal machines, and containers, and compare them against a set of baseline software versions with known vulnerabilities. For anything out of date, you will be provided a link to the relevant documentation and security bulletin. To be clear, this is a small subset of our ClusterMAX testing, and even a small subset of th

    匹配字段正文