←搜索结果

搜索“推理”

按匹配度 · 共 680 条结果 清除搜索

星期三

星期三

  1. 事件1 条新闻 · 1 个事实

    Google AI Edge 团队开源 ML Drift GPU 推理引擎

    2026年10月8日,Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift。该引擎抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,是 LiteRT 的核心 GPU 加速引擎,也可作为独立库使用。相比旧版 TFLite GPU delegate,它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化,并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%,YouTube Shorts 平均帧延迟最多降低 40%,Google Photos 提速最多 2 秒,Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%,Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。目前尚无后续发展事实。

    匹配字段标题

星期四

星期日

  1. 事件1 条新闻 · 1 个事实

    llama.cpp通过ggml RPC后端分发异构推理

    2026年10月7日,llama.cpp作者Georgi Gerganov介绍,llama.cpp可以通过ggml RPC后端在异构设备上分发推理。他表示该能力目前属于高级设置,并预计未来会降低普通用户的使用门槛。被引用的演示显示,MiMo 2.6 Flash的原生mxfp4权重可跨RTX 6000 GPU与M5笔记本运行,在10 GbE下达到40 tokens/sec,且llama.cpp开箱支持。目前该故事没有后续发展事实,状态停留在上述介绍与演示。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Together AI联合IBM和NVIDIA扩建企业推理集群

    2026年10月6日,Together AI宣布与IBM、NVIDIA合作扩展企业级AI推理能力,首批在IBM Cloud上部署大规模NVIDIA B300 GPU集群,并采用NVIDIA Spectrum-X以太网网络。据Together AI博客介绍,这是IBM Cloud上首个此类专用大规模推理集群,Together AI也是首个客户。三方分工为:Together AI负责推理层,IBM提供云,NVIDIA提供芯片与网络。其平台每月服务超百万开发者、处理数百万亿token。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Hao AI Lab开源DJev-serve推理引擎

    2026年10月5日,Hao AI Lab开源了DJev-serve推理引擎。据该实验室介绍,每一步都是DJev在DiffusionGemma上的一次前向传播,零token生成;该开源引擎在NVIDIA GB200 NVL72和B200上,把每个决策作为一张CUDA graph运行。目前尚无后续有合格事实证据的发展,事件状态停留在开源发布这一节点。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Baseten的GLM-5推理速度登顶

    2026年10月3日,Baseten宣布通过优化并部署GLM-5模型API,在Artificial Analysis独立基准测试中实现每秒200余Token的生成速度和约200毫秒的首Token延迟,位列榜首。据Baseten工程博客介绍,其采用低开销MTP投机解码引擎、针对GLM-5架构优化的MoE路由内核,以及为DeepSeek Sparse Attention定制的推理内核。GLM-5是Z.ai的最新开源旗舰模型,总参数744B、每轮前向激活40B、训练token量28.5T,采用MIT许可,在SWE-bench Verified得分77.8、AIME 2026得分92.7%。目前该事件尚无后续发展事实。

    匹配字段标题

  5. 事件2 条新闻 · 1 个事实

    Baseten用智能体优化推理引擎

    Baseten 工程博客作者基于 MetaInfer 技能框架,让 Claude Code 自主构建并优化推理引擎。在单张 B200 上,其为 Qwen-3.6-35B-A3B(NVFP4)构建的 VibeQwen 单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍,并发 32 时单副本吞吐高出 71%;整个项目约一周,消耗约 17 亿 token 和 200 B200 小时,成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie,在单张 H100 上达到 91 张图/秒,比 Facebook 参考服务吞吐提升 50%,耗时数天、约 2 亿 token。目前尚无后续发展。

    匹配字段标题

  6. 事件2 条新闻 · 1 个事实

    Prime Intellect推出Prime Inference推理平台

    2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。

    匹配字段标题

  7. 事件2 条新闻 · 1 个事实

    OpenAI阻止推理窃取活动

    OpenAI 称已检测并关闭一场针对其模型隐藏推理的对抗性蒸馏攻击。据其说法,该活动 7 月 1 日以小规模开始,7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求,涉及 15000 多个关联账号,到 7 月 28 日已全部封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联,并称已封禁欺诈账号、收紧注册,堵住加密推理被复用读取的漏洞。研究者 Joachim Schaeffer 团队 9 月 13 日复测发现,该攻击在 OpenAI 和 Anthropic 自家 API 上被拦截,但在 Microsoft Azure 上对包括 GPT-6 Astra 在内的每个 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效,一次尝试即可逐字提取推理内容。

    匹配字段标题

星期三

星期二

星期一

星期六

星期二

  2. 事件1 条新闻 · 1 个事实

    前DeepMind研究者称已离职以寻求机器推理新方法

    2026年10月2日,一名前Google DeepMind研究者宣布离职,表示将寻求机器推理的新方法。该研究者在同日发表的撰文中指出,大语言模型逐token预测的本质只是System 1式直觉,链式思维仍由同一预测过程生成,缺乏可检视的持久认知状态,也缺乏知识与推理的分离,且常事后编造推理过程。作者据此主张借鉴AlphaGo的搜索架构,为机器推理建立独立的认知状态。目前该事件仅有这一篇代表报道,尚无后续发展事实。

    匹配字段标题

星期五