←搜索结果

搜索“RAG”

按匹配度 · 共 384 条结果 清除搜索

星期三

  1. 面壁智能 OpenBMB

    面壁智能 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/s 端侧推理

    面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。

    ology behind MiniCPM-V 4.7’s efficient on-device performance. 🧠 The challenge: 35B total parameters, 3B activated per token, and limited device memory. Keeping experts in flash storage makes the model fit, but loading their weights can leave computation waiting. LES co-optimizes expert loading, compute scheduling, and weight access: ⚡ Expert prefetch and compute scheduling: Cross-layer routing prediction prefetches experts the next layer is likely to need. Experts selected by the actual router t

    匹配字段正文

    #editorial#产品更新#端侧#推理
  2. Unite.AI

    NVIDIA 发布 DSX POD 参考设计，称 AI 工厂部署时间从六个月缩短至 14 天

    NVIDIA 在 GTC Berlin 发布 DSX POD，这是面向完整 Vera Rubin AI 工厂的参考设计，由合作伙伴在模块化集装箱内完成建造、集成和验证后再交付。NVIDIA 称该方案可将已准备好站点的部署时间从六个月缩短至最短 14 天，集装箱到场后即可接入电力、冷却和网络等基础设施。Anduril、Dell、HPE、Lenovo、富士康等合作伙伴将在 2027 年初全球交付 DSX POD AI 工厂。

    dated October 21, 2026, NVIDIA described NVIDIA DSX as a full-stack AI factory reference architecture, co-innovated with infrastructure companies, in which compute, networking, storage, software, power and cooling are codesigned as a single system. The platform includes DSX MaxLPS for dynamic power allocation, DSX Flex for coordinating workload power consumption with grid conditions, DSX Reference Design for validated infrastructure architectures, DSX Sim for simulation, DSX OS for infrastructur

    匹配字段正文

    #hot-signal#产品更新#部署/工程#数据/训练
  3. Unite.AI

    NVIDIA 发布 OpenShell 参考架构，面向智能体治理

    NVIDIA 在 GTC Berlin 发布 OpenShell 参考架构，用于在企业基础设施和边缘系统上构建、隔离、观测并约束 AI 智能体，架构现已可用。该设计以 Vera Rubin NVL72 运行模型、Vera CPU 运行 OpenShell 安全运行时、BlueField-4 DPU 运行 Sentry 安全框架，对智能体行为做带外持续监控与芯片内策略执行。OpenShell 运行时包含 Gateway、Supervisor、Sandbox 和 Policy Prover 四个组件，Sentry 计划于明年年初开放，DOCA Argus、DOCA Flow 等库现已可供实验。

    res, and real-world deployments to understand where AI strengthens defenses—and where it introduces new vulnerabilities. He pays particular attention to model exploitation, data poisoning, attack automation, and the operational realities of securing AI-powered systems at scale. Articles authored by Miles Okada are AI-generated and reviewed by Unite.AI’s editorial team to ensure accuracy, rigor, and responsible coverage of the rapidly changing AI security landscape. Discover More mvp-article-cont

    匹配字段正文

    #hot-signal#产品更新#Agent#部署/工程
  4. Unite.AI

    Databricks 正式发布 AI Runtime 托管 GPU 训练平台

    Databricks 于 2026 年 10 月 21 日宣布 AI Runtime（AIR）正式可用，这是内置于 Databricks Lakehouse 的全托管无服务器 GPU 平台，用于在企业数据上训练和微调深度学习模型。Databricks 称已有数百家公司使用 AIR，平台经过超过 10 万 GPU 小时的训练运行，并支持通过一条 CLI 命令启动首个工作负载、用自然语言提示迁移 Kubernetes 或 SLURM 上的工作负载。Superhuman 的 Kostia Omelianchuk 表示，团队把训练从单节点 8 块 A100 扩展到多节点 16 块 H100，训练时间从约 7 天降到 48 小时。

    dels into scalable, market-ready products. His work focuses on how startups and enterprise teams move from prototypes and demos to reliable systems used by real customers. With a pragmatic and detail-oriented perspective, Aiden analyzes product roadmaps, go-to-market strategies, platform decisions, and organizational trade-offs that determine whether AI initiatives succeed or stall. He pays particular attention to deployment realities, user adoption, infrastructure constraints, and the alignment

    匹配字段正文

    #hot-signal#产品更新#部署/工程#数据/训练
  5. The New Stack

    Nvidia 在 Agent Toolkit 中新增 Agent Knowledge Foundation

    Nvidia 在 GTC Berlin 上把 Agent Knowledge Foundation 加入 Agent Toolkit，打包 Nemotron Retriever 模型、新的 Auto-Ontology 库、面向结构化数据的 Kumo 系列模型和 CUDA-X 数据处理库，数据仍留在原处并按企业既有权限管理。Nvidia 称 Nemotron Retriever 在开源 OpenSearch 环境测试中把搜索相关性提升 65%，SAP 微调的 reranker 运行速度接近三倍，ServiceNow 的 reranking 质量更好且延迟降低近 25%。Auto-Ontology 提供 REST API 和 MCP server 供智能体查询，Nvidia 表示不与 Snowflake 等数据平台竞争，而是与其合作。

    得多的信息。所以最终查找次数减少，整体延迟实际上反而下降了。” Nvidia表示，其Nemotron Retriever嵌入模型在开源OpenSearch环境的测试中将搜索相关性提升了65%，所需搜索步骤更少，而且几乎不增加延迟。Nvidia称，SAP微调后的重排序模型运行速度接近三倍，ServiceNow则获得了更好的重排序质量，同时延迟降低近25%。 从RAG到本体 “RAG很棒，但它足够好吗？”El Hallak问道。他说，知识图谱比检索增强生成（RAG）更能表示概念及其之间的关系，后者只是基于相似度拉取文本块。 Nvidia的Auto-Ontology库从公司自己的表构建这些图谱，并将原始数据映射到客户、产品和订单等业务概念。它在Nvidia NGC软件目录中的条目显示了一个REST API和一个模型上下文协议（MCP）服务器，智能体可以用它来查询。 “你和我很容易理解。在移动运营商那里，tier和plan是一回事，”El Hallak说，但大语言模型“会把它们搞混。” Nvidia于2月以据报道7500万美元收购了以色列初创公司Illumex，该公司可自动为企业数据创建语义层

    匹配字段正文

    #hot-signal#产品更新#Agent#RAG
  6. Latent Space精选

    DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。

    back). Imagine what the Whale could do with more GWs. Receive results from any of SerpApi’s 100+ APIs as clean, structured Markdown, using roughly 50% fewer tokens than JSON on average. Simply add output=md or use the /search.md endpoint. It requires zero configuration and is included with every plan at no additional cost. AI News for 10/19/2026-10/20/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is no

    匹配字段正文

    #newsletter#开源/仓库#推理#部署/工程
  7. Latent Space

    DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。

    ly cached service. DeepSeek’s engineering report, as summarized and quoted in the supplied posts, reports 155 trillion tokens/day from one cluster, 96% input-cache hits, 400 ms average time to first token, and 230 tokens/s generation, reaching 300 tokens/s for coding. It also reports $38 revenue per accelerator-hour at off-peak prices. These are first-party production claims, not independently audited measurements. @ZhihuFrontier, @swyx “Fully open source” does not mean the entire production ser

    匹配字段正文

    #newsletter#开源/仓库#推理#部署/工程
  8. SiliconANGLE

    Google 发布 TorchTPU，让 PyTorch 应用可直接运行在 TPU 上

    Google 发布 TorchTPU，这是 PyTorch 的一个专用版本，让开发者无需重写底层代码、只需调整少量配置，就能把现有模型和应用迁移到 TPU 上运行。Google 称与 Meta、Hugging Face 以及 vLLM、SGLang 的开发者合作，确保相关代码库兼容；同时推出 TPU agent suite 协助迁移并自动修复错误，并更新端侧工具 LiteRT 以兼容 PyTorch 应用。此前 AWS 也发布了面向自家 Trainium 芯片的 TorchNeuron。

    f industry-leading digital media brands that reach 15+ million elite tech professionals. Our new proprietary theCUBE AI Video Cloud is breaking ground in audience interaction, leveraging theCUBEai.com neural network to help technology companies make data-driven decisions and stay at the forefront of industry conversations. LATEST STORIES AI infrastructure management software startup ASI hits $3B valuation after raising $325M in funding SpaceX's stock soars as Elon Musk reveals crushing earnings

    匹配字段正文

    #hot-signal#产品更新#部署/工程#开源生态
  9. Databricks Blog精选

    Databricks 在 Agent Bricks 上推出 Agent Memory

    Databricks 在智能体开发平台 Agent Bricks 上推出 Agent Memory，目前处于 Beta，运行在 Lakebase 上，用于存储智能体应记住的事实、偏好和工作流。该功能基于 Databricks 研究团队的 MemCurrent 架构，结合插件、按需调用的工具和后台记忆整理流程；内部基准显示该架构让智能体在真实企业任务上的通过率提升至约三倍，同时少用 31% 的 token。原文举例称，同一工作流存入记忆后，相关追问从 11 次工具调用、近六分钟缩短到 2 次工具调用、41 秒。

    than a well-designed memory at the same accuracy, and on the longest histories it scored worse, because irrelevant turns confused the agent. Building memory yourself on object storage or a vector database means owning extraction, deduplication, retrieval, and access control. Memories go stale, contradictory facts pile up, and no one can tell which memory caused a bad answer. What teams need is memory that makes agents cheaper and more personal at the same time, without standing up another syste

    匹配字段正文

    #company#产品更新#Agent#RAG
  10. MacRumors Apple Intelligence

    Perplexity Computer 支持在 Mac 上完全本地运行

    Perplexity 宣布更新 Perplexity Computer，使其可在受支持的 Apple silicon Mac 上完全本地运行，模型基于 Qwen 3.6 或 PPLX Pro（Qwen 的后训练版本）。本地模式下模型、任务规划、推理和文件处理都在设备端完成，代码与工具执行在隔离沙箱中进行，官方建议 36GB 以上内存，并称可跨 Notes、Messages、Mail、Keynote、Numbers 等原生应用完成任务而无需上传个人数据。对于性能不足的设备，Perplexity 还提供 Hybrid Compute，以云端前沿模型配合本地模型处理信息，最低 24GB 内存即可使用；任务需要实时信息或云端应用时可授权云端访问，也可调用 15 个以上前沿模型。

    ployees told MacRumors that they have been advised that there will likely be no iPhone Duo stock available for walk-in purchases on launch day. Staff have been instructed to discourage customers without pre-orders from coming in... • 249 comments Monday October 19, 2026 9:37 am PDT by Joe RossignolApple today sent out invites for an experience in Los Angeles on Wednesday, October 28, and the "Pro and tell" tagline on the invitation likely means that the rumored MacBook models with touch-enabled

    匹配字段正文

    #hot-signal#产品更新#端侧#Agent
  11. Unite.AI

    Grafana Labs 为可观测性平台加入 AI Watchers 与代码修复智能体

    Grafana Labs 在 ObservabilityCON 2026 上宣布扩展 Grafana Cloud，新增用自然语言描述监控目标的 Assistant Watchers、可检查仓库代码并提交 pull request 的 Grafana Managed Sandboxes，以及连接基础设施故障与受影响用户的知识图谱。Assistant Watchers 和支持 OpenTelemetry 的 Agent Observability 已正式可用，Grafana Managed Sandboxes 处于公开预览，代码修复只提交到可供人工审批的变更。Grafana 还引入基于 Logline 技术的日志全文搜索增强和商业插件市场，并引用覆盖 300 位 IT 与工程负责人的调查称 68% 已将可观测性 AI 用于试点或生产。

    nhancements based on technology from Logline, which Grafana acquired in April 2026. Grafana says the changes accelerate searches for rare values such as request IDs over object storage, at no additional cost. This is especially relevant to investigations that need one specific event rather than an aggregate trend. Adaptive Logs Archive, in public preview, routes logs to a customer-owned object-storage bucket in an open format. Adaptive Metrics Auto-Apply, generally available, automatically appli

    匹配字段正文

    #hot-signal#产品更新#Agent#部署/工程
  12. SiliconANGLE

    Zoom 在 Zoomtopia 推出统一上下文层及多项 AI 产品更新

    Zoom 在 Zoomtopia 大会上发布 Unified Context Layer，把会议、通话和客户互动信息与 Salesforce、ServiceNow、Workday 等系统数据整合成实时更新的关系图谱，供 AI 智能体共享记忆和协同工作，该层已可用。Zoom 称内部基准显示这一方式比独立智能体各自解析信息降低成本 45% 至 65%，但未提供独立验证。同期还推出 ZoomMate Agent Teams、扩展到 40 多个第三方应用的智能体搜索、支持多语言广播的翻译与语音克隆，以及通过 MCP 服务器和 Search、Ask API 向外部应用开放上下文，多数功能计划在 2027 年初前陆续发布。

    f industry-leading digital media brands that reach 15+ million elite tech professionals. Our new proprietary theCUBE AI Video Cloud is breaking ground in audience interaction, leveraging theCUBEai.com neural network to help technology companies make data-driven decisions and stay at the forefront of industry conversations. LATEST STORIES OpenAI acquires Orchestra Bio to bring AI agents into drug development DeepSeek open-sources DeepInfer, the inference framework behind its production services I

    匹配字段正文

    #hot-signal#产品更新#Agent#MCP/工具调用
  13. SiliconANGLE

    DeepSeek 开源生产推理框架 DeepInfer

    DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。

    f industry-leading digital media brands that reach 15+ million elite tech professionals. Our new proprietary theCUBE AI Video Cloud is breaking ground in audience interaction, leveraging theCUBEai.com neural network to help technology companies make data-driven decisions and stay at the forefront of industry conversations. LATEST STORIES OpenAI acquires Orchestra Bio to bring AI agents into drug development Inception says Mercury 3 beats GPT-6 Luna and Claude Haiku 5.5 at up to 8x the speed Otte

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程
  14. PyTorch Blog精选

    Google 与 Meta 联合推出 TorchTPU，让 PyTorch 原生运行在 TPU 上

    Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式，新增 DeferAndFuse eager 模式，覆盖约 450 个 Aten 算子，并已在 4,917 个 Hugging Face 模型上验证开箱运行，其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载，并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

    on 上下文管理器 Eager 执行、StableHLO 降级和 JIT 编译 遵循 此 PyTorch 指南, 我们通过一个新的 C++ 后端扩展了 PyTorch 调度器，注册为 PrivateUse1. 此外，我们使用了标准的 at::Tensor 机制来定义张量存储的设备特定实现（通过在 c10::UniqueVoidPtr 内使用 c10::StorageImpl). TorchTPU eager 执行的一个独特特性是，它可以通过多种模式将 Aten 算子调度到 TPU： 立即, 有效实现逐算子调度； 延迟 一直到自动确定的 物化点 （例如，一个 .to("cpu") 语句），并与截至该点被延迟的所有其他算子一起聚合/编译； 介于两者之间的任何情况。 虽然这种灵活性确实给设计带来了额外的复杂性，但我们从一开始就刻意加入它，因为我们希望尝试不同的策略，以在基本的逐算子调度模式之上提升 eager 性能。（此外，事实证明这种灵活性对于处理视图语义和 torch.compile 非常方便，正如本文档后面所讨论的。） 总之，TorchTPU 提供 3 种 eager 模式，可以通过环

    匹配字段正文

    #engineering#产品更新#开源生态#部署/工程

星期二

  1. Modal 官方工程博客

    Modal 推出 Sticky Sessions，让无服务器请求固定落到同一容器

    Modal 发布 Sticky Sessions，基于 Modal Servers 实现会话内所有请求路由到同一容器，用 @modal.sessioned() 装饰器即可创建会话。每个会话返回签名 token 用于共享访问，扩缩容以活跃会话数而非请求量为单位。该功能面向语音智能体、共享房间和多人在线游戏等需要保持状态连续性的场景。

    is infrastructure is our in-house stateless proxy (fprs). The proxy provides low-latency routing and load balancing using in-memory cached routing state reconciled from durable storage. Servers already give us a way to route HTTP traffic to a container, manage container lifecycles, and scale the fleet based on demand.]] ]]]][![![![ [![ Sticky Sessions needed three things that the current request-level routing didn’t provide:]] ]]]][ [! Fixed routing: Every request in a session reaches the same c

    匹配字段正文

    #company#产品更新#部署/工程#Agent
  2. MarkTechPost

    DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash

    DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。

    vLLM, SGLang and TensorRT-LLM? FeatureDeepInfervLLMSGLangTensorRT-LLM MaintainerDeepSeekvLLM projectSGLang projectNVIDIA LicenseApache 2.0Apache 2.0Apache 2.0Apache 2.0 Model coverage1 (DeepSeek-V4.1-Flash)200+ architecturesLLMs, VLMs, diffusionSupport matrix HardwareNVIDIA SM100, Huawei Ascend 950NVIDIA, AMD, Intel, CPUs, plugins incl. Ascend, TPUNVIDIA, AMD, TPU, Intel, Apple, Ascend, Moore ThreadsNVIDIA GPUs Expert parallelismYes, with EPLBYesYesWide-EP Speculative decodingDSpark, confidence

    匹配字段正文

    #ai-vertical#开源/仓库#推理#部署/工程
  3. MarkTechPost

    Google 开源 TorchTPU，为 Cloud TPU 提供原生 PyTorch 后端

    Google 开源 TorchTPU，这是与 Meta 的 PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端，在 PyTorch Conference 2026 上宣布，现有代码通过 torch.device("tpu") 即可指向 TPU。Google 团队称 TorchTPU 取代 PyTorch/XLA，建议所有新工作负载使用；它基于 PrivateUse1 接口，提供 Strict、Debug、DeferAndFuse 三种 eager 模式，torch.compile(backend="tpu") 经 StableHLO 和 OpenXLA 编译。TorchTPU 在 PyPI 上为 v0.2.0，要求 Python 3.11+，Apache 2.0 许可，配套 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 仓库；Google 自报 TorchTitan 在 Ironwood 上训练 Qwen 3 8B 达到 52% MFU，可扩展至 8,192 颗芯片。

    8,192 Ironwood TPUs. Tuning ladder: In a TorchTitan fine-tuning case, step time fell from 11.49s to 2.78s. DeferAndFuse alone gave 1.15x. Full torch.compile gave 3.80x. Model coverage: Google continuously tests about 5,000 Hugging Face models in eager and compiled modes. Fleet serving: Zenteiq grew daily output from 1.47B to 5.97B tokens per 1,000 TPU v6e chips. That gain came from llm-d routing on GKE, not TorchTPU alone. What integrations ship with TorchTPU? Hugging Face: Transformers v5 depl

    匹配字段正文

    #ai-vertical#产品更新#开源生态#部署/工程
  4. Google Developers Blog

    Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU（TPU 7x）上跑 Qwen 3.5 时，高并发配置下每百万 token 成本为 2.01 美分，并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型，SGLang-TorchTPU 已在 Meta 生产环境使用。

    inferenceblog

    t's KV cache has to travel from the prefill host to the decode host.Tiered KV offload moves the part of the KV cache that no longer fits in HBM to the host's DRAM and secondary storage with Google Cloud Managed Lustre, and brings it back when a later request reuses the prefix. Either way, the transfer has to overlap computation or it adds directly to latency. Both engines use TPU Sync for this. It is an open-source C++ library for KV cache transfer and management on TPU. It reads the device buff

    匹配字段正文

    #engineering#产品更新#部署/工程#开源生态
  5. 面壁智能 OpenBMB精选

    面壁 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/sec

    面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max（12GB）上实现 20.51 tokens/sec 的平均解码速度，相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling（LES）、优化的专家加载、细粒度量化和 DSpark 投机解码。模型已在 GitHub 和 Hugging Face 开放。

    35B multimodal AI. Running locally on an iPhone. Now at over 20 tokens/sec. 🚀 MiniCPM-V 4.7 achieves 20.51 tokens/sec average decoding speed on iPhone 18 Pro Max (12GB) — a 6.07× speedup over the same device’s unoptimized SSD expert-loading baseline. ⚡ Behind the speed: Lookahead Expert Scheduling (LES), optimized expert loading, fine-grained quantization, and DSpark speculative decoding. 📱 Watch the new on-device demo below. Powerful multimodal AI, right in your pocket. MiniCPM OpenBMB

    匹配字段正文

    #editorial#产品更新#端侧#多模态
  6. Unite.AI

    llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈

    llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。

    ache-aware routing, which directs a request to infrastructure that may already hold its shared context; KV-cache offloading, which moves cached information across GPU, CPU, and storage resources; batch inference optimization; prefill/decode disaggregation, which separates reading a prompt from generating a response; and wide expert parallelism, which distributes large mixture-of-experts models across many accelerators. Those techniques predate version 1.0; according to IBM, what is new is the in

    匹配字段正文

    #hot-signal#产品更新#部署/工程#开源生态