2026年8月17日,SGLang 团队发布技术博客,宣布围绕统一 runner/backend 接口重构 CUDA Graph 支持,并将由 SGLang 首创并开源的 Breakable CUDA Graph(BCG)设为 prefill 的默认策略。博客介绍,BCG 以 521 行代码实现与 torch.compile 分段方案(1,771 行)相同的分段执行,构建 prefill 图快 3.8–5.2 倍;在 gpt-oss-120b(TP4,4×GB300)上,BCG 比 eager 快 1.70 倍,完整捕获达 1.93 倍。博客还介绍了 prefill 的完整 CUDA Graph 捕获、显存复用机制,以及与 Meta PyTorch 团队合作拆出的独立库 meta-pytorch/breakable-cuda-graphs。目前该事实仅有这一条官方来源,暂无后续发展。
匹配字段摘要
Dan Shipper 称 Gemini 4 已发布，他与 every 团队六人用一周时间在编码、写作、设计和知识工作上做了实测，结果好于预期。他认为 Gemini 4 是出色的写作搭档，擅长梳理结构与打磨比喻，但在重构既有代码库和自检上表现不佳：在 Senior Engineer 基准的重构任务中运行 4 小时 47 分钟仅得 21%，而 GPT-6 Astra、Fable 5.1、Sonnet 5.5 和 Opus 5.5 为 81% 至 85%；Kieran 的 38 次基准运行中有 17 次代码审查步骤仅相隔 30 毫秒就开合。他还指出 Google 的桌面智能体应用 Antigravity 落后 Claude Code 和 Codex 约半年到一年，缺少云环境、SSH、内置浏览器和智能权限检查，建议通过 Cursor 或 API 使用该模型。
our vibe check: My new favorite writing partner. DeepMind hired professional writers with red pens to stamp out AI slop, and it worked. I use it to untangle structure and sharpen metaphors; it also taught me something new tracing in a few of my favorite books. It's got a natural feel for structure and detailed explanations that Astra and Opus lack. Shaky at refactors, fast on greenfield apps. At low effort on a from-scratch build, Gemini 4 built @kieranklaassen a working webcam heart-rate monit
匹配字段正文
SemiAnalysis 工程团队在 Trainium3 上实测了原生 PyTorch 训练栈 TorchNeuron 与 TorchTitan，用 Qwen3-32B 在 16 颗 Trainium2 上训练，eager 模式达 11,099 tokens/s、23.89% MFU，compiled 模式达 14,156 tokens/s、30.47% MFU。作者认为 Neuron Explorer 剖析器优于 Nvidia 和 AMD 的方案，但首次编译耗时过长，gpt-oss 训练配方首步编译用了 27 分 17 秒。FlexAttention 测试通过 96 个用例中的 89 个，7 个失败均因编译超时而非数值错误。
Face Accelerate，其间接层数多得惊人。Trainium支持最受欢迎、最简洁的开源训练代码库之一TorchTitan，许多二级实验室将其分叉作为内部训练代码库的基础。Trainium的新PyTorch体验也完全支持这一点。 我们看到Google如何成功与Inferact/RadixArk合作，将TPU引入vLLM/SGLang生态系统，并且还让Meta成为TPU的生产客户。此外，通过将TPU引入vLLM/SGLang生态系统，TPU已经能够自动获得对Muse Spark Open的第0天支持，以及对即将推出的热门模型的第0天TPU支持的承诺。 虽然agentic coding的增加确实使引擎代码本身变得不那么重要，但vLLM/SGLang带来的是生态系统。无论开源模型是什么，在第0天，全球ML社区都信任vLLM/SGLang作为推理的首选引擎。没有任何vibe-coded引擎具有这种覆盖范围。 我们开始看到Trainium通过硬件访问以及在基于原生PyTorch构建的SGLang上（TorchNeuron）提前访问Trainium，迅速投资于vLLM/SGLang社区，类
匹配字段正文
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的实操指南，以 Wordle 为例，把智能体与奖励函数部署到 Amazon Bedrock AgentCore，训练作业通过 GRPO 更新 LoRA 适配器。示例中 gpt-oss-20b 在默认推理强度下对留出单词的解题率从 61% 提升到 84%，训练 token 花费约 339 美元，AgentCore 运行时约 79 美元。文章还给出奖励设计的两处反转错误、并发下 token 失效、工具调用退化为纯文本等失败细节，并建议在最终服务的解码设置下做评测。
raining service sends. The repository includes one as Wordle/payload.json: { "prompt": "{\"prompt\": \"Guess the 5-letter word\", \"answer\": \"beach\", \"id\": \"smoke-test\"}", "metadata": { "jobArn": "arn:aws:sagemaker:us-east-1:111122223333:job/AgentRFT/smoke-test", "rolloutId": "r1" } } The fake job ARN is expected to fail, and the way it fails is the proof. Put your own account ID into it first: for a job ARN in another account, the service returns a 403 before it checks whether the job ex
匹配字段正文
AWS 解决方案架构团队构建并开源了多智能体系统 Deep Insight，可将 CSV 数据与自然语言提示转化为带引用的 .docx 分析报告。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等八个智能体分层协作，基于 Strands Agents SDK 的 Graph 与 Agents-as-Tools 模式控制执行流，并按角色分别选用 Claude Haiku、Opus 和 Sonnet。生产部署依托 Amazon Bedrock AgentCore 运行时，LLM 生成的代码在 AWS Fargate 的按会话临时容器中隔离执行，配套 Web UI 与 Ops 仪表盘。
metrics (conversion rate, CPA, ROAS, etc.) - [ ] Generate visualizations (5+ charts, consumer segment charts) - [ ] Derive strategic marketing insights - [ ] Generate calculation metadata (for validation) 2. Validator: Calculation Verification and Citation Metadata Generation - [ ] Identify verification targets and extract filter calculations - [ ] Load data files directly and perform recalculations - [ ] Verify accuracy of per-channel performance metrics - [ ] Validate data consistency of visu
匹配字段正文
开发者 dipa-studio 在红米 Note 10 Pro 上成功引导运行 iOS 16.7.16，可进入桌面、操作设置和控制中心，随后红米 Note 12、Nothing Phone、一加12 等设备也出现同类演示。移植过程大量借助 Claude、Codex 编写驱动适配代码，还出现了自动分析硬件接口的逆向工具 REA。当前版本蜂窝网络、蓝牙、相机、扬声器均不可用，GPU 硬件加速未打通导致卡顿，开机需等待 4 分钟，代码签名校验和沙盒限制也被放宽，仅适合尝鲜演示。
机日常使用，还有十万八千里的距离。 视频里看着能滑动、能进设置，那是因为开发者只给你展示了“能跑通”的部分。如果你现在真把它刷进手机，迎面而来的会是一场灾难级的体验： 首先它根本没法被当做一台“电话”。在首发项目的机器上，蜂窝移动网络、蓝牙全都是瘫痪状态，相机打不开，喇叭是个哑巴。也就是说，你既不能拿它打电话、发微信，也不能拍照、听歌。 另外，因为苹果系统的Metal图形接口还没跟高通的Adreno GPU彻底打通，现在的画面全靠CPU硬算。但CPU都干了GPU的活了，你能指望它能有多好的表现？ 最终就是好好的高刷手机，日常用起来卡顿感非常明显。项目作者还说，开机之后等苹果logo消失，他就等了4分钟。 更别说其他小毛病了。电池服务目前是写死的，右上角显示固定的100%满电；虽然项目补充页面提到能点开App Store，但大概率是没法安装新的软件，而这个结果连开发者自己都不清楚。 而最关键的问题，就在于安全上。虽然有不少人为了安全才会选iOS，但为了让系统在非苹果硬件上启动，这个移植版本放宽了代码签名校验和沙盒限制，密钥存储相关的底层服务也用了简化替代，根本没法和原版iOS一样提供同规
匹配字段正文
MIT 公开课 6.S950 Agency with AI 更新了第五讲 The Harness 讲义，用一个约 300 行 Python、仅含 search 和 read_lines 两个工具、本地跑 Ollama 的教学 Agent Baby Anigans 拆解 Harness 的工作方式。讲义把 Agent 概括为 LLM 加 Harness，讨论可观测性上厂商把上下文摘要、推理过程加密封装到 API 后的透明度取舍，并把上下文管理、强制拦截、最小权限等做法追溯到 1965 至 1975 年的系统原则。讲义还指出没有通用最优解，5 个模型里有 4 个在不同基准上的最佳 Harness 不同。
CP、大输入放进文件、子 Agent 只回传摘要、关键规则能在压缩后保留；原则是：管理上下文：只让正在用的东西进来，并且留得住；出处是：存储层级（1965）、工作集（1968） · 会拦截的 hooks、在任何模式下都生效的 deny 规则；原则是：可检查的规则要用强制拦截来执行；出处是：引用监控器（1972） · 权限控制、隔离的 MCP 服务器、两把钥匙分别交给两个人；原则是：最小权限、权限分离；出处是：Saltzer & Schroeder（1975） 到底需要多少 Harness？ · 对 Harness 工程的质疑，很像当年对提示词工程的质疑。 · 有一条研究路线是让 LLM 自己管理 Harness：MemGPT 自己在不同记忆层之间搬运数据，ACE 自己改写操作手册，Meta-Harness 读取过去的运行记录后自己写 Harness 代码。 · 没有通用最优解：5 个模型里有 4 个在不同基准上的最佳 Harness 不一样；同一个组件，对弱模型来说是提升效果，对强模型来说主要是省钱。 · Harness 变化很快：Manus 说他们的 Agent 框架已经重写了四次。
匹配字段正文
AWS 介绍 Agent Registry 的运行时工具发现方案，智能体通过语义与关键词混合搜索找到已审批的 MCP 服务器和 A2A 智能体，再按描述符即时构建客户端执行请求。示例代码基于 Amazon Bedrock AgentCore Gateway 与 runtime，把订单管理 MCP 服务器和定价、客服两个 A2A 智能体接入，并演示纯语义匹配的退货退款场景。注册表只返回连接元数据，调用凭证需另行通过 Cognito OAuth 或 IAM 获取，新增能力无需改动编排器代码。
。MCP 描述符包含服务器元数据和工具定义。A2A 描述符包含智能体卡片。描述符包含连接元数据，但不包含使用方在调用该能力时必须提供的凭证。 为 MCP 和 A2A 记录构建当前公共 SDK 的描述符结构。 MCP descriptor mcp descriptors = { "mcpServer": { "data": json.dumps(server metadata), "dataSchemaVersion": "2025-12-11", "additionalData": { "tools": { "data": json.dumps({"tools": tool schemas}), "dataSchemaVersion": "2025-06-18", } }, } } A2A descriptor a2a descriptors = { "a2aAgentCard": { "data": json.dumps(agent card), "dataSchemaVersion": "0.3", } } 用面向用户的语言编写描述，以将该能力与相邻记录区分开来。描述符内容提供协议
匹配字段正文
作者把添加日程、整理126邮箱、大众点评找餐厅、京东挑鞋和制作旅行AA账本等任务分别交给Muse与ChatGPT中的Dot实测。Muse仅靠手机即可完成日历操作，并能从淘宝截图提取双十一定金和尾款节点；Dot在共享账本任务中交付更完整，但手机端操作苹果日历需借助Mac。两者处理网易邮箱等无现成连接的服务时都依赖云端浏览器，登录、验证码和小屏接管仍是主要障碍。
除，且有两封不确定的还暂未删除与我讨论，得到允许后才删除。 Dot同样是在我接管登录之后，顺利完成了后续邮件处理。它还额外发现了简报里的一个疑点：邮件显示的时间是20:10，附件里的简报里却写着“截至北京时间21:03”。 Dot主动指出了这个矛盾，并询问要不要回信反馈。我让它拟好邮件，安排在第二天上午九点发送，之后也确认邮件按时发出了。 先试的是Muse和Meta自家的Threads。在手机已经安装Threads并登录的前提下，授权只需要点一下。我给它一张露营照片，要求文案全部使用emoji，它很快就发出去了。 有自家的“全家桶”就是舒服，Meta手握Facebook、Instagram、Whatsapp等平台，想必都会有相对丝滑的体验。 账号验证完成之后，后续发布只花了一两分钟。我打开浏览器窗口观察，它的操作连贯，效率较高。 Dot也通过云端浏览器完成了同样的任务，但不如Muse效率高，中间有一段时间几乎没动静。 浏览器里的鼠标停在那里，我看不出它是在处理、等待，还是已经遇到了问题。直到我催促，它才继续操作。 类似的停顿，在这几轮Dot的云端操作中出现过几次。同一阶段，我暂时没有在
匹配字段正文
作者开通Cue Pro会员实测一周，邮件处理最顺畅，能及时提醒收信、总结要点并按意图组织回复；电话与支付两项因需绑定国际账号未能跑通。多Agent协作需配置海外应用接口且群聊回复混乱，日程管理也接不进微信、QQ等国内信息流。Cue于9月28日与Manus 2.0一同发布，为每个Agent配备独立邮箱、电话号码、数字钱包和专属电脑，面向海外用户，国内版本仍在筹备。
验却仍被使用环境层层牵制，这种落差，或许也是理解当下Personal AI竞争的一个切面。 “出走”一年半，Manus手握34亿重回牌桌 Manus 过去一年多的经历，比它的产品迭代还要跌宕。 2025年3月，它顶着"全球首个通用 AI Agent"的名头爆火，几秒钟就能筛简历、分析股票、从零建一个网站。同年5月，总部搬去新加坡，产品不再对内地开放。12月，Meta 宣布以20亿美元收购它。今年4月，国家发改委要求撤销这笔交易；8月底，中资老股东从 Meta 手里回购股份，创始团队重新拿回控制权。 回到牌桌上的第一件事就是补充弹药。据媒体报道，Manus 母公司蝴蝶效应近日完成超 5 亿美元融资，博裕投资、IDG 资本领投，腾讯、红杉中国、真格基金继续加持，目标估值约 40 亿美元。 融资官宣当天，公司发布了17个北京岗位，覆盖产品、研发、运营和增长。创始人肖弘在社交媒体上透露，一天之内收到上千封简历。至于公司是否在为赴港上市做准备，目前仍是业内人士的判断，尚未得到官方确认。 资本为什么还愿意给它重注？对不少投资人来说，Manus与AI Coding Agent公司其实是“同类物种”，
匹配字段正文
《卫报》解读 Anthropic 攻击性研究团队本周发布的报告：该团队称已造出一个恶意 AI 程序，可在联网智能电视之间自主传播，并把自身拆分到 15 台电视上、借用每台的一点算力维持运行。研究人员认为，成功的 AI 蠕虫需要在更低算力设备上具备更强能力，但按当前趋势到年底就可能可行；多伦多大学此前论文中的蠕虫则感染了一台全尺寸电脑并能更快扩散。多位安全专家意见不一，有人强调智能电视等物联网设备补丁更新慢、风险难修，也有人认为该实验移动缓慢、动作可预测可拦截，属于 stunt hacking。
将自身的各个部分拆分到15台电视上，并且仍能通过使用每台电视的一点算力来运行。 除了让人联想到《哈利·波特》系列中让伏地魔灵魂碎片在物体中存活的魂器之外，这份报告还令一些专业人士感到警觉，因为智能电视和许多其他“物联网”设备普遍薄弱的安全性将很难纠正，即使付出协同努力也是如此。 “这就像其他每一波网络攻击一样，是值得担心的事情。我们需要减轻可能的影响，”领导Meta AI安全工作开发的Joshua Saxe说。“我现在担心的是，网络安全界的人士没有像他们应该的那样认真对待这类真实风险。” 此类“AI蠕虫”的破坏可能大得惊人。无需诱骗人类即可传播的自我复制计算机病毒被称为蠕虫，早先的蠕虫曾在互联网历史上造成一些最严重的破坏。 这段历史包括1988年的莫里斯蠕虫，它出现在主流消费互联网之前，当时一名研究生发布了一个利用各种软件漏洞和弱密码的程序，它复制自身如此之快，以至于许多受感染的机器慢到停滞。美国和以色列在2000年代末通过隐蔽的Stuxnet将蠕虫带入国际间谍活动，该蠕虫破坏了伊朗的核离心机。其他蠕虫，如俄罗斯的NotPetya和被归因于朝鲜的WannaCry，已在全球造成数百亿美元
匹配字段正文
Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 结果，该机在 Qwen3.8 27B 上完成本地智能体负载耗时 18.7 分钟，接近 DGX Spark 的 17.3 分钟，比 MacBook Pro（M5 Pro）快 2.0 倍、比 AMD Ryzen AI Halo 快 1.8 倍。测试使用 128 GB 统一内存、6144 核 Blackwell GPU 的原型 15 英寸 Surface Laptop Ultra，售价 5899.99 美元，通过 llama.cpp 的 Windows 原生构建在 GPU 上运行模型。在 Qwen3.6 35B A3B 上耗时 7.6 分钟，在 124B 的 Ling 3.0 Flash 上耗时 15.3 分钟，后者无法装入 MacBook Pro 或 RTX 5090 的内存。
recipe behind each system’s fastest Qwen3.8 27B result We are also testing more weight formats and runtimes, including smaller 4-bit formats such as IQ4 XS and Inco AI’s Splash, a Metal engine for Apple Silicon that uses DFlash speculative decoding. We will add their results once they pass our accuracy checks, which we will publish soon. Early tests show faster completion times on some systems. The RTX Spark laptop finishes the workload in 8-19 minutes, depending on the model ➤On Qwen3.8 27B the
匹配字段正文
Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行大语言模型，并借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理。在四台 M5 Ultra Mac Studio 上，816B 参数的 Muse Spark Open 以 NVFP4 精度生成超过 36 tokens/s；单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍，生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例，并说明可用 OpenCode 等工具接入本地 LLM 服务。
accl uses. Once the hosts are set up, MLX provides mlx.launch, a helper command to launch jobs across multiple nodes: mlx.launch --hostfile hostfile.json --backend jaccl --env MLX METAL FAST SYNCH=1 -- \ mlx lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline In this command, --backend jaccl specifies the RDMA Thunderbolt driver backend. The --env MLX METAL FAST SYNCH=1 flag enables an experimental MLX feature for fast CPU-GPU synchroniz
匹配字段正文
小米 MiMo 团队发布 MiMo-V2.5 系列推理系统的端到端工程实践，覆盖 KVCache 管理、分层缓存、SWA 感知前缀缓存树、调度策略、Prefill/Decode 执行流水线与多模态优化。MiMo-V2.5-Pro 共 70 层，其中 10 层 Full Attention、60 层 SWA，滑动窗口为 128，Hybrid SWA 使计算量与 KVCache 存储降至 Full Attention 的约 1/7。团队称上线以来服务端 KV Cache 命中率平均 93%，重度用户可达 95% 以上，并将部分优化以 PR 形式回馈 SGLang 社区。
g upper-layer services requirements for high throughput and low latency while maintaining excellent scalability. Architecture Design GCache has several key features: Decentralized metadata management enables unlimited cluster scaling:Consistent hashing on keys determines storage locations; The Master uses a Raft-based highly-available deployment, but only manages heartbeats and service discovery — IO paths do not pass through the Master; Server-side support for both memory and disk caching:Cold
匹配字段正文
The Verge 记者实测 OpenAI 本周发布的智能体平台 Dots，它拥有可自定义名字的拟人化形象，可在虚拟机中操作 Blender、GIMP 等应用，也能通过桌面版 ChatGPT 访问用户自己的电脑，并优先向每月 100 美元的 Pro 等高阶账户开放。实测中 Dots 在订网、宜家账户登录等任务上多次卡在安全验证，需要人工接管，但在作者授权访问个人电脑后，顺利完成了视频剪辑合并和个人网站改版部署。作者认为它更像面向普通人的 Codex，适合处理工作事务，但每月 100 美元的价格对个人用户未必划算。
It’s a tale as old as last week: OpenAI’s new agent platform , called Dots, is full of cute little guys who can do your bidding. But unlike the ultra-approachable Meta Muse, Dots feel very much like using workplace software that happens to be able to order you a burrito — emphasis on work. OpenAI announced Dots earlier this week. Like Muse, Dots have blobby, anthropomorphic avatars and customizable names. In the future, OpenAI says you’ll be able to have multiple Dots, but right now you get one.
匹配字段正文
AWS 发布基于 Amazon Bedrock AgentCore 的 ambient agent 参考实现，让智能体由 Amazon S3 上传或定时任务等事件触发，而非等待用户发起对话。该实现通过单个 ask_human 工具和统一响应信封支持 Notify、Question、Review 等人工介入模式，信号上的 autoExecute 开关决定任务自动执行还是先由人工审核。平台由 Lambda、SQS、DynamoDB 和 React 前端组成，全部通过一个 AWS CDK 栈部署，示例默认使用 Anthropic Claude Sonnet 4.5。
field is result, question, or error. The platform additionally threads session id and job id through every response so continuation turns can be correlated. Those are correlation metadata, not part of the core contract your agent must implement. When the agent returns interrupted, the platform moves the job into interrupted status and sets its requiresAction flag to true. The reference React frontend surfaces these on the Interrupted tab of the Jobs page with a warning indicator on each row, so
匹配字段正文
SemiAnalysis 发布 ClusterMAX 3.0，对 77 家 neocloud 做全面评测，市场覆盖范围从 2.0 版的 209 家扩大到 323 家，并访谈了 200 多名终端用户。Nebius 与 CoreWeave 同列 Platinum，Google Cloud 与 Oracle 进入 Gold，Azure 降至 Silver，Crusoe 降至 Bronze，全球仅 19 家 neocloud 获得奖章评级。评测分审计、性能、可靠性三阶段，涵盖 GPU 计算、网络、存储、编排、监控与故障注入，并新增 Bronze 与 Underperforming 之间的 Participation Ribbon 档。
here is a long tail of mere multi-hundred-million-dollar deals whose aggregate value is enormous. One plausible scenario in which managed clusters gain ground on frontier-lab bare metal involves open-source progress. Serving open-source models is already more lucrative than many realize; we recently modeled that “you can make over $100M per MW per year selling open source tokens,” leaving plenty of room for profit even at today’s rental prices. One could imagine open-source models increasing the
匹配字段正文
n8n 比较了确定性、动态和智能体三种流程编排模型，分别侧重可审计的固定逻辑、根据实时反馈调整，以及在确定性护栏内委派 AI 智能体处理非结构化任务。文章还梳理了编排器瓶颈、状态损坏、服务间 schema drift 和分布式故障调试等生产挑战。
ributed failures Lack of visibility in complex and decentralized workflows makes it difficult to find root causes when failures occur. You can resolve this by adding observability metadata over the orchestration layer. It tracks and documents dataflows so that your team can use the execution history for troubleshooting problems. n8n’s approach to process orchestration n8n provides builders with a visual control plane where you can coordinate both deterministic and agentic execution in one unifie
匹配字段正文
波兰软件工程师 Piotr Migdał 用1040张蘑菇照片测试16个模型，表现最好的 Gemini-3.8-flash 首次猜测准确率为65%，前五猜测命中率85%。Qwen3.8-27b 表现最差，首猜准确率13%，并把有毒蘑菇误判为可食用达36%。Migdał 指出危险误判并非随机，例如把致命丝膜菌认成鸡油菌，他警告不要因为 AI 说安全就吃下蘑菇。
deadly misidentifications, Qwen3.8-27b led the pack there too, calling poisonous mushrooms edible 36 percent of the time, with Qwen3.8-flash following close behind at 30 percent. Meta’s Muse-spark-1.2 led with just an eight percent false positive rate, but Migdał said that’s an anomaly due to the fact that the model simply declined to guess - the right move in a situation where a bad decision could be deadly for a user. "I am surprised that the top generalist off-the-shelf models were able to i
匹配字段正文
SGLang 发布 SSD Expert Pack 方案，把放不进显存和内存的路由专家权重留在 NVMe SSD 上，只按路由器选择读取专家，并用 direct I/O、pinned 缓冲和 GPU 缓存把 SSD 容量变成可用的权重层。在 Intel Ultra5 230F、32 GB 内存、TiPro9000 2 TB 磁盘和 RTX 5090 32 GB 的消费级机器上，DeepSeek-V4-Flash 相对 Ollama 基线在 Alpaca 和 MMLU 上 prefill 提升 2.28x 和 3.39x，decode 提升 6.92x 和 6.55x；Kimi-K3 相对 llama.cpp 的 prefill 提升 6.96x 和 5.80x，decode 提升 3.30x 和 3.52x。该路径不裁剪、不跳过专家，也不改变 Expert Top-K，属于显式开启的加载格式，需要额外 SSD 容量和数十分钟的 Pack 构建时间。
ry unavoidable cache miss. Why native GGUF cannot directly use expert-level O DIRECT Native GGUF is a tensor-oriented model container, not an expert-oriented direct-I/O store. Its metadata and tensor payloads are organized around individual tensors, and a single expert's gate, up, and down weights may be separated across file regions or across multiple shards. The original loading path commonly uses a parser, mmap, or buffered file reads, so the application sees pageable page-cache-backed mappin
匹配字段正文