搜索“推理”

ence/v1/systemone 服务训练后模型的说明。 你会训练 Muse Glimmer 做什么？ 你不需要有交易方面的雄心也能尝试这个。你的第一个实验可以从一个你已经纠正过太多次的错误开始。 也许你的智能体总是选错工具。如果你保存它的运行记录，成功的调用和已纠正的错误就可以成为 SFT 的示例。用一部分训练，用另一部分测试，看看你是否让这种纠正发生得更少。 自己试试 Kalshi 实验。该 cookbook 包含代码、评估结果和方法论，并引导你使用 Training API 完成该实验。 对于你自己的实验： •让 Fireworks 运行任务。将你的示例带到 Managed Training，在应用中或通过 API 开始。 •掌控你的训练循环。使用 Serverless Training API 编写你自己的 SFT 循环。 •让你的编码智能体投入工作。按照 Agent Skills 指南安装 Fireworks 训练技能，然后描述你想训练什么。 Muse Glimmer 30B 在 11 月 30 日前可免费通过 SFT 训练，无需信用卡。推理（包括评估调用）单独计费。$/$

匹配字段正文

迁移）。 然后沿“存在哪里”排布了四个系统： · @MemGPT（外部记忆）：把 LLM 类比为操作系统，记忆的读写变成 agent 自己的函数调用； · @mem0ai（外部记忆）：记忆结构化为实体-关系三元组图，支持 add/update/delete/noop 四种操作； · MEM1（上下文内记忆，授课者自己组的工作）：这是本讲着墨最多的部分。针对“推理上下文不断增长导致复杂度与遗忘”的问题，MEM1 让模型每步生成一个整合了推理与记忆的内部状态，然后丢弃全部历史；上下文大小恒定，且可用结果奖励端到端训练模型学会“压缩”。实验展示了三个涌现行为：分类存储每个问题的关键信息、答完一题先更新记忆再进入下一题、多次搜索无果后学会跳过该题。这些行为没有任何一个是显式编程的。 · Reflexion / ExpeL（经验化记忆）：轨迹存短期记忆、自我反思存长期记忆；ExpeL 进一步把“这条经验是否有用”的反馈也存进去。 Context Language Models（CLM） 是记忆部分的收束：让模型把自己的整个上下文当作一个文件，用 Bash 命令随意编辑，编辑与真实上下文同步；创建

匹配字段正文

接入生态还只是基础条件。产品得足够省事，用户才可能愿意持续使用。子皓谈到，他希望人与AI能“同步在场”，用户无需在任务过程中不断补信息、反复操作。现实却是，Cue跑通一次多Agent协同，就需要配置海外应用接口并处理网络问题。对普通用户而言，使用前的准备成本可能已经超过任务本身的价值。 “主动服务”也面临类似难题。产品可以定时扫描信息、推测用户眼下的需求，但推理成本持续发生，推送内容又未必合时宜，甚至会形成打扰。 商业化是另一道现实考题。Manus 曾经是全球最快跑到 1 亿美元 ARR 的创业公司，正式上线只用了八个月。但 ARR 已经不再是这类公司的免死金牌，Agent 完成任务需要大量模型调用，用户愿意付的价格却不会无限涨，Token 成本比收入涨得快，这个生意就很难维系。 罗森布拉特证券曾给Muse算过一笔账：要么计算成本显著下降，要么用户每月通过它完成的购物金额平均超1000美元，Muse 才可能盈利，但这个数字远高于当前电商的平均水平。 这也解释了为什么眼下不少产品采取免费或限量体验：Marvis免费，Cue在early access期间免费，千问Go!限量开放。“帮用户省

匹配字段正文

环，每次只对提示词、工具描述或控制流做一个小改动，分数提高才保留。调好的前沿 Agent 就是开源模型要超越的基准线。 3. 选模型：不做预训练，把候选模型放到真实子 Agent 里，用同样的工具和评审测试。最终选了 Nemotron 3.5 Lightning，一个总参数 300 亿、每个 Token 激活 30 亿参数的 MoE 模型。 4. 一开始就测推理性能：在生产环境跑不动的模型不值得训练。他们用 AIPerf 回放生产流量（用合成文本代替客户数据），据此选择推理框架。 5. 把失败案例变成训练数据（自愈）：每晚由评审抽查生产对话，不完美的交给前沿模型当"批评者"，它只给提示，不给答案；再由模拟商家带着提示重跑。通过后去掉提示、做匿名化处理，加入训练集。最近 86 个晚上，修复了 59535 条对话，占尝试修复的失败案例的 69%，剩下的由人工修正。 6. 后训练：在 Blackwell GPU 上用 Megatron Bridge 训练，然后重新评分，进入下一轮。 结果（GraphQL 任务） · 评审分数：Nemotron 开箱只有 37.7，前沿模型是 73。第一轮训练

匹配字段正文

阶段才投入就足够了。 模型分层与成本分层 通过第一道筛选的事件，会由性能不同的两个模型分阶段判定。第一级由轻量模型做初步判定，只有它无法判断的才转交给第二级的上位模型。 第一级的轻量模型返回预先规定格式的输出，即以恶意还是无害的判定，连同置信度高低一并给出的格式。高置信度的结果自动处理，只有低置信度的事件才进入第二级。第二级的上位模型具备更广的上下文和更高的推理能力。 能到达第二级的事件只占整体的极小一部分。笔者团队针对多个模型系统性地验证了效果。结果，在目标用途上，轻量模型与前沿模型的精度差仅为1%至2%。而另一方面，前沿模型每token的成本约为前者的5倍。这种性价比只有在送给上位模型的事件确实需要其能力时才成立。 提示词的设计与模型的选择同等重要。笔者为智能体检测编写的提示词之一超过1900词。这个提示词涵盖了智能体可能面临的各种情况，包括向上转交的判断标准以及自主应对的条件。并非所有用途都需要这样的深度。滥用对策的提示词中，也有两三句就够用的。提示词所需的精细程度，取决于交给智能体应对的范围有多广。 区分准确的AI分析与缺乏事实依据的输出（幻觉）的，是有无上下文。如果只把滥用报

匹配字段正文

每 100 次评估 0.82 美分，F1 = 0.79），OpenAI Decisions 最好（F1 = 0.87）但贵约 4.5 倍（3.72 美分）。作者坦承三个点的 Pareto 图只是框架演示，但结论有普适性：更难的评估任务值得为 LLM 付费，这呼应了 Randy Olson 的对比研究（决策模型在分类/路由任务上以低成本打平 LLM，但在知识与推理任务上 LLM 明显领先）。 3. 概率分数未必可信，需要校准。 一个 0.80 的分数应该意味着“类似 trace 中约 80% 确实失败”，但可靠性图（reliability chart）显示部分模型严重失准，Clef Flash 有一组预测失败概率仅 8% 的样本，实际失败率高达 60%。Platt scaling（对 log-odds 拟合 sigmoid）修复了三个模型，但 OpenAI 反而变差（Brier 0.159 → 0.164），换成直接对概率拟合才改善到 0.154，这本身是个重要教训：校准方法的选择也会影响结果，必须实测。 4. 提示词仍有提升空间。 一个小型手工实验（把 Jev 的简单提示词换成失败类型

匹配字段正文

orepo 的全量 CI 为准，而不是只看本地测试。失败先交给便宜的确定性修复器（未使用的默认值、lint），处理不了的再交给 Agent 修复器（比如测试该删还是改写），反复推送直到变绿或者用完重试次数。关键约束是权限收窄：测试修复器只能改测试文件，否则 Agent 会去改生产代码来让测试通过。 3. 验证：CI 绿了也不等于正确。Agent 可能删掉本该保留的测试，也可能停得太早没清理干净。所以先跑静态检查，再交给 Agent 验证层 CodeCourt。 CodeCourt：最值得借鉴的设计 把观察到的 Agent 失败模式写成明确的正确性属性，每条属性由一个专门的审查 Agent 并行检查：只删不增、行为语义不变、不偏离目标（不顺手删其他 flag）、不留 Agent 痕迹（比如推理注释）。全部通过才进入人工审查，任意一条失败就直接放弃这个 diff。团队早期试过用单个 Agent 端到端审查，效果不如拆成多个聚焦的审查者。 背后的原因是：指令一多，长任务 Agent 就容易遗漏约束，倾向于只追求"CI 通过"这种最直接的信号。所以把约束从执行循环中剥离出来，放到验收端去检查。

匹配字段正文

t Registry 在运行时发现工具 使用 AWS Agent Registry 进行运行时发现，可以帮助解决一个可能被智能体演示所掩盖的问题。硬编码的工具在只有少数几个时运行良好，到几十个时开始退化，再往后就变得难以管理。企业系统会暴露数百个内部 API，用于定价、支持、订单、库存和客户数据。在这些系统中，模型花在消除工具名称歧义上的 token 可能比推理用户请求还要多。每新增一项能力，都需要在编排器中修改代码、重新部署，并在各团队之间协调发布，而这些团队更希望按自己的节奏交付。 在企业软件即服务（SaaS）项目中，当团队向智能体消费者暴露大量内部 API 接口时，这种模式就可能出现。随着目录扩展，构建时接线可能成为瓶颈。一种方法是改变编排器访问其工具的方式：不再把每个工具都编译进智能体，而是让智能体在运行时发现相关工具。 AWS Agent Registry 是一项托管服务，用于编目和发现模型上下文协议（MCP）服务器、智能体和智能体技能。发布者注册协议特定的描述符和可搜索的描述。在运行时，编排器可以搜索已批准、可发现的记录，并使用返回的端点和描述符内容来构建客户端。注册表搜索

匹配字段正文

iniMax-M3.1-Flash 在 Artificial Analysis 智能指数上得分 42，比 MiniMax-M3 高 13 分，单任务成本不到后者一半。它与 GLM-5.3-Flash 得分持平，但落后于 DeepSeek V4.1 Flash 1017 MiniMax-M3.1-Flash 是 @MiniMax AI 推出的全新 Flash 推理模型，我们在其最高努力设置下进行了基准测试。它在 Artificial Analysis 智能指数上得分 42，与 GLM-5.3-Flash（最高，42）持平，略高于 Gemini 3.8 Flash（高，41），落后于 DeepSeek V4.1 Flash 1017（最高，45） 主要结论：➤ 与 M3 相比，复杂推理能力大幅提升：MiniMax-M3.1-Flash 在 Humanity's Last Exam 上得分 48%，高于 GLM-5.3-Flash（最高，40%）和 DeepSeek V4.1 Flash 1017（最高，43%），与 Gemini 3.8 Flash（高，48%）持平。在 CritPt 上它

匹配字段正文

。Qwen3.6-35B-A3B 总共有 35B 参数，但活跃参数约为 3B。以 NVFP4（NVIDIA 的 4 位浮点格式）存储时，这些活跃权重只占稠密模型的一小部分。 在我的 DGX Spark 上，Qwen3.6-35B-A3B 单用户生成速度为每秒 120 个 token，八个用户合计为每秒 359 个 token。这些数字包含模型在回答之前写出的推理 token。 这就得出了第一条设计规则：所有文本类任务都用同一个强大的 MoE 模型。摘要、分类、提取、起草、编码和读取截图都交给同一个模型。每多一个模型，就多一个需要固定、打补丁和监控的容器，因此只有当 LLM 无法完成某项工作时，才会给专用模型留一个位置。 这套栈 以下这些模型会常驻在一台 DGX Spark 上： 任务 模型 许可证 聊天、编码、视觉、提取 nvidia/Qwen3.6-35B-A3B-NVFP4 Apache 2.0 嵌入 Qwen/Qwen3-Embedding-4B Apache 2.0 重排序 Qwen/Qwen3-Reranker-0.6B Apache 2.0 语音转文字 openai/whi

匹配字段正文

,899.99美元（拜内存短缺所赐），不过如前所述，也有价格更低的入门配置，提供18核CPU、5,120核GPU和24GB统一内存。 NVIDIA与微软 无论如何，这一架构在运行端侧AI方面尤为强大。RTX Spark不像传统搭载独立GPU的笔记本那样受限于专用显存，而是可以为GPU加速应用提供大得多的内存池。这使得更大的语言模型、更长的上下文窗口和高要求的推理工作负载能够在本地运行。在这方面，它的设计与AMD的Ryzen AI Max系列（即Strix Halo）类似，但搭载了更强悍的GPU引擎。 NVIDIA的CUDA生态是另一项重要优势。开发者可以利用TensorRT、PyTorch和llama.cpp等熟悉的工具，其基础软件栈还延伸至NVIDIA驱动的工作站和数据中心基础设施。 对于构建AI应用的组织而言，这提供了一条扎实的开发路径。模型和工作流可以先在本地进行原型验证，再迁移到更大的系统，从而降低云端算力和token开销，同时让敏感数据保留在设备上。（参见：即将到来：可削减token成本的智能体AI PC。） 微软还针对RTX Spark优化了Windows 11，改进了工作

匹配字段正文

每条工程原则只有约 10–20 行，是一段被提炼、命名过的好实践，而不是一个流程脚本。她预期随着模型变强，pstack 里大部分 skill 最终都会被压缩成这样的短原则或工作流，从而可以删掉一批。 2. /poteto-mode 的运行机制。智能体在开始多步任务前先读一份简短的原则索引；执行过程中，必须“点名每一条影响了决策的原则，以及它具体改变了哪个选择”，并在回复末尾生成一个 "Principles Named or Used" 段落。这个设计很巧妙：如果原则被引用却没有对应的实际决策，就说明智能体只是在“报菜名”而没有真正应用；强制原则与决策挂钩，让推理过程可检验。 3. 原则来自真实纠错。这些原则大多来自她今年在会话中亲自纠正智能体的场景，属于“教训的结构化沉淀”。 4. 原则可被唤起。每条原则都能以 /principle- 的形式作为 skill 调用；更常用法是用名字来“掌舵”；因为名字背后指向智能体已经读过的完整规则，一个短语比一段指令更能精准地重定向工作。比如对着一堆旧适配器说 "subtract before you add"，智能体就知道先删过时的、再设计剩下的。

匹配字段正文

摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。 观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。 AA-Robotics v0.1任务流程 在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理； 空间推理，理解不同物体之间如何相互作用，例如把饮料倒进杯子里； 适应能力，用于评估模型面对意外情况时的应对能力。 桌面操作任务 当模型提交任务后，系统会根据任务设定的通过标准对最终状态进行评分。 完成任务可获得100分，如果任务没有完全完成，则会根据完成程度获得相应的部分分数。 在评测过程中，所有任务均尝试采用零样本（zero-shot）方式进行，模型没有针对每项任务进行专门训练，只是根据任务要求完成操作。 02.模型能控制机械臂，但问题在于操作时间过长 从测试过程来看，模型已经能够控制机械臂了，目前问题在于，模型控制机械臂完成任务需要花费大量的时间和成本。 评测结果显示，目前的语言模型完成AA-Robotics v0.1任务的速度，大

匹配字段正文

ule、flash attention 3 前反向和 causal-conv1d 内核。 两个值得记住的工程细节： · 不要依赖 HF Kernel Hub 动态加载内核：torch/CUDA 版本不匹配时它会静默回退到未优化路径，你以为什么都没变，其实优化已经失效。推荐直接安装，最好在 Docker 镜像构建时固化。 · 部分内核只实现了 forward，推理可用但训练不可用：选型时必须核对。 优化二：1D 序列打包去 padding → 再 1.6 倍 剩余瓶颈是数据侧的浪费：输入张量必须是矩形，导致每个 batch 内短序列被 padding 到最长序列，2D 矩形里大量格子是无效计算。 理想方案 NestedTensor 只兼容标准注意力；而 flash-linear-attention 要求 1D 打包（concat + position ids） 格式。作者的做法是把 batch 内多个样本拼接成一维，并为每个样本传入正确的 position ids，使注意力 mask 严格限制在样本内部，不发生跨样本泄漏（示例代码在 ai-runtime-cookbook 仓库）。 2h

匹配字段正文

数字没有概率意义。Jev 专门解决了这个问题——后面的训练章节会详细讲。 四、从两个开源项目还原 Jev 的技术路线 - https://github.com/jaredpalmer/kev - https://github.com/NandhaKishorM/laya 我们从零开始讲：输入怎么拼 → 模型怎么跑 → 概率怎么读出来 → 多题怎么并发。架构和推理先讲，训练最后说。 Laya：BERT 复古，但复古得很精妙 一句话概述：Bert基座，每个选项前插一个[MASK]，最后去这些 [MASK]的隐藏向量上logit打分 输入是怎么拼的？ 每个选项前面各顶着一个 [MASK]。这个设计的巧妙之处在于：MASK 的位置在 Encoder 里能双向 attend 所有 token——它同时"看"到了问题、自己选项的描述、其他选项的描述，以及完整的 state。所以 MASK 位置的 hidden state，天然就是"在当前语境下，这个选项的综合表示"。 Forward 之后，怎么读出概率？ 四步走： Encoder 编码 注入题型信息 决策头：再过一个2层的transformer,

匹配字段正文

。相反，它首先要经过检查。一个人检查是否烹饪得当，另一个人检查是否符合订单并正确装盘。 这最后一种模式与其说是项目架构，不如说是一种纪律：你把写代码的流水线厨师与检查代码的流水线厨师分开。一位构建者烹饪。两位验证者（一位代码审查者和一位视觉/功能测试者）并行运行以验证输出。如果任一验证者标记了问题，构建者就再获得一轮机会。尤其是有了 Codex Spark 这类近乎即时编码的模型，增加验证几乎是免费的。 在这个工作流中，同一时间只有一位构建者写入，但多个验证者可以同时运行。这是避免合并冲突和上下文漂移的最重要的一条规则，而且它适用于本清单上的每一种模式。 何时使用：始终使用。无论你在运行哪种模式，都把它叠加在上面。将构建与验证分离，可以在失败级联到下游任务之前将其捕获。验证步骤使用浏览器自动化、截图和确定性测试。目标是：没有证据表明其有效，任何流水线厨师的输出都不能上到出菜口。 性能对比基于第三方基准测试或内部测试。与基于 GPU 的系统相比，观察到的推理速度提升可能因工作负载、配置、日期和所测试的模型而异。 1237 E. Arques Ave Sunnyvale, CA 94085

匹配字段正文

y不用为新厨房重新训练一套专用动作策略，但现成的感知模型、运动规划和预训练控制器，仍然是机器人能把活干起来的基础。 不过，省去了针对新环境的训练，并不意味着部署和运行就没有成本。 目前，HomeBody的感知、规划和技能执行运行在一台搭载RTX 4090的笔记本上，Astra则在远端负责决策。 前期重建数字厨房，需要准备时间和API成本；实际执行任务时，模型推理也会让动作之间出现等待。 即使软件流程顺利跑通，长时间干活还得过硬件这一关，比如手指舵机过热，就是系统目前面临的限制之一。 所以， 把GPT接上宇树机器人确实能让机器人进厨房干活，但背后还得有一整套感知、规划和控制系统配合。 至于现在就买台G1、接上GPT的API，坐等它帮你做家务——还没这么简单。 自万恶之源Robocurve用GPT-6 Astra控制机器人开始，机器人/具身圈几乎一夜之间进入了“大模型时代”。 总的来看，目前主要有几条路线： 第一条是Robocurve最早采用的方案：大模型直接接收相机画面和机器人状态，输出夹爪的目标位置、朝向和开合程度，再由底层逆运动学模块转换成关节动作执行，完成后重新观察，形成闭环。 第

匹配字段正文

-Bench 和 LiveCodeBench 测试中位居榜首，每解决一个任务的成本仅为 Fable 5 的三分之一，而且事实证明，它是比 Kimi K3 更好的路由搭档。训练功能已上线。 上周，我们在 Fireworks 上启用了 Deepseek，提供无服务器端点、专用部署和训练支持。该模型提供 100 万 token 的上下文窗口，支持原生工具调用并保留推理历史，面向长周期智能体工作负载。 我们用 7 月测试 Kimi K3 时使用的同一套评测套件对 DeepSeek V4 Pro 0813 进行了测试。我们在四个基准系列上对 Deepseek 与 Kimi K3 和 Fable 5 进行了评估：SWE-Bench Verified、LiveCodeBench v6、Aider Polyglot v1 和 Terminal-Bench 2.1。在四个系列中的两个上，Deepseek V4 Pro 是本次综合评测中最强的单一模型。 基准Kimi K3Deepseek V4 Pro 0813Fable 5SWE-Bench Verified（500）92.6%95.2%85.4%Liv

匹配字段正文

你将学到什么 什么是 Kimi K3，它有何不同？底层架构是什么：KDA、Attention Residuals 与 Stable LatentMoE 架构；如何使用推理强度、流式输出、工具、视觉和 1M 上下文？如何从首次 API 调用走向生产环境？Kimi K3 在编程和智能体基准测试中与前沿模型相比如何？Kimi K3 在 Together AI 上的费用是多少？ Kimi K3 是 Moonshot AI 迄今为止能力最强的模型：一个 2.8 万亿参数的模型，也是全球首个进入 3 万亿参数级别的开源模型。它专为前沿智能工作而设计，例如长周期编程、端到端知识工作和深度推理。它也是首个在 GPT 5.6 Sol 和 Claude Fable 5 层级上竞争的开源权重模型，Together AI 正直接与 Moonshot 团队合作来提供该模型的服务。 已发布的最大开源权重模型 Kimi 团队深度致力于扩展规模，这一点显而易见：在 2025 年 7 月至 2026 年 7 月的十二个月中，有九个月 Kimi 模型都设定了开源模型规模的上限。凭借 2.8 万亿参数，K3 现已成为有史以

匹配字段正文