←搜索结果

搜索“编码”

按匹配度 · 共 106 条结果 清除搜索

星期四

  1. 邵猛

    LangChain 团队分享 Agent Evals 实践指南：常见问题与可落地流程

    LangChain 团队的 divyasan0 以 Q&A 形式分享了 Agent Evals 实践指南，回答常见问题并给出可落地工程流程：从真实 trace 起步、用 10–20 条小数据集建立基线、失败案例回流迭代、离线与在线分层评估、代码评估器优先于 LLM 裁判、benchmark 用容器化环境验证最终状态。文中还给出 LLM 裁判的三条校准建议，并指出小模型裁判在 pass/fail 判定上与人类标注一致，总成本 $0.34 对比 Claude Sonnet 4.6 的 $28.17。

    agentevals 包（针对消息和工具调用）、可从代码仓库和 trace 直接生成可运行评估的 Eval Engineering Skill、从 issue 聚类自动生成数据集和断言的 LangSmith Engine。且整个体系框架无关；支持 OpenAI Agents SDK、Claude Agent SDK，或用 @ traceable 装饰器裸接。 迁移也不必推倒重来：数据集以 CSV/JSONL 导入，pytest/Vitest 集成保留现有测试体系，已有裁判 prompt 直接粘贴复用。 两个进阶难题 多轮对话：每一轮都看似正常、整体却失败的“累积性失败”是单点评估的盲区。解法是给 trace 附上 thread ID 将各轮聚合，再挂载面向整段对话的在线评估器（如“用户是否被迫重复了自己的需求”）；离线侧则把完整对话存为样本，或用 LLM 模拟用户。 超越最终输出：复杂 agent 需要检查轨迹（消息/工具调用序列）与终态（仓库变更、测试结果）。例如编码 agent 跑完后直接在其工作环境里执行该 repo 的测试套件；这正是 Harbor + 容器化沙箱的设计动机。

    匹配字段正文

    #hot-signal#教程/实践#Agent#评测/基准

星期五

  1. 36氪 · AI

    Artificial Analysis 发布 AA-Robotics v0.1 机械臂操控评测

    美国 AI 基准测试公司 Artificial Analysis 发布 AA-Robotics v0.1，用抓取、物体摆放、按按钮等 8 项桌面操作任务，评估前沿大语言模型通过写代码控制 6 轴机械臂的能力。GPT-6 Astra 以 69 分排名第一，其后依次为 GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1。GPT-6 Astra 平均每项任务耗时约 30 分钟、成本 16.36 美元，而人类平均只需 20 秒，速度差距接近两个数量级。

    看来，目前其速度和成本仍然无法达到生产应用的要求，和人类基准相比，差距接近两个数量级。 01.8项桌面操作任务，测试大模型对机械臂的控制能力 自2026年初以来，前沿大语言模型控制机械臂的能力取得了巨大进步。 研究团队认为，未来的机器人很可能会由强大的通用智能体驱动。因此，该团队设计了AA-Robotics v0.1基准测试，用来验证这一方向。 评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。 此次测试只会给模型提供简短的操作说明，包括如何通过一个HTTP API连接机械臂，机械臂是哪一台，以及如何提交任务并宣布完成。 评测中使用的机械臂是Hiwonder NexArm，一台6轴机械臂，包括5个关节和1个夹爪。 模型可以通过4个摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。 观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。 AA-Robotics v0.1任务流程 在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理；

    匹配字段正文

    #hot-signal#评测/基准#Agent#具身智能

星期三

  1. 腾讯云开发者社区

    Jev 不只是 JSON 分类器：从 Kev 与 Laya 还原其技术路线

    文章指出 Jev 是一台把状态映射为概率分布的机器，输入共享 state 与运行时定义的 choice、score、noul 三类问题，直接输出各选项概率且不生成任何输出 token。作者通过 kev 和 laya 两个开源项目还原其技术路线：Laya 基于 BERT 在每个选项前插入 [MASK] 并读取隐藏向量打分，Kev 基于 Qwen 用 block-causal 隔离与 pointer head 并行决策。训练部分为作者推断，涉及 soft label 蒸馏、按题型与选项数分桶的温度缩放、Permutation KL、RPS 损失和 None-of-Above 选项等校准手段。

    [MASK]。这个设计的巧妙之处在于：MASK 的位置在 Encoder 里能双向 attend 所有 token——它同时"看"到了问题、自己选项的描述、其他选项的描述，以及完整的 state。所以 MASK 位置的 hidden state，天然就是"在当前语境下，这个选项的综合表示"。 Forward 之后，怎么读出概率？ 四步走： Encoder 编码 注入题型信息 决策头：再过一个2层的transformer,从 Encoder 的通用表示里蒸馏出决策信号 只读取MASK位置，按不同问题类型进行归一化计算 注意那个 tscale——按题型 × 选项数分桶的温度系数，这是 Laya 概率校准的关键手段，后面训练章节会详细展开。 额外输出：置信度 Laya 还会从 [CLS] 的 hidden state + 4 个概率统计指标（熵、最大概率等）预测一个置信度分数，用于判断"这道题 AI 有没有把握，要不要转人工"。这个设计实际上是对"没有正确选项"问题的一种工程解法。 多题并发怎么做？ 一个 state 有 N 个问题时，Laya 用 Batch 推理：N 个问题各自构建一条

    匹配字段正文

    #hot-signal#教程/实践#推理#部署/工程

星期四

  1. A6 a6-051 · Cerebras：Blog

    Cerebras 总结多智能体工作流的五种编排模式

    Cerebras 发布博客，总结构建多智能体工作流的五种模式：并行生成后人工筛选、swarm 并行、分阶段并行、顺序交接以及构建与验证分离。文中以 Codex 配合 Figma MCP 复制网站为例，单智能体平均每次运行 36.5 分钟、12 次人工干预且失败率 100%，多智能体为 5.2 分钟、2 次干预并首次成功；顺序循环在内部测试中把人工干预减少 84.3%。作者认为多智能体把有效上下文窗口从约 200K 扩展到 25M 以上，并提到 Codex Spark 约 1,200 tokens/秒的速度使并行与验证步骤变得可行。

    个例子：我们想为 Parchi 制作 50 个吉祥物变体，于是派出了 5 个 Codex Spark 子智能体，每个生成 10 个变体。然后我们挑出喜欢的，把其余的丢掉。 这种模式最妙的地方在于：它也是把品味注入 AI 工作流的好方法。如今的模型几乎没有什么品味。很可能，你也可能缺乏品味。对大多数开发者来说，蛮力解法是搜集设计或图形模式的示例，或者给 AI 编码智能体足够多的风格指南——多到你还不如自己写 html/css。与其做这种乏味的手工流程，不如让你的主厨召集一队流水线厨师，然后挑出你最喜欢的。 在周五晚的晚餐高峰，厨房里的每个工位——炒锅、烤炉、冷菜、糕点——都在同时开火。每位流水线厨师负责不同的工作，但他们同时装盘，都为同一张订单出力。 这就是“蜂群”背后的概念，由 MoonshotAI 在训练 Kimi-K2.5 时首创。在蜂群模式下，每位流水线厨师负责一项单一、范围明确、彼此不同的任务。这些流水线厨师同时运行，共同为一个共享目标出力。 适合的场景：构建一个应用的多个独立组件、为不同模块编写测试，或把页面从一个框架移植到另一个框架。 这套设置需要几件事同时到位： 重要：关

    匹配字段正文

    #a6-editorial#教程/实践#Agent#编码
  2. A6 a6-051 · Cerebras：Blog精选

    Cerebras 解读 GPT-5.6 Sol、Terra、Luna 的模型与推理档位选择

    Cerebras 发文介绍 Codex 订阅中的 GPT-5.6 三款模型 Sol、Terra、Luna，三者独立训练与部署并带推理档位，用于在速度、成本和智能之间取舍。价格上 Terra 为 Sol 的一半，Luna 为 Sol 的五分之一，短上下文和长上下文均如此。文中建议多数任务先用 Luna，进展受阻时再升级到 Terra 或 Sol，Sol 在 Cerebras 上可达 750 tokens/s，并给出 Codex 中 Light 到 Ultra 五档推理级别的用法。

    Codex 自动化来保持缓存存活，并利用这些自动化驱动长时间运行的流程。 不同模型在不同数据上训练，并针对不同目标进行优化，这意味着每个模型在某些方面会略好或略差。 本地 Codex 还允许你将其他提供商引入应用。这意味着你可以在熟悉的 Codex 体验中，试验成本更低的开源权重模型，如 Kimi K2.7 Code，或具有不同优势的模型，如擅长长程推理和编码的 GLM-5.2。 然后你可以将这些外部模型用于有边界的子智能体工作，帮助降低成本或利用每个模型的不同优势。 一个重要细节：这是通过 Codex 配置和自定义智能体文件完成的，而不是通过简单的应用内模型选择器。Codex 支持 Ollama 和 LM Studio 等本地提供商，以及兼容 Responses 的自定义提供商。 订阅用量限额相当慷慨，但随着 AI 智能体对更多人变得更有用，许多人正在将限额推到远超单个订阅所能提供的程度。 而且，即使你有钱可烧，也并非每个“前沿”模型都处于所有用例的前沿。通常，一个小模型可以在少数基准测试上彻底碾压由世界最佳模型组成的联盟。 速度是一个重要的开关。在白天与智能体交互时，高 tok/

    匹配字段正文

    #a6-editorial#教程/实践#推理#部署/工程

星期六

  1. Together AI Blog精选

    Kimi K3 开发者完整指南：2.8 万亿参数、1M 上下文与 Together AI 用法

    Together AI 发布 Kimi K3 开发者指南，介绍 Moonshot AI 这款 2.8 万亿参数开源权重模型，采用 KDA 混合线性注意力、Attention Residuals 与 Stable LatentMoE（896 个专家激活 16 个），支持 1M token 上下文和原生视觉输入。指南给出 OpenAI 兼容 API 的 reasoning_effort（low/high/max，默认 max）、流式 reasoning_content、结构化输出、工具调用与动态工具加载等用法，并说明采样参数固定为 temperature 1.0、top_p 0.95。定价为每 1M token 缓存命中输入 $0.30、缓存未命中输入 $3.00、输出 $15.00，思考 token 按输出计费。

    ken，并将它们转发到后续轮次。 去掉 reasoning content 这一行，同样的调用每次都会用一个新编造的数字来回答。在真实代码中，你从不手写轨迹；你重放模型产生的内容，也就是工具循环中的那一行代码： Kimi K3 定价 Kimi K3 按 token 计价，并设有缓存命中输入档位，以奖励稳定的前缀： 需要内化的两个成本方面： 缓存是你的杠杆。在编码工作负载中命中率超过 90% 时，有效输入成本会趋近于 \$0.30 的下限，但前提是你保持前缀稳定。重构较早的消息或工具声明会破坏它；推理按输出计费，并且可以调节。思考 token 是输出 token，价格为 \$15/M，且思考无法完全禁用，但 reasoning effort 现在有三个级别。max 仍是默认值，因此从不设置该字段的流水线会在每次调用时支付最高推理费用，包括那些微不足道的调用 Kimi K3 基准测试 在整个评估套件中，Kimi K3 都取得了前沿水平的成绩。它在多项编码和智能体基准（SWE Marathon、BrowseComp、DeepSearchQA、AutomationBench、OmniDocBe

    匹配字段正文

    #company#教程/实践#部署/工程#Agent