Together AI 发布 Kimi K3 开发者指南，介绍 Moonshot AI 这款 2.8 万亿参数开源权重模型，采用 KDA 混合线性注意力、Attention Residuals 与 Stable LatentMoE（896 个专家激活 16 个），支持 1M token 上下文和原生视觉输入。指南给出 OpenAI 兼容 API 的 reasoning_effort（low/high/max，默认 max）、流式 reasoning_content、结构化输出、工具调用与动态工具加载等用法，并说明采样参数固定为 temperature 1.0、top_p 0.95。定价为每 1M token 缓存命中输入 $0.30、缓存未命中输入 $3.00、输出 $15.00，思考 token 按输出计费。
#教程/实践#部署/工程#Agent
NVIDIA AI Red Team 在六个月内评估了多个 AI 智能体，归纳出四类反复出现的失效模式：缺少访问控制、工具允许任意代码执行、缺少网络出口控制、密钥以明文暴露。团队指出基于提示词的护栏和 LLM-as-a-judge 模式常被社会工程、渐进式操纵和恶意包安装等合法工作流绕过，有效防护需要模型控制面之外的确定性控制，包括严格访问控制、Docker 或 NVIDIA OpenShell 等加固沙箱、默认拒绝的网络出口以及通过专用密钥管理器让密钥远离智能体。
#安全/对齐#Agent#部署/工程
张小珺建议将本集与上一集对话昇腾廖恒博士的内容一同观看，以理解贯通不同层级的 co-design 知识。这些内容可能为当前的模型训练提供启发。
This episode dives systematically into the co-design of models and infrastructure. Kaichao You shared a vivid analogy: comparing tokens to electricity. Hardware represents natural resources such as wind and water power. Models are power generators, including wind turbines and hydroelectric generators. The inference engine acts as the power grid system. The depth of co-design dictates power generation efficiency. For areas with rapid water currents, what generator design can best harness this energy? You Kaichao: vLLM, Open-Source Infra, Model Co-Design & Journey from Com... https://t.co/V5SYBtNeYj 来自 @YouTube
#教程/实践#数据/训练
Fireworks AI 在 Qwen3.5-9B 上用 SFT 对比 LoRA 与 FullFT，通过 placement、寄存器分配和 Nexa VM 三个可自动校验的合成任务，检验数据覆盖、优化配置和 rank 各自能解释多少质量差距。结论是多数场景下差距来自训练数据和学习率而非适配器容量，例如把数据扩大 10 倍使 LoRA 有效率从 34.33% 升到 68.33%，学习率调优又补上 6.34 个百分点；只有在寄存器分配任务上提高 rank 才明显有效。作者建议先用覆盖度、训练配方和 rank 三项测试排查，再决定是否承担 FullFT 的额外训练与独立部署成本。
#教程/实践#数据/训练#开源生态
Figma 安全工程团队公开了其内部安全智能体系统，用 RAG 检索历史告警与调查上下文，再由 Tines 上的智能体调用 Okta、Wiz、Slack、Panther 等工具完成告警分诊，并可查询安全数据湖、提交修复 PR。团队称复杂告警的解决时间缩短约 70%，值班呼叫量因 AI 驱动的严重度降级减少 20%，端点软件审批请求减少 25%。系统将记忆分为案例记忆、引导记忆和过程记忆三层，并用确定性护栏限制智能体行为，例如所有 PR 自动设为草稿。
#安全/对齐#Agent#RAG
NVIDIA 发布教程，介绍如何用 StarCoder2-7B NIM 在自有 GPU 上自托管编码助手，并在其前面部署 NeMo Guardrails 拦截认证、支付、加密等人工专属路径的请求。方案还包括带 ai-assisted 标签的 CI 校验门，运行单元测试、SAST、密钥扫描、幻觉依赖检测和许可证检查，以及通过 commit trailer 追踪 AI 辅助改动，并用 Prometheus 与 Grafana 对比 AI 辅助与基线的缺陷逃逸率、回滚频率和评审延迟。
#教程/实践#部署/工程#开源生态
Fireworks 发布教程，介绍如何用对比学习把 Qwen3-Embedding-8B 微调成领域嵌入模型，训练约 150 步即可完成。在 LegalBench 法律引用检索上 nDCG@10 提升 36%，全判决案件匹配约提升 2 倍；LoRA rank-32 与全参微调差距约 1 个点，训练窗口从 512 扩到 8k–16k 时 nDCG 和 MRR 接近翻倍。Fireworks Training 同时预览 embedding、cos_similarity_matrix、contrastive_loss 三种模式，分别权衡损失自定义自由度与训练效率。
#教程/实践#RAG#数据/训练
Trail of Bits 分享了在 Patch the Planet 项目中用 Codex 的 /goal 功能挖掘开源软件漏洞的三条经验：让 Codex 自己写目标提示词、只定义结果不规定路径、每个智能体只分配一个目标。团队把威胁模型文件作为目标提示词的核心输入，并指出把找漏洞和覆盖率放进同一个提示词会导致优化不均，改为先让 Codex 找出五个最有希望的攻击面，再为每个攻击面单独开一个 /goal 会话。工程师 Kevin Valerio 基于 /goal 搭建了针对 Rust 编译器的自动化变体分析流水线，所有提交给 Patch the Planet 的 Rust 漏洞都出自该系统。
#教程/实践#Agent#编码
Cartesia 发布技术博客，系统拆解 TTS 模型评测的多维挑战，指出 WER 饱和、上下文正确性、文本归一化、自动质量分数局限、人工评测偏差、长音频与流式失败模式、领域差异及多语言难点。文章强调 TTS 质量不是单一维度，需按产品体验构建多维评测，并介绍了 Cartesia 在低延迟、清晰度、自然表达、上下文正确性、一致性和流式鲁棒性上的优化方向。
#教程/实践#语音
Together AI 在 DeepSWE 上对比 Kimi K3 与 GPT-5.6 Sol：Sol 以 72.7% 拿下 pass@1，Kimi K3 以 89.4% 拿下 pass@4，且每次 rollout 成本 4.65 美元对 8.37 美元。两者逐任务相关性仅 0.46、失败方式不同，先用 Kimi K3 再在测试套件拒绝时升级到 Sol 的级联可达约 85.6%，高于任一单模型和完美一次性路由的 83.4%。两者合计覆盖 113 个任务中的 108 个，剩余 5 个需引入第三个模型。
#评测/基准#编码#Agent
Anthropic 总结了面向 Claude 5 代模型和 Claude Code 的上下文工程方法，称其删减超过 80% 的 Claude Code 系统提示词后，编码评测未出现可测量的损失。新方法强调让模型运用判断、设计更具表达力的工具接口，并通过 Skills、延迟加载工具和文件树渐进披露上下文。Claude Code 还提供 claude doctor，可用 /doctor 精简 Skills 和 CLAUDE.md 文件。
#教程/实践#Agent#编码
Together AI 在 DeepSWE 基准上对比 Kimi K3 与 Claude Fable 5：Fable 5 在 xhigh 设置下 pass@1 为 69.9%，Kimi K3 max 为 68.5%，但 Kimi K3 在 pass@2（82.0 对 80.2）和 pass@4（89.4% 对 88.5%）上反超。成本方面，Kimi K3 每次 rollout 为 4.65 美元，Fable 5 为 13.41 美元，每 100 美元分别完成 14.7 与 5.3 个任务。Kimi K3 是 Moonshot AI 的开源权重模型，可自托管或通过推理服务商部署。
#评测/基准#编码#开源生态
文章解释了大语言模型如何通过不同推理力度，在回答质量、token 消耗、成本和延迟之间进行权衡。其实现通常结合混合 SFT 数据、按模式调整的 RL 奖励、长度惩罚、独立专家模型或硬性 token 预算；DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3 和 Inkling 采用了不同组合。模型规模与推理力度是两套独立控制方式，较小模型提高推理力度有时可达到与较大模型降低推理力度相近的基准成绩。
#教程/实践#推理#数据/训练
本文通过 PyTorch Profiler 对比朴素注意力与 SDPA 的 math、efficient、flash 和 cuDNN 后端，揭示不同实现的执行开销。原地 masked_fill_ 可在无梯度前向中消除一次 Memcpy；math 后端因 FP32 转换、重复构造掩码等操作启动 20 个 GPU kernel，慢 3.7 倍，而其余后端将计算融合为单个 kernel。测试形状下 FlashAttention-2 最快，其低占用率源于大量使用片上资源，并不代表优化不佳。
#教程/实践#推理#部署/工程
星海图 Galaxea 分享了一个与 Mistral AI 相关的 R1 Pro 用例，并将其描述为具身智能领域的新突破。材料未提供该用例的具体功能、测试结果或可用性信息。
#产品更新#具身智能
Photoroom 为 7B 文生图模型 PRX 构建了兼顾规模与多样性的预训练数据管线，以 Lance 完成探索和整理，再转换为 MDS 供分布式训练。团队用 Qwen3-VL-8B 重新生成详细图像描述，并采用 quality 92 的 JPEG、分辨率与宽高比分桶。文本分类和感知哈希通过跳过列表过滤文本密集、NSFW 及近重复样本，无需重写数据集。
#教程/实践#图像生成#数据/训练
Trail of Bits 在 Patch the Planet 项目中用 Codex 的 /goal 命令驱动 GPT-5.5-Cyber，一天内为 zlib 搭建了覆盖十余个入口的模糊测试流程，包括 harness、sanitizer 构建和种子，并发现多个待协调披露的漏洞。模型自行判断静态审查价值有限，转而构建动态测试工具，并主动放弃一个在真实条件下难以触发的 inflateBack 空回调崩溃。作者认为，定制化模糊测试的专家门槛正在消失，攻防双方都能更快发现漏洞。
#安全/对齐#Agent#编码
LMSYS 发布博客，介绍 SGLang 智能体辅助开发的初步探索，把 CUDA 崩溃调试、内核集成、测试、CI、性能剖析、生产排障等仓库级流程写成可执行的 SKILL.md 与脚本。文中给出 llm-torch-profiler-analysis 与 llm-pipeline-analysis 两个剖析技能，前者输出 kernel、overlap、fuse 三类固定表格，后者按前向传播与层拆分 trace。基于 KDA-Pilot 的 10 个 B200 扩散内核任务中，多数在提取的生产行上取得 1.1341x 至 2.7499x 的 wall-geomean 加速，截至 2026 年 6 月 27 日已有三个优化合入 SGLang 上游。
#教程/实践#Agent#部署/工程
ElevenLabs 研究工程师 Angelos Perivolaropoulos 介绍了如何通过标准工程优化，将语音推理的单 GPU 服务能力从 1 名用户提升至 70 名，架构级改造则可达到约 140 名。连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache 是主要手段，其中 KV cache 缩小 2.5x 后，吞吐量从 28 名用户增至 70 名。各项技术会引入延迟、内存上限或质量损失，实际选择取决于具体工作负载。
#教程/实践#语音#部署/工程
Sebastian Raschka 演示了如何用 Ollama、本地开放权重 LLM 和 Qwen-Code 搭建可读写文件、运行命令并验证修改的本地编码智能体。文章还介绍了安全审计、性能测试及 Codex、Claude Code 的接入方式；其小规模评测中，Codex 使用更少 token，而 Claude Code 在部分模型组合上取得更高任务成功率。
#教程/实践#Agent#编码