ElevenLabs 详解 RAG 的核心概念与现代 AI 应用
RAG 通过在模型回答前检索外部信息并加入上下文，让 LLM 使用训练数据之外的最新、私有或大规模知识。其流程包括知识分块与嵌入、查询处理、段落检索、上下文注入和答案生成，但检索质量、来源质量及模型误读仍可能造成错误。ElevenLabs 还介绍了 ElevenAgents 的查询改写与模型竞速架构，称其将 RAG 中位延迟从 326 ms 降至 155 ms。
匹配字段标题、摘要、正文
←搜索结果
搜索“RAG”
使用 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 在一处完成录制、训练和部署
Strands Robots 将 LeRobotDataset 的录制、同步、流式训练和实体机器人部署整合到同一 Robot() 工作流，并让新演示数据返回同一 Storage Bucket。Xet 按字节去重，仅上传变化的数据块；stream_dataset() 可从 Hub 逐帧读取远程 Parquet 与 MP4 分片，无需完整下载。Bucket 仅支持流式读取且不保留修订记录，真实部署还需隔离数据与凭据、限制智能体权限并只加载可信组织的模型。
匹配字段标题、摘要、正文
机器人数据训练部署闭环教程
Strands Robots、LeRobot与Hugging Face Storage Buckets 打通 机器人数据录制、存储、流式训练与部署闭环
English translation is being prepared.
匹配字段摘要
如何用 LLM 作为裁判评估 RAG 系统
Mistral AI 介绍了如何结合“LLM 作为裁判”、RAG Triad 与结构化输出，对 RAG 系统的检索和生成环节进行端到端评估。RAG Triad 分别衡量上下文相关性、事实依据性和答案相关性；结构化输出则通过明确的评分标准与 Schema，生成便于机器读取和汇总的评估结果。
匹配字段标题、摘要、正文
Mistral介绍RAG评估方法
Mistral AI 介绍 利用结构化输出和LLM裁判评估RAG的方法
English translation is being prepared.
匹配字段标题
Anthropic 推出 Contextual Retrieval，将 RAG 检索失败率降低 49%
Anthropic 提出 Contextual Retrieval 方法，通过 Contextual Embeddings 和 Contextual BM25 两项子技术，将 top-20 检索失败率降低 49%（5.7% 降至 2.9%），叠加 reranking 后降低 67%（5.7% 降至 1.9%）。该方法用 Claude 3 Haiku 为每个分块生成 50-100 token 的上下文说明，再拼接到分块前进行嵌入和建立 BM25 索引，配合 prompt caching 时生成上下文化分块的一次性成本为每百万文档 token 1.02 美元。Anthropic 同时提供了可直接部署的 cookbook。
匹配字段标题、正文
实测 Windows 11 Prism 二进制翻译：x86-64 程序在 Arm 上的性能损失
Chips and Cheese 作者 Chester Lam 用 Geekbench 7 实测 Windows 11 的 Prism 二进制翻译，发现 x86-64 程序经翻译后执行的 aarch64 指令数约为原生两倍，各核心均出现数代性能损失。测试在 Snapdragon X2 Elite Extreme X2E-96-100 笔记本和 Azure 上的 Neoverse N1、N2 实例上进行，Snapdragon 的 E-Core 与 P-Core 即使承担翻译损失仍分别超过 Neoverse N1 和 N2。作者还查看 C:\Windows\XtaCache 中的翻译代码，指出 Prism 会做不必要的寄存器溢出，并把 256 位 AVX 运算拆成多条 128 位 NEON 指令。
匹配字段摘要、正文
Figma 如何用智能体守护内部系统安全
Figma 安全工程团队公开了其内部安全智能体系统，用 RAG 检索历史告警与调查上下文，再由 Tines 上的智能体调用 Okta、Wiz、Slack、Panther 等工具完成告警分诊，并可查询安全数据湖、提交修复 PR。团队称复杂告警的解决时间缩短约 70%，值班呼叫量因 AI 驱动的严重度降级减少 20%，端点软件审批请求减少 25%。系统将记忆分为案例记忆、引导记忆和过程记忆三层，并用确定性护栏限制智能体行为，例如所有 PR 自动设为草稿。
匹配字段摘要、正文
大规模推理基准测试：编码智能体
Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。
来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。 · Together Inference Engine delivered 31% higher TPS than TensorRT-LLM on a Kimi K2.5 coding-agent workload using the same 4× NVIDIA B200 hardware, while maintaining roughly 2× better TTFT at saturation. The benchmark used prompts of about 45k–200k tokens and outputs averaging 450 tokens; SGLang required 8× B200 because its TP4 configuration ran out of memory. The gains came from ThunderMLA, custom kernel rewrites, and end-to-end profiling on production traffic.
匹配字段摘要、正文
服务 DeepSeek-V4：为何百万 Token 上下文是推理系统问题
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。 · DeepSeek-V4 supports a 1M-token context window by compressing context before KV storage with a hybrid CSA, HCA, and SWA attention design, but its realized efficiency depends on inference-engine cache management. After adjusting the SWA cache policy on NVIDIA HGX B200, Together AI increased single-node KV-cache capacity from roughly 1.2M tokens to 3.7M tokens. Long-context, decode-heavy workloads bene
匹配字段摘要、正文
容量无冲突：面向 AI 原生团队的多租户 GPU 集群设计指南
Together AI 介绍了多租户 GPU 集群的设计方法：在底层集中管理计算、存储和网络资源，同时为各团队提供专用 GPU 节点、存储卷及独立凭据。平台通过硬配额、预约防冲突和按需扩容减少闲置与跨团队干扰，并支持 Kubernetes、Slurm、CUDA 驱动和存储配置按工作负载选择。节点交付前还应通过 DCGM、GPU burn、NCCL 和 NVBandwidth 测试，故障时执行重新配置或集群迁移。
Slurm、CUDA 驱动和存储配置按工作负载选择。节点交付前还应通过 DCGM、GPU burn、NCCL 和 NVBandwidth 测试，故障时执行重新配置或集群迁移。 · Together AI outlines a multi-tenant GPU cluster design that centrally manages compute, storage, and networking while giving each team dedicated GPU nodes, storage volumes, and separate credentials. Hard quotas, conflict-free reservations, and automatic bursting to on-demand capacity reduce idle resources and cross-team interference, while Kubernetes, Slurm, CUDA drivers, and storage can be selected by workl
匹配字段摘要、正文
Claude Code 团队如何从智能体视角设计工具
Anthropic 的 Claude Code 团队介绍了如何从模型视角设计、测试并持续调整智能体工具。团队用 AskUserQuestion 取代不稳定的文本格式方案，以 Task 替换限制模型协作的 TodoWrite，并从预索引 RAG 转向由 Claude 主动搜索代码库、通过技能渐进获取上下文。Claude Code 目前约有 20 个工具，团队还用独立子智能体检索产品文档，以保持主智能体上下文简洁。
匹配字段摘要、正文
Replit 如何用虚拟时钟把任意网页渲染成确定性视频
Replit 介绍其视频渲染引擎的实现：向页面注入约 1200 行 JavaScript，替换 setTimeout、setInterval、requestAnimationFrame、Date 和 performance.now() 等时间 API，让时间只在渲染时按 1000/fps 毫秒推进，从而把任意网页逐帧渲染成 MP4。由于页面内容不受控且视频由 AI 智能体生成，团队没有采用 Remotion，而是从外部对任意网页施加确定性。音频方面通过 monkey-patch Web Audio API 和 HTMLMediaElement 拦截播放意图，再由服务端 FFmpeg 混音；视频元素则经服务端转码为 fragmented MP4、mp4box.js 解复用、WebCodecs 解码后绘制到 canvas。该实现受开源项目 WebVideoCreator 启发，团队计划将其开源。
匹配字段摘要、正文
Modal 用 Pipecat 和开源模型实现一秒内语音到语音延迟
Modal 工程博客介绍了如何用 Modal、开源框架 Pipecat 和开源权重模型搭建语音 AI 聊天机器人，在客户端与容器就近部署时实现约一秒的中位语音到语音延迟。方案采用 Parakeet-tdt-v3 做语音转文字、Qwen3-4B-Instruct-2507 配合 vLLM 做 LLM 推理、Kokoro 做语音合成，并用 ChromaDB 与 all-minilm-l6-v2 完成 RAG 检索。作者还分享了用 Modal Tunnels 绕过输入平面降低网络延迟、通过区域固定和独立自动扩缩容控制成本的做法，代码已在 GitHub 仓库公开。
匹配字段摘要、正文
vLLM 详解 torch.compile 的工作原理与集成方式
vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。
匹配字段摘要、正文
ChatGPT 记忆与聊天历史功能如何运作：一次系统提示词实测
Johann Rehberger 用 ChatGPT o3 和两个独立账号实测了 ChatGPT 的记忆与聊天历史功能，发现系统提示词中新增了 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topics Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata 等区块。其中 Recent Conversation Content 保存约 40 条最近对话，包含时间戳、对话摘要和用户输入的全部消息，但不含 ChatGPT 的回复；作者尝试用一年前的特定话题提问，ChatGPT 无法检索到这些历史对话，说明该功能并非全文搜索或 RAG 检索。作者还指出用户无法查看 ChatGPT 具体存储了哪些信息，认为应提高透明度并允许删除条目。
匹配字段摘要、正文
Mistral介绍RAG评估方法
匹配字段标题
Figma分享用AI Agent保障内部系统安全实践
2026年7月29日,Figma安全工程团队公开其内部安全智能体系统,分享用AI Agent保障内部系统安全的实践。该系统用RAG检索历史告警与调查上下文,再由Tines上的智能体调用Okta、Wiz、Slack、Panther等工具完成告警分诊,并可查询安全数据湖、提交修复PR。团队称复杂告警的解决时间缩短约70%,值班呼叫量因AI驱动的严重度降级减少20%,端点软件审批请求减少25%。系统将记忆分为案例记忆、引导记忆和过程记忆三层,并用确定性护栏限制智能体行为,例如所有PR自动设为草稿。后续报道称,该智能体将告警从发现到解决的时间缩短了71%,并改变了值班工程师的工作方式。
匹配字段摘要
Claude Code智能体工具演进
2026年4月10日,Anthropic的Claude Code团队分享智能体工具的设计、测试与持续调整实践。团队以AskUserQuestion取代不稳定的文本格式方案,以Task替换会限制模型协作的TodoWrite;代码检索方式也从预索引RAG转向由Claude主动搜索代码库,并通过技能渐进获取上下文。目前Claude Code约有20个工具,另由独立子智能体检索产品文档,以保持主智能体上下文简洁。
匹配字段摘要
Chester Lam评测Prism二进制翻译性能损失
Chips and Cheese 作者 Chester Lam 于 2026 年 9 月 10 日发布评测,用 Geekbench 7 实测 Windows 11 的 Prism 二进制翻译,考察 x86-64 程序在 Arm 平台上的性能损失。测试显示,x86-64 程序经翻译后执行的 aarch64 指令数约为原生两倍,各核心均出现数代性能损失。测试在 Snapdragon X2 Elite Extreme X2E-96-100 笔记本以及 Azure 上的 Neoverse N1、N2 实例上进行;Snapdragon 的 E-Core 与 P-Core 即使承担翻译损失,仍分别超过 Neoverse N1 和 N2。作者还查看 C:\Windows\XtaCache 中的翻译代码,指出 Prism 会做不必要的寄存器溢出,并把 256 位 AVX 运算拆成多条 128 位 NEON 指令。目前该评测为单一来源报道,尚无后续发展。
匹配字段摘要