←搜索结果

搜索“RAG”

按匹配度 · 共 3406 条结果 清除搜索

星期一

  1. LMSYS Blog精选

    SGLang 集成 DSpark 投机解码，支持 Qwen3 与 DeepSeek-V4

    LMSYS 在 SGLang 中集成 DSpark 投机解码，支持 Qwen3 等稠密模型和 DeepSeek-V4 等稀疏模型，相关实现见 sgl-project/sglang#30261。DSpark 用半自回归块草稿器加置信度头，按每个请求的置信度动态决定验证长度，避免验证不太可能被接受的 token。官方在 DeepSeek-V4-Flash、H200、DP4 上对比非投机与 MTP 基线，并给出 ragged verify 下的完整 CUDA graph、零开销调度和成本表分析等工程细节。

    Aggregate throughput vs. per-user decode speed on H200 dp4, one curve per arm: non-spec floor, MTP, and DSpark. Right-and-up is better; each marker is a batch size averaged over three rounds.

    LMSYS 在 SGLang 中集成 DSpark 投机解码，支持 Qwen3 等稠密模型和 DeepSeek-V4 等稀疏模型，相关实现见 sgl-project/sglang 30261。DSpark 用半自回归块草稿器加置信度头，按每个请求的置信度动态决定验证长度，避免验证不太可能被接受的 token。官方在 DeepSeek-V4-Flash、H200、DP4 上对比非投机与 MTP 基线，并给出 ragged verify 下的完整 CUDA graph、零开销调度和成本表分析等工程细节。

    匹配字段摘要、正文

    #company#开源/仓库#推理#部署/工程

星期二

  1. Hugging Face

    为什么专业化不可避免

    作者主张，范围明确、任务有限的 AI 应采用专业化模型或智能体，以更有效地利用参数，并可能减少模型幻觉与 Token 消耗。开放式任务更适合覆盖广泛但深度较浅的通用模型。专业知识收益何时触底目前难以衡量，作者希望借助机制可解释性进一步研究。

    可解释性进一步研究。 · The author argues that AI systems with a defined scope and a limited set of tasks should use specialized models or agents to employ parameters more efficiently and potentially reduce hallucinations and Token consumption. Open-ended tasks are better suited to general-purpose models with broad but shallower coverage. The point at which additional domain knowledge stops paying off remains difficult to measure, and the author hopes to investigate it through mechanistic interpretability.

    匹配字段摘要、正文

    #lab#大佬观点#Agent#数据/训练
  2. Together AI Blog

    Together AI 在 ICML 2026 发布九篇全栈前沿研究论文

    Together AI 在 ICML 2026 发表九篇论文，覆盖从智能体到 GPU kernel 的全栈研究。其中 ThunderAgent 为智能体推理带来 1.5–3.6 倍吞吐提升，三行代码即可接入；TTT-Discover 用开源 gpt-oss-120b 在数学、GPU kernel、竞赛算法和生物学四个领域取得 SOTA 发现，单题成本约 500 美元。Aurora 自适应投机解码已作为 ATLAS speculator 落地生产。

    匹配字段摘要、正文

    #company#论文/研究#Agent#推理

星期三

  1. Together AI Blog精选

    Kimi K2.7 Code 对比 Claude Fable 5：落地页生成成本低 94%

    Together AI 用 Kimi K2.7 Code 和 Claude Fable 5 分别生成 12 个落地页，Kimi 平均成本低约 94%，多数页面的质量评分仅相差数分。加入通过自定义 MCP server 提供的设计截图和视觉参考后，Kimi 的页面层级、字体和构图有所改善；评测由 GPT-5.5 按统一标准对截图与源码打分。

    相差数分。加入通过自定义 MCP server 提供的设计截图和视觉参考后，Kimi 的页面层级、字体和构图有所改善；评测由 GPT-5.5 按统一标准对截图与源码打分。 · Together AI used Kimi K2.7 Code and Claude Fable 5 to generate 12 landing pages each, finding that Kimi cost about 94% less on average while scoring within a few points on nearly every page. After receiving design screenshots and visual references through a custom MCP server, Kimi produced stronger hierarchy, typography, and composition; GPT-5.5 evaluated the screenshots and source code using a shared rubric.

    匹配字段摘要、正文

    #company#评测/基准#编码#多模态

星期四

  1. Replit Blog

    Replit Enterprise 推出自助购买：从注册到开通 SSO 不到一小时

    Replit 上线自助式 Enterprise 方案，注册到开通 SSO 企业账号的耗时比多数销售电话还短，默认不限席位，承诺金额全部转为可用于 Replit Agent、Deployments、Storage 的共享 credits。用户可用信用卡或 ACH 即时结账，付款确认后工作区立即就绪，并可在引导阶段配置 SSO（SAML）、SCIM 目录同步、RBAC 和审计日志，SOC 2 合规与 Enterprise 专属连接器开箱即用。该方案面向超出 Pro 15 席位上限的团队，年付预付；支出超过 $200K 或需定制合同者仍需联系销售。

    Replit Enterprise, Now Self-Serve — cover image

    匹配字段摘要、正文

    #company#产品更新#部署/工程#OpenAI

星期二

  1. Together AI Blog

    大规模推理基准测试：编码智能体

    Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。

    Bar chart titled Coding agents with pink and orange bars on dark background with code snippets behind.

    来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。 · Together Inference Engine delivered 31% higher TPS than TensorRT-LLM on a Kimi K2.5 coding-agent workload using the same 4× NVIDIA B200 hardware, while maintaining roughly 2× better TTFT at saturation. The benchmark used prompts of about 45k–200k tokens and outputs averaging 450 tokens; SGLang required 8× B200 because its TP4 configuration ran out of memory. The gains came from ThunderMLA, custom kernel rewrites, and end-to-end profiling on production traffic.

    匹配字段摘要、正文

    #company#评测/基准#编码#部署/工程

星期一

  1. Together AI Blog精选

    服务 DeepSeek-V4：为何百万 Token 上下文是推理系统问题

    DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。

    Three diagrams comparing CSA, HCA, and SWA methods with different compression and KV token reads.

    整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。 · DeepSeek-V4 supports a 1M-token context window by compressing context before KV storage with a hybrid CSA, HCA, and SWA attention design, but its realized efficiency depends on inference-engine cache management. After adjusting the SWA cache policy on NVIDIA HGX B200, Together AI increased single-node KV-cache capacity from roughly 1.2M tokens to 3.7M tokens. Long-context, decode-heavy workloads bene

    匹配字段摘要、正文

    #company#教程/实践#DeepSeek#部署/工程

星期一

  1. Modal 官方工程博客

    Modal 用一个 Python 字典将 SGLang 多模态推理性能提升超 10%

    Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时，发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda，造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache，避免重复打开共享内存句柄，使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。

    Diagram of processes in SGLang, identifying the scheduler process as the key component that might block the GPU.

    Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时，发现 SGLang 调度器在 hash feature 中反复调用 torch.UntypedStorage. new shared cuda，造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache，避免重复打开共享内存句柄，使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。

    匹配字段摘要、正文

    #company#教程/实践#部署/工程#多模态

星期二

  1. Together AI Blog

    容量无冲突：面向 AI 原生团队的多租户 GPU 集群设计指南

    Together AI 介绍了多租户 GPU 集群的设计方法：在底层集中管理计算、存储和网络资源，同时为各团队提供专用 GPU 节点、存储卷及独立凭据。平台通过硬配额、预约防冲突和按需扩容减少闲置与跨团队干扰，并支持 Kubernetes、Slurm、CUDA 驱动和存储配置按工作负载选择。节点交付前还应通过 DCGM、GPU burn、NCCL 和 NVBandwidth 测试，故障时执行重新配置或集群迁移。

    Slurm、CUDA 驱动和存储配置按工作负载选择。节点交付前还应通过 DCGM、GPU burn、NCCL 和 NVBandwidth 测试，故障时执行重新配置或集群迁移。 · Together AI outlines a multi-tenant GPU cluster design that centrally manages compute, storage, and networking while giving each team dedicated GPU nodes, storage volumes, and separate credentials. Hard quotas, conflict-free reservations, and automatic bursting to on-demand capacity reduce idle resources and cross-team interference, while Kubernetes, Slurm, CUDA drivers, and storage can be selected by workl

    匹配字段摘要、正文

    #company#教程/实践#部署/工程#数据/训练

星期二

  1. Mira Murati

    Mira Murati 宣布 Workshop Labs 团队加入 Thinking Machines

    Mira Murati 宣布 Luke Drago 与 Rudolf 两位 Workshop Labs 创始人加入 Thinking Machines，继续推进“让 AI 保持人类未来”的使命。两人创办 Workshop Labs 的目标是构建让人类在强大 AI 时代依然重要的技术，加入后将在 Thinking Machines 继续这一方向。Mira Murati 提到从 Tinker 到研究资助再到前沿研究，公司所有工作都服务于同一使命。

    匹配字段摘要、正文

    #analysis#行业动态#OpenAI

星期五

  1. Anthropic：Claude.dev 开发者博客精选

    Claude Code 团队如何从智能体视角设计工具

    Anthropic 的 Claude Code 团队介绍了如何从模型视角设计、测试并持续调整智能体工具。团队用 AskUserQuestion 取代不稳定的文本格式方案，以 Task 替换限制模型协作的 TodoWrite，并从预索引 RAG 转向由 Claude 主动搜索代码库、通过技能渐进获取上下文。Claude Code 目前约有 20 个工具，团队还用独立子智能体检索产品文档，以保持主智能体上下文简洁。

    Diagram titled "Finding the sweet spot": a spectrum from "no structure" to "too rigid". Modified markdown output sits near "no structure" (free but messy, hard to format). An ExitPlanTool parameter sits near "too rigid" (the plan is already formed, so the questions come too late). The AskUserQuestion tool is highlighted in the middle (structured, composable, with a clear UI surface).

    匹配字段摘要、正文

    #ai-news#教程/实践#Agent#编码

星期二

  1. Together AI Blog

    什么是 AI 原生云？

    Together AI 将 AI 原生云定义为围绕 AI 垂直整合的云平台，统一覆盖 GPU、互连、存储、编排、训练、微调和推理。它应支持数千块 GPU、持续集成前沿研究成果，并在突发需求下兼顾性能、成本与可靠性，让团队无需重写代码即可从本地实验扩展到大规模集群。

    GPU、互连、存储、编排、训练、微调和推理。它应支持数千块 GPU、持续集成前沿研究成果，并在突发需求下兼顾性能、成本与可靠性，让团队无需重写代码即可从本地实验扩展到大规模集群。 · Together AI defines an AI Native Cloud as a vertically integrated platform spanning GPUs, interconnects, storage, orchestration, training, fine-tuning, and inference. It should support thousands of GPUs, continuously incorporate frontier research, and balance performance, cost, and reliability under bursty demand, allowing teams to scale from laptop experiments to massive clusters without rewriting code.

    匹配字段摘要、正文

    #company#大佬观点#部署/工程

星期二

  1. Google Research

    Google 用高温超导问题测试六款 LLM 的研究能力

    Google Research 与康奈尔大学合作，以高温超导为案例测试 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统六款 LLM 回答专家级物理问题的能力。由 12 位国际专家出题并评分，结果显示 NotebookLM 和自建 RAG 系统这两套基于受控来源的封闭系统表现最佳，所有系统均有改进空间。

    Testing LLMs on superconductivity research questions

    匹配字段摘要、正文

    #lab#论文/研究#评测/基准#数据/训练

星期五

  1. Replit Blog

    Replit 如何用虚拟时钟把任意网页渲染成确定性视频

    Replit 介绍其视频渲染引擎的实现：向页面注入约 1200 行 JavaScript，替换 setTimeout、setInterval、requestAnimationFrame、Date 和 performance.now() 等时间 API，让时间只在渲染时按 1000/fps 毫秒推进，从而把任意网页逐帧渲染成 MP4。由于页面内容不受控且视频由 AI 智能体生成，团队没有采用 Remotion，而是从外部对任意网页施加确定性。音频方面通过 monkey-patch Web Audio API 和 HTMLMediaElement 拦截播放意图，再由服务端 FFmpeg 混音；视频元素则经服务端转码为 fragmented MP4、mp4box.js 解复用、WebCodecs 解码后绘制到 canvas。该实现受开源项目 WebVideoCreator 启发，团队计划将其开源。

    We Built a Video Rendering Engine by Lying to the Browser About What Time It Is — cover image

    匹配字段摘要、正文

    #company#教程/实践#视频#部署/工程

星期六

  1. Sarvam AI Blog

    Sarvam AI 发布 Sarvam Edge 端侧模型系列

    Sarvam AI 发布 Sarvam Edge，面向设备端推理推出语音识别、语音合成和多语言翻译模型。语音识别为 74M 参数的统一多语言模型，支持 10 种印度语言，端侧体积约 294MB（FP16），在 Snapdragon 8 Gen 3 上首 token 延迟低于 300 毫秒；语音合成 24M 参数、约 60MB，支持 10 种语言和 8 个多语言音色，首音频延迟 260 毫秒；翻译模型约 150M 参数、约 334MB，覆盖 11 种语言共 110 个语言对，首 token 约 200 毫秒。官方称该系列与全球设备厂商合作开发，推理完全在本地完成，无按次云端成本。

    Announcing Sarvam Edge

    匹配字段摘要、正文

    #company#产品更新#语音#端侧

星期二

  1. Modal 官方工程博客

    Modal 用 Pipecat 和开源模型实现一秒内语音到语音延迟

    Modal 工程博客介绍了如何用 Modal、开源框架 Pipecat 和开源权重模型搭建语音 AI 聊天机器人，在客户端与容器就近部署时实现约一秒的中位语音到语音延迟。方案采用 Parakeet-tdt-v3 做语音转文字、Qwen3-4B-Instruct-2507 配合 vLLM 做 LLM 推理、Kokoro 做语音合成，并用 ChromaDB 与 all-minilm-l6-v2 完成 RAG 检索。作者还分享了用 Modal Tunnels 绕过输入平面降低网络延迟、通过区域固定和独立自动扩缩容控制成本的做法，代码已在 GitHub 仓库公开。

    Diagram depicting a person speaking to a voice bot composed of STT, LLM, and TTS services

    匹配字段摘要、正文

    #company#教程/实践#语音#部署/工程

星期二

  1. Liquid AI 模型与工程博客

    Liquid AI 发布 LFM2-ColBERT-350M：多语言晚期交互检索模型

    Liquid AI 发布 LFM2-ColBERT-350M，一款 350M 参数的晚期交互检索模型，支持跨语言检索——文档用一种语言存储、查询用另一种语言也能高精度召回。在扩展了日语和韩语的 NanoBEIR 基准上，其多语言能力显著强于 150M 参数的 GTE-ModernColBERT-v1，德语、阿拉伯语、韩语和日语提升明显，同时保持英语表现。凭借 LFM2 骨干，其推理吞吐与体积小 2.3 倍的模型相当，现已在 Hugging Face 上线并附交互 demo，可直接替换现有 RAG 流程。

    匹配字段摘要、正文

    #company#模型发布#RAG#开源生态

星期四

  1. Liquid AI 模型与工程博客精选

    Liquid AI 发布 Liquid Nanos 端侧模型系列，参数 350M 至 2.6B

    Liquid AI 发布 Liquid Nanos 系列任务专用端侧基础模型，参数规模 350M 至 2.6B，占用 100MB 至 2GB 内存，可在手机、笔记本和嵌入式设备上本地运行。首批实验性模型包括 LFM2-Extract、LFM2-350M-ENJP-MT、LFM2-1.2B-RAG、LFM2-1.2B-Tool、LFM2-350M-Math，以及社区开发的 Luth-LFM2 法语微调系列。官方称 LFM2-1.2B-Extract 在结构化抽取上优于 22.5 倍参数量的 Gemma 3 27B，LFM2-350M-ENJP-MT 的英日互译质量超过 10 倍参数量的通用模型。模型已在 LEAP 平台和 Hugging Face 上线，采用开放许可。

    匹配字段摘要、正文

    #company#模型发布#端侧#开源生态

星期三

  1. vLLM 官方博客

    vLLM 详解 torch.compile 的工作原理与集成方式

    vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。

    匹配字段摘要、正文

    #engineering#教程/实践#部署/工程#推理

星期日

  1. antirez 原创博客

    antirez 谈 2025 年夏天如何用 LLM 写代码

    Redis 作者 antirez 更新了他用 LLM 写代码的经验，认为当前 LLM 是好的能力放大器但不是合格的单人开发者，多数场景应拒绝 vibe coding，保持人在回路中。他推荐主要使用 Gemini 2.5 PRO 和 Claude Opus 4，并建议避免使用编码智能体和 RAG，把完整代码库与文档直接放进上下文窗口，由人手动在终端与 LLM 网页界面之间搬运代码。他同时提醒，因意识形态或心理抵触而完全不用 LLM 也会积累劣势。

    匹配字段摘要、正文

    #analysis#教程/实践#编码#Agent