vLLM 官方博客一手解读
AI 评分51vLLM 分布式推理中的张量并行与流水线并行
vLLM 介绍了如何结合张量并行和流水线并行，在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连，流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后，KV cache block 增加 13.9x，token 吞吐量提升 3.9x。
#教程/实践#部署/工程#推理
N全部新闻
全部新闻
- vLLM 官方博客一手解读AI 评分56
vLLM 结构化解码入门与 XGrammar 集成解析
vLLM 介绍结构化解码的原理与实现，并已支持 Outlines 和 XGrammar 两种后端，以约束大语言模型输出符合指定结构。XGrammar 集成在负载下可将每个输出 token 的生成时间改善至多 5x，不适用的请求会回退至 Outlines。规划中的 v1 将重点优化性能，并探索调度器级掩码广播以支持混合请求批处理。
#教程/实践#部署/工程#Agent
- vLLM 官方博客一手解读AI 评分58
vLLM 安装、开发与版本追踪指南
vLLM 介绍了覆盖稳定版、nightly build 和指定提交版本的安装与开发流程，并提供生产部署所需的版本追踪能力。文中称在 Intel 8th Gen CPU 环境中 uv 比 pip 快 200x；Python 开发者可用 VLLM_USE_PRECOMPILED=1 复用预编译 CUDA 内核，C++/CUDA 开发者则可利用编译缓存缩短构建时间。
#教程/实践#部署/工程#开源生态
- Answer.AI 官方研发博客一手解读AI 评分66
Answer.AI 实测 Devin 一个月：20 个任务 14 个失败
Answer.AI 团队对 Devin 进行了一个月的真实任务测试，在 20 个任务中记录到 14 个失败、3 个成功和 3 个结果不明，且无法从任务类型预判成败。Devin 通过 Slack 交互并自带 Docker 计算环境，早期在 Notion 到 Google Sheets 的数据同步等任务上表现不错，但在新建项目、研究任务和修改现有代码库时频繁陷入死胡同，甚至花超过一天尝试 Railway 并不支持的部署方式。团队认为开发者主导、AI 辅助的工作流（如 Cursor）更能规避这些问题。
#评测/基准#Agent#编码
- Anthropic Engineering一手解读AI 评分67
Anthropic 谈如何构建高效智能体：从工作流到自主 Agent 的模式与取舍
Anthropic 工程博客总结与数十个团队共建 LLM 智能体的经验，指出最成功的实现并未使用复杂框架，而是采用简单可组合的模式。文章区分了由预定义代码路径编排的工作流与由 LLM 自主决定流程和工具使用的 Agent，并给出提示词链、路由、并行化、编排者-工作者、评估者-优化者五种工作流模式及各自适用场景。作者建议从直接调用 LLM API 和简单提示词起步，仅在简单方案不足时才增加多步智能体系统的复杂度，并强调工具文档与 agent-computer interface（ACI）的设计投入应与 HCI 相当。
#教程/实践#Agent#MCP/工具调用
- vLLM 官方博客一手解读AI 评分60
在 AMD MI300X 上用 vLLM 服务大语言模型的最佳实践
vLLM 官方博客给出在 AMD MI300X 上部署大语言模型的优化指南，涵盖分块预填充、多步调度、前缀缓存、图捕获、KV cache 和张量并行等 8 项设置。测试中，vLLM 服务 Llama 3.1 405B 时比 TGI 吞吐量高 1.5x、TTFT 快 1.7x，服务 Llama 3.1 70B 时吞吐量高 1.8x、TTFT 快 5.1x。
#教程/实践#部署/工程#开源生态
- vLLM 官方博客一手解读AI 评分57
推测解码如何将 vLLM 性能提升至 2.8x
vLLM 通过推测解码让小模型提出候选 token、再由大模型批量验证，在不牺牲准确性的前提下降低生成延迟。测试中，基于草稿模型的方法在 ShareGPT 数据集上实现最高 1.5x 加速，提示词查找解码在 CNN/DailyMail 摘要数据集上达到最高 2.8x。该方法更适合低 QPS 环境，高 QPS 下可能因额外计算产生性能损失。
#教程/实践#推理#部署/工程
- Anthropic Engineering一手AI 评分68
Anthropic 推出 Contextual Retrieval，将 RAG 检索失败率降低 49%
Anthropic 提出 Contextual Retrieval 方法，通过 Contextual Embeddings 和 Contextual BM25 两项子技术，将 top-20 检索失败率降低 49%（5.7% 降至 2.9%），叠加 reranking 后降低 67%（5.7% 降至 1.9%）。该方法用 Claude 3 Haiku 为每个分块生成 50-100 token 的上下文说明，再拼接到分块前进行嵌入和建立 BM25 索引，配合 prompt caching 时生成上下文化分块的一次性成本为每百万文档 token 1.02 美元。Anthropic 同时提供了可直接部署的 cookbook。
#教程/实践#RAG#Anthropic
- Ollama Blog一手解读AI 评分61
Ollama 实测：Llama 3 的审查比 Llama 2 少很多
Ollama 在博客中称 Llama 3 的误拒率不到 Llama 2 的三分之一，可讨论的话题范围更广。文中用同一组提示词对比了 Llama 3 8B 与 Llama 2 7B 的输出，两者均采用 4-bit 整数量化。用户可下载 Ollama 并运行 llama3 在本地体验。
#现象/趋势#OpenAI#评测/基准
- Lilian Weng：Lil'Log解读AI 评分72
LLM 驱动的自主智能体：规划、记忆与工具调用综述
Lilian Weng 在 Lil'Log 撰文梳理以 LLM 为核心控制器的自主智能体架构，将其拆解为规划、记忆和工具调用三大组件。规划部分涵盖 CoT、Tree of Thoughts、LLM+P 等任务分解方法，以及 ReAct、Reflexion、Chain of Hindsight、Algorithm Distillation 等自我反思机制。记忆部分区分短期上下文学习与基于外部向量库的长期记忆，并介绍 LSH、ANNOY、HNSW、FAISS、ScaNN 等快速 MIPS 检索算法；工具调用部分则列举 MRKL、TALM、Toolformer、HuggingGPT、API-Bank 以及 ChemCrow 等科学发现智能体案例。文末指出有限上下文长度、长期规划与任务分解、自然语言接口可靠性三类常见局限。
#教程/实践#Agent#推理
- Lilian Weng：Lil'Log解读AI 评分51
Lilian Weng 长文梳理提示词工程方法：从零样本到 CoT 与工具调用
Lilian Weng 发布提示词工程综述，系统梳理零样本、少样本、指令提示、CoT、自洽采样、检索增强与外部工具调用等方法，并指出提示词效果因模型而异，需要大量实验和启发式调整。文章还汇总了示例选择与排序、自动提示词生成、Tree of Thoughts、Toolformer 等方向的研究，并附 26 篇论文引用。
#教程/实践#推理#数据/训练