Anthropic 提出 Contextual Retrieval 方法，通过 Contextual Embeddings 和 Contextual BM25 两项子技术，将 top-20 检索失败率降低 49%（5.7% 降至 2.9%），叠加 reranking 后降低 67%（5.7% 降至 1.9%）。该方法用 Claude 3 Haiku 为每个分块生成 50-100 token 的上下文说明，再拼接到分块前进行嵌入和建立 BM25 索引，配合 prompt caching 时生成上下文化分块的一次性成本为每百万文档 token 1.02 美元。Anthropic 同时提供了可直接部署的 cookbook。
#教程/实践#RAG#Anthropic
Ollama 在博客中称 Llama 3 的误拒率不到 Llama 2 的三分之一，可讨论的话题范围更广。文中用同一组提示词对比了 Llama 3 8B 与 Llama 2 7B 的输出，两者均采用 4-bit 整数量化。用户可下载 Ollama 并运行 llama3 在本地体验。
#现象/趋势#OpenAI#评测/基准
Lilian Weng 在 Lil'Log 撰文梳理以 LLM 为核心控制器的自主智能体架构，将其拆解为规划、记忆和工具调用三大组件。规划部分涵盖 CoT、Tree of Thoughts、LLM+P 等任务分解方法，以及 ReAct、Reflexion、Chain of Hindsight、Algorithm Distillation 等自我反思机制。记忆部分区分短期上下文学习与基于外部向量库的长期记忆，并介绍 LSH、ANNOY、HNSW、FAISS、ScaNN 等快速 MIPS 检索算法；工具调用部分则列举 MRKL、TALM、Toolformer、HuggingGPT、API-Bank 以及 ChemCrow 等科学发现智能体案例。文末指出有限上下文长度、长期规划与任务分解、自然语言接口可靠性三类常见局限。
#教程/实践#Agent#推理
Lilian Weng 发布提示词工程综述，系统梳理零样本、少样本、指令提示、CoT、自洽采样、检索增强与外部工具调用等方法，并指出提示词效果因模型而异，需要大量实验和启发式调整。文章还汇总了示例选择与排序、自动提示词生成、Tree of Thoughts、Toolformer 等方向的研究，并附 26 篇论文引用。
#教程/实践#推理#数据/训练