先了解这件事
AI 综述
Amazon Science与Booking.com将知识蒸馏与Medusa技术结合,用于优化Booking.com的旅行大语言模型。该方案把70B参数的Llama-3.1教师模型压缩为1.1B的TinyLlama学生模型,在保持教师模型质量的同时,将推理速度提升10至20倍,成本降至三分之一以下。方案已应用于AI Trip Planner、Smart Filters和住宿描述生成三项功能,并在ACL获Industry Track最佳论文奖。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Amazon Science
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
Amazon Science一手
Amazon Science 与 Booking.com 用知识蒸馏加 Medusa 将 LLM 推理提速最高 20 倍
Amazon Science 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型，在保持教师模型质量的同时将推理速度提升 10 至 20 倍、成本降至三分之一以下。该方案已用于 AI Trip Planner、Smart Filters 和住宿描述生成三项功能，并在 ACL 获 Industry Track 最佳论文奖。