先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
TensorZero 研究:程序化数据筛选蒸馏小模型,推理成本降低 5-30 倍事件进展
1 个已确认进展
- 来源:TensorZero 工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月13日
TensorZero 工程博客一手
TensorZero 研究:程序化数据筛选蒸馏小模型,推理成本降低 5-30 倍
TensorZero 工程博客发布研究,用 GPT-4.1 的高质量对话数据微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini、Qwen3-8B 等小模型,在数据抽取(CoNLL++ NER)、多轮导航(BabyAI)、Agentic RAG(Multi-Hop)和 Agentic 工具调用(τ-bench)四类任务上评测。结果显示微调后小模型在部分任务上可匹配或超过大模型,推理成本最多降低 30 倍、响应时间最多快 4 倍;其中 Gemini 2.0 Flash Lite 微调后每成功任务成本比 GPT-4o 低 24.1 倍。文章还比较了筛选成功样本与不筛选的效果差异,并给出用 TensorZero 复现该流程的步骤。