←事件详情

热点事件

TensorZero 展示程序化数据策展蒸馏工作流

1 篇正式报道1 条事件动态更新于 10月13日 20:31

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

TensorZero 研究:程序化数据筛选蒸馏小模型,推理成本降低 5-30 倍

事件进展

1 个已确认进展

  1. TensorZero 展示程序化数据策展蒸馏工作流

    来源:TensorZero 工程博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月13日

  1. TensorZero 工程博客一手

    TensorZero 研究:程序化数据筛选蒸馏小模型,推理成本降低 5-30 倍

    TensorZero 工程博客发布研究,用 GPT-4.1 的高质量对话数据微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini、Qwen3-8B 等小模型,在数据抽取(CoNLL++ NER)、多轮导航(BabyAI)、Agentic RAG(Multi-Hop)和 Agentic 工具调用(τ-bench)四类任务上评测。结果显示微调后小模型在部分任务上可匹配或超过大模型,推理成本最多降低 30 倍、响应时间最多快 4 倍;其中 Gemini 2.0 Flash Lite 微调后每成功任务成本比 GPT-4o 低 24.1 倍。文章还比较了筛选成功样本与不筛选的效果差异,并给出用 TensorZero 复现该流程的步骤。

关联事件

  1. 相关事件Torch Spyre接入PyTorch CRCR
  2. 相关事件Qwen发布QwenGyre弹性RL训练框架
  3. 相关事件NVIDIA 发布用于 Apache Spark 的 cuDF skills
  4. 相关事件Anthropic 警告小型 AI 模型或将在 IoT 设备上自我复制