作者用 ML Intern 提示词在两天内训练出六个模型

我如何为 ML Intern 编写提示词

第一条消息是我投入精力的地方。我的第一条提示词，也就是下面分享的柑橘模型所用的那条，大约有 450 个词。到我的第 6 个项目时，它已经接近 2,000 个词，因为每个项目都教会了我一些希望在下个项目中加入的东西。全部七条提示词都放在 GitHub 的 yvrjsharma/ml-intern-prompts 上，和我写的一模一样。

提示词以一句话说明想法以及我为什么想要它开头。然后列出确切的部分：数据集、基础模型、训练脚本。任何我已经核实过的内容都放在一个标题下，标题字面上写着“已验证事实，请勿重新推导”，这样智能体就会把预算花在工作上，而不是重新发现我已经知道的东西。对于相机角度 LoRA，那一节列出了哪个训练器刚刚添加了透明图像支持，以及哪些开放的 GitHub issue 使备用训练器存在风险。

提示词中有两行至关重要。第一行要求在任何训练之前先给出基线。例如，柑橘提示词写道：“在训练前，还请报告基础模型在同一指标上的零样本得分，以便我们能看到增益。”没有这一条，你只会得到一个训练好的模型，却不知道它是否比最初的基础模型更好。第二行是附带检查的冒烟测试。对于图像 LoRA，我要求先训练 50 步，然后检查保存的权重是否确实发生了变化，之后才为完整运行付费。

在提示词末尾，我列出预期的交付物并限制成本。我定义模型卡中应包含什么，并加入类似这样的指令：“总花费上限为 12 美元，超出前先询问我。”因为 ML-intern 每项任务都以零美元预算开始，在执行付费任务前需要获得许可，所以这个花费上限会被严格执行。如果你不写预算，智能体会根据项目规模建议几种方案，并询问你更倾向哪一种。

你不一定需要在第一次尝试时就包含所有这些内容。例如，我的柑橘简报里没有“已验证事实”部分，ML Intern 仍然产出了一个准确率超过 Qwen3.5-2B 模型三倍以上的模型。让我带你看看我在短短几天内用 ML-Intern 构建的 6 个东西。

1. 一个了解你所在领域的模型

通用视觉模型可以描述一片发黄的柑橘叶子。然而，要告诉你这是螨虫问题还是缺镁，以及治疗该植物的生物和非生物疗法，是非常困难的。使用 Claude，我整合了一个训练数据集，它合并自 Project-AgML 组织在 Hub 上托管的三个来源。最终得到的 citrus-disease-vlm-instruct 是一个数据集，包含 3,017 张标注图像，涵盖 21 种不同的害虫、疾病、营养缺乏和治疗方案。ML-intern 使用这些示例完成了 Qwen3.5-2B 的微调，并确保事先对基础模型进行了基准测试。

2. 一个能画出你的角色的模型

图像模型认识很多角色。以 Hugging Face 品牌资产的扁平风格绘制的 Huggy 并不在其中。我要求 ML-Intern 在 FLUX.2 klein base 4B 上训练一个 LoRA，训练数据是来自 Chunte/huggy_for_training 数据集的 84 张带说明的绘图。

3. 一个会新技巧的模型

相机角度 LoRA 是早期 Qwen-Image 模型中最受社区欢迎的附加组件之一。你可以给模型一张物体的图片，并要求从左侧 45 度角查看它。在 Qwen-Image 2.1 模型发布几天后我查看时，还没有人做过，所以我让 ML-intern 来构建它。

ML-intern 在一个花费几美分的 CPU 任务中，以 24 个角度渲染了来自 Google Scanned Objects 的 1,030 个扫描家居物品，共 24,722 张透明图像。它后来最终确定了 461 个物品用于训练、40 个留出用于测试，以及 1,844 对训练前后图像对，均匀分布在 23 条相机指令上。

Doodle-in LoRA 是另一个很酷的想法。上传一张带有洋红色涂鸦的照片，并添加一个简短的提示词来指定一个物体。该 LoRA 会用该物体替换涂鸦，同时保持原始光照和构图一致。

此前不存在用于此任务的数据集，所以我的提示词描述了如何制作一个。从 Open Images 中的真实照片开始，用 LaMa 修复模型移除一个物体，并在物体原来的位置画一个涂鸦。未修改的照片是目标。ML-intern 在 CPU 沙盒中编写并测试了配对构建脚本，然后将它们作为 GPU 任务运行，同时记录每张源照片的作者和许可证。它构建了 6,042 对训练数据和 160 对测试集，其中 40 对测试数据来自完全排除在训练之外的 23 个物体类别。

在训练之前，它单独测量了基础模型以及使用 Viggle turbo LoRA 的模型，并检查了批量运行编辑是否产生相同的图像，这使得评估更便宜。训练在一个 A100 上运行了 2,000 步，耗时 1 小时 38 分钟（约 4 美元），并在 48 对测试数据上比较保存的检查点后选择了第 500 步。

4. 一个适合你设备的模型

这篇帖子开头的 Pocket Rewriter 是第一个。ML-intern 先用一个小型 instruct 模型通过 Inference Providers 生成了 8,797 条简短图像请求，遵循我提示词中设定的混合类型：照片、海报、标志、信息图等，其中约三分之一要求引号内的精确文字，许多还使用了英语以外的语言。随后，9B 教师模型在一张 A100 上用了 2 小时 37 分钟（约 6.50 美元）重写了全部请求。经过质量筛选后，共选出 1,840 个样本用于训练数据集。

查看：Pocket rewriter 0.8B Student · 2B Student · Dataset · Pocket Studio App · 在 Rewriter Arena 中比较教师与学生

Agate-Preview-002-4step 是第二个。Logolabs 的 Agate Preview 002 是一个 260M 参数的文本到图像模型，小到可以在浏览器中运行，但它需要 50 步并带引导，即每张图像 100 次网络前向。我让 ML-intern 把它蒸馏到只需 4 次前向！

这用了两次运行。第一次将 155,000 张训练图像缓存为潜变量，把引导烘焙进模型，然后分阶段将步数从 16 降到 8 再降到 4，全部在 A100 上完成。4 步学生在 GenEval 和 FID 上以相同的 4 步击败了教师运行，之后 ML-intern 将其导出为 ONNX 以供浏览器使用。这次运行耗时约 13 小时，花费 22 美元。

查看：Agate 4-step model · Dataset · 在浏览器中运行 Agate · Agate 4-step LIVE

花费多少

以下是每次会话报告的 GPU 和 CPU 作业费用。

动手做一个

ML-intern 已在 HuggingChat 中。开启 ML-intern 模式并粘贴提示词。如果你想找个起点，我的示例提示词可以免费复制。从一个你希望存在的模型和你已有的数据集开始，或者一个你能描述的数据集。给它一个小预算，要求一个基线和一次冒烟测试，并在提高上限之前先阅读返回的结果。

如果你用它做出了什么，请在 X 上分享并 @Gradio 和 @HuggingFace。我们很想看到你做出的那些别人不会想到为你构建的模型。

本文提到的模型 10

ML-Intern-lab/Qwen-Image-2.1-PE-T2I-Pocket-0.8B

ML-Intern-lab/Qwen-Image-2.1-PE-T2I-Pocket-2B

ML-Intern-lab/Qwen-Image-2.1-doodle-in-LoRA

ML-Intern-lab/Qwen-Image-2.1-viewpoint-orbit-LoRA

ML-Intern-lab/citrus-disease-vlm

ML-Intern-lab/huggy-flux2-klein-lora

Qwen/Qwen-Image-2.1-PE-T2I

Qwen/Qwen3.5-2B

Viggle/Qwen-Image-2.1-viggle-turbo

black-forest-labs/FLUX.2-klein-base-4B

本文提到的数据集 7

Chunte/huggy_for_training

ML-Intern-lab/Qwen-Image-2.1-rewriter-distill

ML-Intern-lab/agate-preview-002-4step-latents

ML-Intern-lab/citrus-disease-vlm-instruct

ML-Intern-lab/doodle-in-pairs

ML-Intern-lab/gso-orbit-rgba

suvadityamuk/google-scanned-objects

本文提到的 Spaces 8

Qwen-Image 2.1 Doodle-In LoRA

在照片上涂画轮廓，命名它，它就会出现

Qwen-Image 2.1 Pocket Studio

小型蒸馏提示词重写器加上 Qwen-Image 2.1

Qwen-Image 2.1 Rewriter Arena

9B vs 0.8B vs 2B 提示词重写器，并排渲染

Qwen-Image 2.1 Viewpoint Orbit LoRA

围绕透明物体旋转相机

Agate Preview 002 4-step Live

每次按键生成新图像，GPU 上的 4 步 Agate

Agate Preview 002 4-step WebGPU

浏览器中的 4 步 Agate 文本到图像，随输入实时生成

Citrus Doctor

诊断柑橘病害、虫害和营养缺乏

Huggy Generator

以 Hugging Face 品牌风格绘制新的 Huggy 吉祥物

来自我们博客的更多文章

用 Gradio Workflow 重建 AUTOMATIC1111