蚂蚁 inclusionAI 开源 ZwZ 模型族与 ZoomBench 细粒度感知基准（ICML 2026）

分支标签打开更多操作菜单

历史

文件夹和文件

名称	名称	最后提交信息	最后提交日期
EasyR1	EasyR1
assets	assets
数据合成	数据合成
多模态评测	多模态评测
工具	工具
.gitignore	.gitignore
LEGAL.md	LEGAL.md
LICENSE	LICENSE
README.md	README.md
requeirments.txt	requeirments.txt

仓库文件导航

无需缩放的缩放：面向细粒度多模态感知的区域到图像蒸馏（ICML 2026） Lai Wei^1,2,3, Liangbo He², Jun Lan², Lingzhong Dong^1,2, Yutong Cai¹, Siyuan Li², Huijia Zhu²Weiqiang Wang²Linghe Kong¹Yue Wang³Zhuosheng Zhang¹Weiran Huang^1,4

1. 上海交通大学计算机学院
2. 蚂蚁集团
3. 中关村学院
4. 上海创新研究院

📃 论文 | 🤗 模型与训练数据集与 ZoomBench

说明

🎉 我们已发布 无需缩放的缩放 v2（ZwZ2）！请查看新仓库以获取最新模型、数据和代码。

✨ 简介

近期的“以图思考”（Thinking-with-Images）方法通过在推理过程中迭代放大感兴趣区域来提升细粒度感知能力，但由于反复调用工具和视觉重编码，导致延迟很高。在本工作中，我们提出 ZwZ 模型（4/7/8B），在开源模型中取得了多模态感知基准上的 SOTA 性能. 此外，我们还提出了 ZoomBench, 一个混合标注的基准，包含 845 条 VQA 数据，覆盖六个细粒度感知维度，并配套一个双视角协议，用于量化全局—区域间的“缩放差距”。

⚙️ 方法

我们提出 区域到图像蒸馏（Region-to-Image Distillation，R2I），它将缩放从推理时工具转变为训练时原语。我们：

放大到微裁剪区域，并让强教师模型生成高质量 VQA 数据
蒸馏将这种基于区域的监督通过显式边界框叠加回传到完整图像
使较小的学生模型能够实现 单次前向的细粒度感知 无需使用工具

这也可以概括为“无需缩放的缩放”这一理念。第一个“缩放”指的是训练时的原语：我们放大到微小区域以合成细粒度训练数据。相比之下，第二个“缩放”指的是我们试图绕过的推理时工具使用。

🌟 核心特性

🎯 卓越精度: 在开源模型中于感知基准上取得 SOTA 性能
⚡ 单次前向效率: 只需一次前向传播，消除推理时调用工具的开销
📈 全面提升: 不仅提升感知基准，还提升在视觉推理、GUI 智能体和 AIGC 检测上的分布外泛化能力
🔍 ZoomBench: 一个包含 845 个样本、覆盖 6 个细粒度维度的综合基准，具备多种评估协议

🎯 模型与数据集

模型

模型	基座	下载
ZwZ-2B	Qwen3-VL-2B	🤗 inclusionAI/ZwZ-2B
ZwZ-4B	Qwen3-VL-4B	🤗 inclusionAI/ZwZ-4B
ZwZ-7B	Qwen2.5-VL-7B	🤗 inclusionAI/ZwZ-7B
ZwZ-8B	Qwen3-VL-8B	🤗 inclusionAI/ZwZ-8B

训练数据集

我们的区域到图像蒸馏训练数据（37K 样本）：🤗 inclusionAI/ZwZ-RL-VQA

源图像池：

SA-1B、LAION、MetaCLIP、Visual Genome、CC12M、STPLS3D（我们仅从每个图像池中取一小部分图像；大多数高分辨率图像来自 train-0000-of-0013.parquet，位于 https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images 中） https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images)

问题生成器：Qwen3-VL-235B-A22B-Instruct

答案生成器：Qwen3-VL-235B-A22B-Instruct、GLM-4.5V

📊 ZoomBench

我们推出 🤗 ZoomBench，这是一个面向细粒度多模态感知的具有挑战性的基准：

845 个高质量样本 覆盖 6 个感知维度：
- 细粒度计数
- OCR（文本与符号识别）
- 颜色属性
- 结构属性
- 材质属性
- 物体识别
双视角协议: 每个样本同时包含完整图像和裁剪区域，以量化“缩放差距”
注意力图分析: 从可解释性视角评估模型是否将其预测建立在任务相关的图像区域上
混合构建: 由 Gemini-2.5-Pro 生成并经人工核验，兼顾质量与可扩展性
高难度: Qwen2.5-VL-7B 的平均准确率仅为 42.5%

🛠️ 安装

git clone https://github.com/inclusionAI/Zooming-without-Zooming.git
cd Zooming-without-Zooming
pip install -r requirements.txt
git clone https://github.com/facebookresearch/sam3.git
cd sam3
pip install -e . # please refer to the official repo of SAM3 for detailed installation
cd ../EasyR1
pip install -e . # please refer to the official repo of EasyR1 for detailed installation

🔥 开始使用

1. 区域到图像蒸馏

该流程支持检查点机制。每个步骤均可独立执行，并可从任意阶段恢复。请注意，我们使用 Qwen3-VL-235B 和 Sam3 来获得有意义的裁剪图像，并使用 Kimi-K2 来提取多数答案。

cd Zooming-without-Zooming/data_synthesis

export MLLM_KEY="your_mllm_key"
export MLLM_URL="your_mllm_url"
export KIMI_KEY="your_llm_key"
export KIMI_URL="your_llm_url"

## step 1
python create_crops.py \
  --api_key "$MLLM_KEY" \
  --api_url "$MLLM_URL" \
  --image_folders "/path/images/sa1b" \  # Support multiple folders; replace to your own path (just containing images)
  --output_jsonl "generated_bboxes_sa1b.jsonl"

## step 2
python create_questions.py \
  --api_key "$MLLM_KEY" \
  --api_url "$MLLM_URL" \
  --input_files "generated_bboxes_sa1b.jsonl" \
  --output_file "generated_questions.jsonl" \
  --crop_output_dir "/path/images/crops" # Replace to your own path

## step 3
bash qwen_serve.sh

python create_answers.py \
  --api_key "$MLLM_KEY" \
  --api_url "$MLLM_URL" \
  --kimi_api_key "$KIMI_KEY" \
  --kimi_api_url "$KIMI_URL" \
  --input_file "generated_questions.jsonl" \
  --output_file "validated_vqa.jsonl" \
  --bbox_output_dir "/path/images/bbox_images" # Replace to your own path

## step 4
python convert_jsonl2parquet.py \
  --input_file "validated_vqa.jsonl" \
  --output_file "validated_vqa.parquet"

我们还提供端到端的数据合成脚本。

cd Zooming-without-Zooming/data_synthesis

export MLLM_KEY="your_mllm_key"
export MLLM_URL="your_mllm_url"
export KIMI_KEY="your_llm_key"
export KIMI_URL="your_llm_url"

bash qwen_serve.sh

python create_vqa.py \
    --api_key "$MLLM_KEY" \
    --api_url "$MLLM_URL" \
    --kimi_api_key "$KIMI_KEY" \
    --kimi_api_url "$KIMI_URL" \
    --image_folders "/path/images/sa1b" \
    --crop_output_dir "/path/images/crops" \
    --bbox_output_dir "/path/images/bbox_images" \
    --output_parquet "validated_vqa.parquet" \
    --output_jsonl "validated_vqa.jsonl"

2. 强化学习

你可以使用生成的 "validated_vqa.parquet" 作为训练数据集。或者，你也可以使用我们的：下载 train.parquet 和图像，位于 inclusionAI/ZwZ-RL-VQA.

为复现论文，请使用 Qwen/Qwen3-8B 作为强化学习奖励评判器。这是经过后训练、指令微调的检查点，而非基础模型；其官方名称不带 -Instruct 后缀。评判器仅接收文本（问题、参考答案和预测答案）以评估答案等价性。 reward.sh 默认使用该检查点。如需使用本地副本，请运行 REWARD_MODEL_PATH="/path/to/Qwen3-8B" bash reward.sh.

然后，你就可以开始训练了！

cd Zooming-without-Zooming/EasyR1

# For single node, total 16x GPUS, 4 GPUs for reward model, 12 GPUs for training
bash reward.sh
bash single_node.sh # remember to modify the training data path to your own path. you can also add your own eval dataset.

# For multi node
# First, you need to have one or more reward model service URLs. You can refer to reward.sh to deploy them yourself, then update the URLs in example/reward_function/perception_multinode.py.
bash multi_node.sh  

# Merge checkpoint to Hugging Face format
python scripts/model_merger.py --local_dir ./verl_exp/qwen3_vl_8b_perception/global_step_140/actor

3. 模型评估

首先，请将基准数据转换为以下格式，并保存为 json 文件：

{
    "images": [
      "/path/your_file/000002.png"
    ],
    "query": "How many table lamps are in the image? Select from the following choices.\n(A) 0\n(B) 2\n(C) 1\n(D) 3",
    "response": "C"
}

我们还提供了一个用于转换 ZoomBench 的示例脚本：

cd utils
python convert_benchmark.py

然后，你可以使用以下脚本评估模型（记得修改基准数据集路径）：

cd mm-eval
# Benchmark scores (including the dual-view evaluation)
bash run_baseline.sh

cd ../utils
# Attention Map Coverage
python eval_coverage.py

🙏 致谢

本项目基于：

Qwen2.5-VL 和 Qwen3-VL 作为基础模型
EasyR1 强化学习训练框架

我们同样衷心感谢王志恒（上海交通大学、上海人工智能实验室）提出的富有洞见和价值的建议。

📮 联系方式

如有问题或合作意向，请联系：

魏来： waltonfuture@sjtu.edu.cn
何良波： liangbo.hlb@antgroup.com
蓝骏： yelan.lj@antgroup.com
张卓生： zhangzs@sjtu.edu.cn
黄炜然： weiran.huang@sjtu.edu.cn

请注意，代码中可能存在与数据集路径相关的细微错误。我们感谢任何反馈或贡献。感谢您的理解与支持！

📄 引用

@article{wei2026zooming,
  title={Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception},
  author={Wei, Lai and He, Liangbo and Lan, Jun and Dong, Lingzhong and Cai, Yutong and Li, Siyuan and Zhu, Huijia and Wang, Weiqiang and Kong, Linghe and Wang, Yue and Zhang, Zhuosheng and Huang, Weiran},
  journal={arXiv preprint arXiv:2602.11858},
  year={2026}
}

关于

[ICML 2026] ZwZ 模型族：SOTA 细粒度感知性能；ZoomBench：一个全新的高难度感知基准