最新提交
历史
5 次提交5 次提交文件夹和文件
仓库文件导航
🔍 ZoomGain挖掘全局到放大的感知差距,实现细粒度视觉监督
📄 论文 · 📊 ZoomGainBench · 🤗 强化学习数据 · 🧠 ZoomGain-4B · 🧠 ZoomGain-9B
ZoomGain 会基于放大后才变得清晰的视觉细节,生成关于整幅图像的问题。我们利用这种全局到放大的感知差距,为视觉语言模型构建监督信号。在论文中,28 个模型里表现最佳者在 61.08 在 ZoomGainBench 上,ZoomGain-9B 在多项细粒度感知和通用感知基准上取得了更优的表现。 论文
📜 更新
2026.11.11🌟 我们发布了 arXiv 论文.2026.11.11🌟 我们发布了评测基准和强化学习训练数据集。 ZoomGainBench · ZoomGain 强化学习数据2026.11.11🌟 我们发布了模型检查点。 ZoomGain-4B · ZoomGain-9B
🔬 ZoomGain 的工作原理
- 定位目标。 多个模型独立地在完整场景中定位所描述的目标。它们定位结果的一致之处确定出一个待裁剪区域。
- 挖掘证据。 比较同一区域在两个尺度下的描述,然后将裁剪图所揭示的细节转化为关于整幅图像的问题。
- 验证问题与答案。 交叉核对关于裁剪图的答案,过滤掉歧义问题以及无需图像即可回答的问题,并为多项选择题构建合理的干扰项。
🛠️ 环境配置
克隆仓库并设置资源目录。以下命令假设你在仓库根目录下运行它们。
git clone https://github.com/inclusionAI/ZoomGain.git cd ZoomGain export ASSET_DIR="$PWD/zoomgain-assets" mkdir -p "$ASSET_DIR" python -m pip install -U huggingface_hub
如果 Hugging Face 仓库需要身份验证访问,请运行该命令。Hugging Face CLI 指南🧰 安装推理与评测依赖📊 在 ZoomGainBench 上评测📦 下载评测基准ZoomGainBench 包含 941 张图像上的 1,000 道问题,涵盖属性识别、计数和 OCR。每条标注包含英文和中文问题文本、参考答案、评分规则,以及以图像像素坐标表示的证据边界框。将 放在 旁边。评测器会从每个 hf auth login 如果 Hugging Face 仓库需要身份验证访问,请运行该命令。 Hugging Face CLI 指南
🧰 安装推理与评测依赖
python -m pip install -r eval_ZoomGainBench/requirements.txt \ 'vllm==0.19.1' 'transformers==5.7.0'
📊 在 ZoomGainBench 上评测
📦 下载评测基准
ZoomGainBench 包含 涵盖属性识别、计数和 OCR 的 941 张图像上的 1,000 道问题 涵盖属性识别、计数和 OCR。每条标注包含英文和中文问题文本、参考答案、评分规则,以及以图像像素坐标表示的证据边界框。
BENCH_DIR="$ASSET_DIR/data/ZoomGainBench" hf download inclusionAI/ZoomGainBench annotations.jsonl images.zip \ --repo-type dataset --local-dir "$BENCH_DIR" unzip -q "$BENCH_DIR/images.zip" -d "$BENCH_DIR"
保留 images/ 旁边 annotations.jsonl。评测器会从每条标注的相对路径加载完整图像,并使用该路径来验证证据位置。 image_path 并使用 evidence_bbox 以验证证据位置。
🚀 运行评测
从模型部分安装依赖,并在仓库根目录下运行基准测试。将示例中的 MODEL_PATH ,并替换为任意兼容模型的本地检查点目录路径。
MODEL_PATH="local/path/to/Qwen3.5-4B" \ ANNOTATIONS="$BENCH_DIR/annotations.jsonl" \ OUTPUT_DIR="outputs/qwen3.5-4b-bench" \ GPUS=0 PORT=18811 LANGUAGE=all \ bash eval_ZoomGainBench/eval.sh
LANGUAGE=all会同时评估两种语言,用于 2,000 个任务。使用LANGUAGE=en用于英文或LANGUAGE=cn中文。GPUS=0,1,并TP=1运行两个独立副本。设置TP=2以将两块 GPU 用于一个副本。- 追加
--dry-run以验证模型和数据集,或--limit 10用于短时 GPU 运行。评测默认温度为0,并禁用 Qwen3.5 的思考功能。
阅读 report.md 关于评测分数, summary.json 用于聚合指标,以及 results.json 以获取每个问题的结果。 responses.jsonl 包含原始模型响应。
🎯 在 ZoomGain RL 数据上训练
📦 下载训练数据
该版本包含 9,000 条训练记录 以及 7,713 张源图像Parquet 文件存储提示词、相对图像路径、参考答案以及奖励函数所使用的元数据。
RL_DIR="$ASSET_DIR/data/ZoomGain-RL-Data" hf download inclusionAI/ZoomGain-RL-Data train.parquet images.zip \ --repo-type dataset --local-dir "$RL_DIR" unzip -q "$RL_DIR/images.zip" -d "$RL_DIR"
训练启动器会相对于以下路径解析图像路径: train.parquet 并为 EasyR1 提供一个包含绝对路径的临时 Parquet 文件。保留提取出的 images/ 目录旁边 train.parquet.
ZoomGain-RL-Data/
├── train.parquet
└── images/
├── image_000001.jpg
└── ...
⚙️ 安装训练环境
请使用 Python 3.10 环境,并配备 CUDA 工具包和 C++ 编译器,以便在本地构建任何需要编译的 CUDA 扩展。下面的示例使用 CUDA 12.8 的 PyTorch wheel。 PyTorch wheel 索引
python -m pip install torch==2.10.0 torchvision==0.25.0 \ --index-url https://download.pytorch.org/whl/cu128 python -m pip install packaging psutil ninja python -m pip install --no-build-isolation flash-attn==2.8.3 causal-conv1d==1.6.2.post1 python -m pip install -r requirements.txt
启动脚本会直接加载随附的 EasyR1 代码。将 BASE_MODEL 从原始 Qwen3.5 检查点开始 RL 训练,以使用论文中同一模型家族。 Qwen3.5-4B · Qwen3.5-9B
🧪 验证并运行一次短时训练任务
hf download Qwen/Qwen3.5-4B --local-dir "$ASSET_DIR/models/Qwen3.5-4B" python zoomgain/prepare_data.py --input "$RL_DIR/train.parquet" BASE_MODEL="$ASSET_DIR/models/Qwen3.5-4B" \ TRAIN_PARQUET="$RL_DIR/train.parquet" \ OUTPUT_DIR="$PWD/outputs/train-smoke-4b" \ CUDA_VISIBLE_DEVICES=0,1 ROLLOUT_N=4 MAX_RESPONSE_LENGTH=512 ROLLOUT_AGENT_WORKERS=2 \ bash scripts/smoke_train.sh
冒烟测试会运行一个 GRPO 步骤,包括 rollout 生成、奖励计算和检查点保存。
🏋️ 启动完整训练运行
BASE_MODEL="$ASSET_DIR/models/Qwen3.5-4B" \ TRAIN_PARQUET="$RL_DIR/train.parquet" \ OUTPUT_DIR="outputs/train-zoomgain-4b" \ CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ bash scripts/train_zoomgain_4b.sh
对于 9B,请下载 Qwen/Qwen3.5-9B 到本地目录,更新 BASE_MODEL ,并运行 。完整启动器默认训练一个 epoch、批大小为 64,每个问题八次 rollout。输出目录包含训练日志、rollout 和检查点。要评估已保存的模型,请将 设置为 。📄 许可证代码以 Apache License, Version 2.0 发布。随附的训练框架保留其上游许可证和声明。各数据集和检查点的条款请参阅 Hugging Face 卡片。LICENSE · NOTICE⭐ 引用如果您觉得此仓库对您的研究有帮助 OUTPUT_DIR,并运行 scripts/train_zoomgain_9b.sh完整启动器默认训练一个 epoch、批大小为 64,每个问题八次 rollout。输出目录包含训练日志、rollout 和检查点。要评估已保存的模型,请将 MODEL_PATH 设置为 <output-dir>/checkpoints/global_step_<N>/actor/huggingface.
📄 许可证
代码以 Apache License, Version 2.0 发布。随附的训练框架保留其上游许可证和声明。各数据集和检查点的条款请参阅 Hugging Face 卡片。 许可证 · NOTICE
⭐ 引用
如果您觉得此仓库对您的研究有帮助,欢迎引用我们的论文:
@article{shen2026zoomgain,
title = {ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision},
author = {Shen, Haozhan and He, Liangbo and Lan, Jun and Zhu, Huijia and Wang, Weiqiang and Zhao, Tiancheng and Yin, Jianwei},
journal = {arXiv preprint arXiv:2611.14076},
year = {2026}
}

