最新提交
历史
3 次提交3 次提交文件夹和文件
仓库文件导航
ARGenSeg:使用自回归图像生成模型进行图像分割
王小龙1 ·
茹立祥1 ·
黄子元1 ·
纪凯翔1
郑丹丹1 ·
陈景东1 ·
周军1
1蚂蚁集团 · NeurIPS 2025
🏠 关于
我们提出了一种新颖的基于自回归生成的图像分割范式(ARGenSeg), 在统一框架内实现多模态理解与像素级感知。 此前将图像分割集成到多模态大语言模型(MLLM)中的工作通常采用边界点表示或专用分割头。这些方法依赖离散表示或输入任务特定解码器的语义提示,限制了 MLLM 捕捉细粒度视觉细节的能力。为解决这些挑战,我们引入了 一种基于图像生成的 MLLM 分割框架,它能自然地生成目标对象的密集掩码。我们利用 MLLM 输出视觉 token,并使用通用 VQ-VAE 将其反 token 化为图像,使分割完全依赖于 MLLM 的像素级理解。为降低推理延迟,我们 采用下一尺度预测策略来并行生成所需的视觉 token。大量实验表明,我们的方法在多个分割数据集上超越了此前的最先进方法,推理速度显著提升,同时保持了强大的理解能力。关键创新:
- 新颖框架:首个基于统一多模态理解-生成架构构建的分割范式,消除了任务专用模块。
- 无需额外头的SOTA:证明统一MLLM无需专用分割头即可实现最先进的分割。
- 效率与鲁棒性:提出下一尺度预测以加速推理;揭示由粗到细的掩码生成本质上增强了鲁棒性。
在此代码库中,我们发布:
- ARGenSeg-8B checkpoint
- 训练、评估和推理代码
🔥 新闻
- [2026-05-15] 我们发布了推理代码、训练代码以及 checkpoint (用于 ARGenSeg)。
- [2025-10-23] 我们在 arXiv 上发布了 论文 。
- [2025-09-18] ARGenSeg 已被 NeurIPS 2025! 🔥🔥🔥
接收。📦 安装
步骤 1:创建 Conda 环境
conda create -n argenseg python=3.10 conda activate argenseg
步骤 2:安装依赖
pip install -r requirements.txt
步骤 3:安装 Flash Attention
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.7/flash_attn-2.5.7+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl pip install flash_attn-2.5.7+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
步骤 4:下载 VAR 预训练权重
mkdir -p internvl/model/var_vae/pretrained_weights
wget -O internvl/model/var_vae/pretrained_weights/vae_ch160v4096z32.pth \
https://huggingface.co/FoundationVision/var/resolve/main/vae_ch160v4096z32.pth
步骤 5:下载 ARGenSeg Checkpoint
从以下地址下载 checkpoint: HuggingFace 并将其解压到 pretrained/InternVL2_5-ARGenSeg-8B/.
🎮 演示
指代分割
python demos/seg_demo.py
分割与对话
python demos/seg_demo_chat.py
🏋️ 训练
准备训练数据
理解数据
遵循 InternVL 文档 以获取详细下载说明。
示例 meta_path: example/internvl_1_2_finetune.json
分割数据
请遵循 PSALM 数据集文档 进行数据准备。
示例标注格式: example/anns/refcoco.jsonl
示例 meta_path: example/data_seg.json
混合训练数据
合并用于混合训练的理解和分割 JSON 文件。
示例: example/mix_seg_usd.json
开始训练
sh scripts/train_argenseg.sh
📊 评估
请参阅 eval/README.md 以获取关于以下内容的详细评估说明:
- RefCOCO 系列(理解与分割)
- VQA(TextVQA、VQAv2)
- POPE
- MMMU
🔗 引用
如果您觉得本工作有用,请引用:
@article{wang2025argenseg,
title={ARGenSeg: Image Segmentation with Autoregressive Image Generation Model},
author={Wang, Xiaolong and Ru, Lixiang and Huang, Ziyuan and Ji, Kaixiang and Zheng, Dandan and Chen, Jingdong and Zhou, Jun},
journal={arXiv preprint arXiv:2510.20803},
year={2025}
}
👏 致谢
我们衷心感谢以下项目的贡献者: InternVL, VAR、以及 PSALM 在其基础工作和开源精神方面的贡献。
📄 许可证
本项目采用 MIT 许可证 - 详情请参阅 MIT 许可证 详情请参阅文件。
关于
[NeurIPS 2025] ARGenSeg:使用自回归图像生成模型进行图像分割
xlwangdev.github.io/ARGenSeg/
AI 热点