分支标签打开更多操作菜单

最新提交

 

历史

3 次提交3 次提交

文件夹和文件

名称名称最后提交信息最后提交日期
资产资产  
配置配置  
演示演示  
评估评估  
示例示例  
internvlinternvl  
scriptsscripts  
.gitignore.gitignore  
LEGAL.mdLEGAL.md  
LICENSELICENSE  
README.mdREADME.md  
evaluate.shevaluate.sh  
requirements.txtrequirements.txt  

仓库文件导航

ARGenSeg:使用自回归图像生成模型进行图像分割

Models

王小龙1  ·  茹立祥1  ·  黄子元1  ·  纪凯翔1
郑丹丹1  ·  陈景东1  ·  周军1

1蚂蚁集团  ·  NeurIPS 2025

🏠 关于

我们提出了一种新颖的基于自回归生成的图像分割范式(ARGenSeg), 在统一框架内实现多模态理解与像素级感知。 此前将图像分割集成到多模态大语言模型(MLLM)中的工作通常采用边界点表示或专用分割头。这些方法依赖离散表示或输入任务特定解码器的语义提示,限制了 MLLM 捕捉细粒度视觉细节的能力。为解决这些挑战,我们引入了 一种基于图像生成的 MLLM 分割框架,它能自然地生成目标对象的密集掩码。我们利用 MLLM 输出视觉 token,并使用通用 VQ-VAE 将其反 token 化为图像,使分割完全依赖于 MLLM 的像素级理解。为降低推理延迟,我们 采用下一尺度预测策略来并行生成所需的视觉 token。大量实验表明,我们的方法在多个分割数据集上超越了此前的最先进方法,推理速度显著提升,同时保持了强大的理解能力。关键创新:

  • 新颖框架:首个基于统一多模态理解-生成架构构建的分割范式,消除了任务专用模块。
  • 无需额外头的SOTA:证明统一MLLM无需专用分割头即可实现最先进的分割。
  • 效率与鲁棒性:提出下一尺度预测以加速推理;揭示由粗到细的掩码生成本质上增强了鲁棒性。

在此代码库中,我们发布:

  • ARGenSeg-8B checkpoint
  • 训练、评估和推理代码

🔥 新闻

  • [2026-05-15] 我们发布了推理代码、训练代码以及 checkpoint (用于 ARGenSeg)。
  • [2025-10-23] 我们在 arXiv 上发布了 论文 。
  • [2025-09-18] ARGenSeg 已被 NeurIPS 2025! 🔥🔥🔥

接收。📦 安装

步骤 1:创建 Conda 环境

conda create -n argenseg python=3.10
conda activate argenseg

步骤 2:安装依赖

pip install -r requirements.txt

步骤 3:安装 Flash Attention

wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.7/flash_attn-2.5.7+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
pip install flash_attn-2.5.7+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

步骤 4:下载 VAR 预训练权重

mkdir -p internvl/model/var_vae/pretrained_weights
wget -O internvl/model/var_vae/pretrained_weights/vae_ch160v4096z32.pth \
    https://huggingface.co/FoundationVision/var/resolve/main/vae_ch160v4096z32.pth

步骤 5:下载 ARGenSeg Checkpoint

从以下地址下载 checkpoint: HuggingFace 并将其解压到 pretrained/InternVL2_5-ARGenSeg-8B/.


🎮 演示

指代分割

python demos/seg_demo.py

分割与对话

python demos/seg_demo_chat.py

🏋️ 训练

准备训练数据

理解数据

遵循 InternVL 文档 以获取详细下载说明。

示例 meta_path: example/internvl_1_2_finetune.json

分割数据

请遵循 PSALM 数据集文档 进行数据准备。

示例标注格式: example/anns/refcoco.jsonl
示例 meta_path: example/data_seg.json

混合训练数据

合并用于混合训练的理解和分割 JSON 文件。

示例: example/mix_seg_usd.json

开始训练

sh scripts/train_argenseg.sh

📊 评估

请参阅 eval/README.md 以获取关于以下内容的详细评估说明:

  • RefCOCO 系列(理解与分割)
  • VQA(TextVQA、VQAv2)
  • POPE
  • MMMU

🔗 引用

如果您觉得本工作有用,请引用:

@article{wang2025argenseg,
  title={ARGenSeg: Image Segmentation with Autoregressive Image Generation Model},
  author={Wang, Xiaolong and Ru, Lixiang and Huang, Ziyuan and Ji, Kaixiang and Zheng, Dandan and Chen, Jingdong and Zhou, Jun},
  journal={arXiv preprint arXiv:2510.20803},
  year={2025}
}

👏 致谢

我们衷心感谢以下项目的贡献者: InternVL, VAR、以及 PSALM 在其基础工作和开源精神方面的贡献。


📄 许可证

本项目采用 MIT 许可证 - 详情请参阅 MIT 许可证 详情请参阅文件。

关于

[NeurIPS 2025] ARGenSeg:使用自回归图像生成模型进行图像分割

xlwangdev.github.io/ARGenSeg/

资源

自述文件MIT 许可证动态自定义属性

星标

8 个星标

关注者

0 人关注

复刻

0 个复刻报告仓库

发布版本

软件包

使用者

贡献者

语言