分支标签打开更多操作菜单

最新提交

 

历史

17 次提交17 次提交

文件夹和文件

名称名称最后提交信息最后提交日期
推理推理  
强化学习强化学习  
SFTSFT  
轨迹示例轨迹示例  
资源资源  
README.mdREADME.md  

仓库文件导航

DR-Venus

迈向仅用 10K 开放数据的前沿边缘级深度研究智能体

GitHub DR-Venus-4B-SFT DR-Venus-4B-RL Hugging Face Collection arXiv

新闻  |  概览  |  主要结果  |  数据流水线  |  演示  |  快速开始  |  引用


DR-Venus 是一个 4B 参数 的深度研究智能体,训练 完全基于开放数据. 它在多个深度研究基准上确立了新的小模型前沿,表明在边缘规模下,通过精心的数据整理和有效的训练策略,可以涌现出强大的智能体能力。

DR-Venus overview figure

图 1:DR-Venus 训练流水线概览。

骨干模型 Qwen3-4B-Thinking-2507
训练数据 仅开放数据(REDSearcher 数据)
工具协议 search + visit
交互步数上限 最多 200 步工具调用
上下文长度 200K+(训练)/ 256K(推理)

🔥 新闻

📖 概览

DR-Venus 的核心目标是在有限的开放数据监督下,通过同时提升 数据质量 和 有效的数据利用. 该项目包含三个阶段:

阶段 描述 代码
1. SFT 将原始 REDSearcher 轨迹转换为统一的智能体格式,清理嘈杂的工具交互,筛选正确性,并在监督微调前通过轮次感知重采样对长程轨迹进行加权。 SFT/
2. 强化学习 从 SFT 检查点出发,应用带有 IGPO风格信息增益奖励和轮次级格式感知惩罚的长程强化学习。 RL/
3. 推理 使用与训练期间相同的 search + visit 工具协议部署训练好的模型。 Inference/

📊 主要结果

DR-Venus-4B 在多个深度研究基准上确立了强大的小模型前沿。

与小规模开放模型的比较

模型 BrowseComp BrowseComp-ZH GAIA(文本) xBench-DS-2505 xBench-DS-2510 DeepSearchQA
DeepDive-9B-SFT 5.6 15.7 -- 35.0 -- --
DeepDive-9B-RL 6.3 15.1 -- 38.0 -- --
WebSailor-7B 6.7 14.2 37.9 34.3 -- --
OffSeeker-8B-SFT 10.6 24.2 47.6 48.0 -- --
OffSeeker-8B-DPO 12.8 26.6 51.5 49.0 -- --
WebExplorer-8B-RL 15.7 32.0 50.0 53.7 23.0 17.8
AgentCPM-Explore-4B 24.1 29.1 63.9 70.0 34.0 32.8
DR-Venus-4B-SFT 26.8 35.7 65.4 69.0 35.3 37.7
DR-Venus-4B-RL 29.1 37.7 64.4 74.7 40.7 39.6

关键要点:

  • DR-Venus-4B-SFT 已在大多数跟踪基准上超越此前的小型开放智能体。
  • DR-Venus-4B-RL 在 SFT 的基础上进一步提升: +2.3 在 BrowseComp 和 +2.0 在 BrowseComp-ZH 上。
  • RL 主要提升长程执行的可靠性、格式稳定性以及工具使用的校准。

DR-Venus Pass@K results on BrowseComp and BrowseComp-ZH

图 2:在 BrowseComp 和 BrowseComp-ZH 上的 Pass@K 对比。

📦 数据流水线

SFT 流水线基于开放的 REDSearcher 轨迹,并专注于让有限的监督对小模型更有用。

Raw REDSearcher Trajectories (10,001)
  │
  ├── Structural Cleaning    ── environment alignment, tool normalization,
  │                              disallowed-tool pruning, duplicate removal
  ├── Correctness Filtering  ── keep trajectories with correct final answers
  │                              → 9,365 trajectories
  └── Turn-Aware Resampling  ── upweight longer trajectories to emphasize
                                 deep research behavior
                                 → 18,745 final SFT instances

对于强化学习,我们使用从 REDSearcher 强化学习数据源中整理出的开放问答监督数据。 REDSearcher 强化学习数据源.

✨ 演示

DR-Venus 演示视频

DeepResearch on problem:"《真探》第一季里有一句类似“useless spin”的台词出现在第几集?".

DR-Venus Demo

🚀 快速开始

每个子目录都有各自的依赖项和入口脚本。完整详情请参阅各子项目的 README。

1. 推理

使用以下命令运行训练好的模型: search 以及 visit 工具:

cd Inference
pip install -r requirements.txt

# Configure API credentials used by the tool server first
bash run_demo.sh

# Or launch the web demo
bash run_web_demo.sh --model_path <MODEL_PATH> --num_gpus <NUM_GPUS>

请参阅 Inference/README.md 以获取完整设置指南。

2. SFT

准备清洗后的轨迹并训练 SFT 检查点:

cd SFT
pip install -e .
pip install -r requirements.txt

# Optional: convert raw RED trajectories into SFT-ready parquet
python data_clean/prepare_trajectories.py \
  --input <RAW_PARQUET_OR_DIR> \
  --output-dir <OUTPUT_DIR>

# Run supervised fine-tuning
bash train_sft.sh

请参阅 SFT/README.md 以了解数据格式、环境变量和检查点合并。

3. 强化学习

从 SFT 检查点继续,进行长程强化学习:

cd RL
pip install -r requirements.txt

# Edit .env and train_igpo.sh first
bash train_igpo.sh

请参阅 RL/README.md ,用于奖励配置、rollout 设置和故障排查。

🔌 外部服务

两者 Inference/ 和 RL/ 依赖外部工具和模型端点。SFT 则 不需要 需要这些。

服务 用途
Serper 网页搜索
Jina Reader 网页抓取
兼容 OpenAI 的 API 页面摘要
兼容 OpenAI 的评判模型 RL 奖励评估

📁 仓库结构

DR-Venus/
├── README.md
├── assets/
│   ├── dr-venus-overview.png
│   └── dr-venus-passk.png
├── SFT/
│   ├── data_clean/          # RED trajectory conversion & cleaning
│   ├── scripts/             # Checkpoint merge utilities
│   ├── sft_shells/
│   ├── train_sft.sh
│   └── README.md
├── RL/
│   ├── configs/
│   ├── data/
│   ├── tool_server/
│   ├── train_igpo.sh
│   └── README.md
├── Inference/
│   ├── tool_server/
│   ├── run_demo.sh
│   ├── run_web_demo.sh
│   └── README.md
└── model_cards/

🤝 致谢

DR-Venus 建立在多个强大的开源基础之上:

📝 引用

@article{venus2026drvenus,
  title={DR-Venus: Towards Frontier Edge-Scale Deep Research Agents with Only 10K Open Data},
  author={Venus Team and Dai, Sunhao and Deng, Yong and Lin, Jinzhen and Song, Yusheng and Wang, Guoqing and Wu, Xiaofeng and Zhou, Yuqi and Yang, Shuo and Ying, Zhenzhe and Zhang, Zhanwei and Meng, Changhua and Wang, Weiqiang},
  journal={arXiv preprint arXiv:2604.19859},
  year={2026}
}

由 Venus 团队用心打造

关于

未提供描述、网站或主题。

资源

Readme活动自定义属性

星标

98 星标

关注者

0 关注者

分支

11 分支报告仓库

版本发布

包

使用方

贡献者

语言