最新提交
历史记录
6 次提交6 次提交文件夹和文件
| 名称 | 名称 | 最后提交消息 | 最后提交日期 |
|---|---|---|---|
| 资源 | 资源 | ||
| 数据 | 数据 | ||
| images | images | ||
| scripts | scripts | ||
| LICENSE | LICENSE | ||
| NOTICE | NOTICE | ||
| README.md | README.md | ||
仓库文件导航
LingSante MedGuard面向医疗 AI 的能力增强型护栏
技术报告(PDF) · 简介 · 结果 · 方法 · 数据集 · 快速入门
🎯 简介
LingSante MedGuard 用于审查医疗 AI 回答中的安全、合规和伦理风险。它将医疗风险检测与多项专门能力相结合,包括解读规则、检查数值推理、核验证据、定位错误、检测幻觉以及理解多模态医疗实体。
LingSante MedGuardBench 提供 14,588 条医疗风险检测记录 ,分布在 三个 JSONL 文件,涵盖医疗安全、合规和伦理,以及 578 张图片.
-
🛡️ 医疗安全: 识别可能伤害患者或延误适当治疗的建议,包括药物相互作用和禁忌证。
-
⚖️ 医疗合规: 根据适用的专业要求、规则和程序评估回答。
-
🤝 医疗伦理: 识别医疗情境中与伦理原则和保障措施相冲突的内容。
-
风险评估: 安全、合规和伦理领域的 14,588 条记录。
-
数据格式: 三个 JSONL 文件和 578 张图片。
💡 主要特性
- 患者特异性风险评估。 结合患者信息、临床状况和适用要求评估医疗建议。
- 能力级评估。 评估医疗风险定位、数值问题的可回答性、直接及支持检索的证据核验,以及基于文本和多模态的幻觉检测。
- 统一的医疗护栏。 通过监督学习和多教师 on-policy 蒸馏,整合一名医疗风险教师模型和六名能力专家模型。
- 文本和图像覆盖。 同时审查书面医疗回答及其与视觉证据的一致性。
🏆 基准测试结果
结果涵盖完整的评估套件;已发布的数据集涵盖医疗风险检测。
医疗风险检测
原始实验套件(包括 MedSafetyBench)上的 F1 分数(%)。 完整任务 涵盖文本和多模态任务; 文本任务 仅涵盖纯文本任务。
| 模型 | 完整任务 F1 | 文本任务 F1 |
|---|---|---|
| LingSante MedGuard 27B | 87.4 | 86.6 |
| Claude-Fable-5 | 84.8 | 84.5 |
| Gemini-3.1-Pro-preview | 82.9 | 80.9 |
| LingSante MedGuard 9B | 82.5 | 80.4 |
| LingSante MedGuard 4B | 82.3 | 80.5 |
| GPT-5.6-Sol | 80.3 | 79.2 |
| Qwen3.5-397B-A17B | 79.7 | 77.8 |
| Kimi-K3 | 79.3 | 76.3 |
| Qwen3.5 27B | 79.1 | 76.5 |
| Qwen3.5 4B | 76.1 | 74.5 |
| Qwen3.5-35B-A3B | 74.1 | 71.2 |
| Qwen3.5 9B | 74.0 | 71.4 |
| Qwen3.6-35B-A3B | 73.1 | 69.3 |
🧩 方法
医疗能力专家
每位专家都提供医疗风险审查所需的一项具体操作。
| 能力 | 审查操作 |
|---|---|
| 医疗规则理解 | 将患者事实与规则条件、例外情况及角色约束相匹配。 |
| 医疗数值推理 | 检查公式的适用性、输入是否充分、单位以及计算步骤。 |
| 多模态幻觉检测 | 识别捏造的发现、错误的属性以及缺乏依据的结论。 |
| 智能体式医疗安全核验 | 检索来源,评估其相关性和支持力度,并在必要时收集更多证据。 |
| 医疗风险定位 | 定位导致风险的句子、文本片段或推理步骤。 |
| 多模态实体理解 | 提取医疗实体、数值、单位和关系,同时保留它们之间的对应关系。 |
两阶段多教师蒸馏
一名医疗风险教师和六名能力专家组成教师库。在 阶段 1,学生通过监督微调,从针对特定任务的教师示范中学习。在 阶段 2,学生生成自己的轨迹,相应的教师则提供词元级反馈,用于在策略更新。这些阶段将各专家的能力整合到一个统一的医疗护栏模型中。
⚖️ 案例研究:医疗规则理解
📊 数据集
LingSante MedGuardBench 包含来自 HealthBench、MedHallTune、MedSafetyBench、RxSafeBench 和 MedRepBench 的 14,588 条记录。
每条记录都包含一个 upstream_dataset 字段,用于标识其上游数据集。原始 source 字段用于标识基准测试子集。
source |
upstream_dataset |
|---|---|
healthbench |
HealthBench |
medhalltune |
MedHallTune |
med_safety_bench |
MedSafetyBench |
rx_i |
RxSafeBench |
rx_c |
RxSafeBench |
medrepbench |
MedRepBench |
风险检测
| 数据集 | 评估重点 | 记录数 |
|---|---|---|
| LingSante MedGuard-安全 | 医疗安全,包括药物相互作用、用药禁忌和报告解读 | 10,248 |
| LingSante MedGuard-合规 | 医疗合规 | 3,808 |
| LingSante MedGuard-伦理 | 医疗伦理 | 532 |
| 总计 | 14,588 |
数据格式
每个 JSONL 文件每行包含一个 JSON 对象。 user_question 包含输入上下文或用药任务。 model_response 包含正在审查的候选回答,而 Rx-I/Rx-C 记录中不包含该字段。 label 是参考 safe 或 unsafe 标注。样本标识符和原始 source 值会被保留。中的图像路径 images 均相对于仓库根目录,图像文件存储在 图像目录.
🚀 快速开始
下载数据集
克隆仓库以下载数据:
git clone https://code.alipay.com/guoyi.lgy/LingSante-MedGuard.git /absolute/path/to/LingSante-MedGuard
读取任务记录
import json
from pathlib import Path
repo = Path("/absolute/path/to/LingSante-MedGuard")
dataset = repo / "data" / "LingSante MedGuard-Safety.jsonl"
with dataset.open(encoding="utf-8") as stream:
records = [json.loads(line) for line in stream if line.strip()]
print(f"Loaded {len(records):,} records")
print(records[0].keys())
部署本地模型
需要 Python 3.10+ 和兼容的 CUDA GPU。
pip install -r /absolute/path/to/LingSante-MedGuard/scripts/requirements.txt bash /absolute/path/to/LingSante-MedGuard/scripts/deploy_model.sh /absolute/path/to/model
该服务默认使用 http://127.0.0.1:8000/v1,模型名称为 LingSante MedGuard。设置 TP 用于张量并行。部署脚本会启动模型服务;它不会运行评估或评分。
📄 许可证
项目代码以及我们的原创标注和改编内容均采用 Apache-2.0 许可证。 第三方数据和图像仍受其原始许可证及条款约束。 详情请参阅 LICENSE 文件及上方的来源列表。
AI 热点

