分支标签打开更多操作菜单

最新提交

 

历史记录

6 次提交6 次提交

文件夹和文件

名称名称最后提交消息最后提交日期
资源资源  
数据数据  
imagesimages  
scriptsscripts  
LICENSELICENSE  
NOTICENOTICE  
README.mdREADME.md  

仓库文件导航

LingSante MedGuard

面向医疗 AI 的能力增强型护栏

License: Apache 2.0

技术报告(PDF) · 简介 · 结果 · 方法 · 数据集 · 快速入门


🎯 简介

LingSante MedGuard 用于审查医疗 AI 回答中的安全、合规和伦理风险。它将医疗风险检测与多项专门能力相结合,包括解读规则、检查数值推理、核验证据、定位错误、检测幻觉以及理解多模态医疗实体。

LingSante MedGuardBench 提供 14,588 条医疗风险检测记录 ,分布在 三个 JSONL 文件,涵盖医疗安全、合规和伦理,以及 578 张图片.

  • 🛡️ 医疗安全: 识别可能伤害患者或延误适当治疗的建议,包括药物相互作用和禁忌证。

  • ⚖️ 医疗合规: 根据适用的专业要求、规则和程序评估回答。

  • 🤝 医疗伦理: 识别医疗情境中与伦理原则和保障措施相冲突的内容。

  • 风险评估: 安全、合规和伦理领域的 14,588 条记录。

  • 数据格式: 三个 JSONL 文件和 578 张图片。

💡 主要特性

  • 患者特异性风险评估。 结合患者信息、临床状况和适用要求评估医疗建议。
  • 能力级评估。 评估医疗风险定位、数值问题的可回答性、直接及支持检索的证据核验,以及基于文本和多模态的幻觉检测。
  • 统一的医疗护栏。 通过监督学习和多教师 on-policy 蒸馏,整合一名医疗风险教师模型和六名能力专家模型。
  • 文本和图像覆盖。 同时审查书面医疗回答及其与视觉证据的一致性。

🏆 基准测试结果

结果涵盖完整的评估套件;已发布的数据集涵盖医疗风险检测。

医疗风险检测

原始实验套件(包括 MedSafetyBench)上的 F1 分数(%)。 完整任务 涵盖文本和多模态任务; 文本任务 仅涵盖纯文本任务。

模型 完整任务 F1 文本任务 F1
LingSante MedGuard 27B 87.4 86.6
Claude-Fable-5 84.8 84.5
Gemini-3.1-Pro-preview 82.9 80.9
LingSante MedGuard 9B 82.5 80.4
LingSante MedGuard 4B 82.3 80.5
GPT-5.6-Sol 80.3 79.2
Qwen3.5-397B-A17B 79.7 77.8
Kimi-K3 79.3 76.3
Qwen3.5 27B 79.1 76.5
Qwen3.5 4B 76.1 74.5
Qwen3.5-35B-A3B 74.1 71.2
Qwen3.5 9B 74.0 71.4
Qwen3.6-35B-A3B 73.1 69.3

Medical risk detection results on the original experimental suite

🧩 方法

医疗能力专家

每位专家都提供医疗风险审查所需的一项具体操作。

能力 审查操作
医疗规则理解 将患者事实与规则条件、例外情况及角色约束相匹配。
医疗数值推理 检查公式的适用性、输入是否充分、单位以及计算步骤。
多模态幻觉检测 识别捏造的发现、错误的属性以及缺乏依据的结论。
智能体式医疗安全核验 检索来源,评估其相关性和支持力度,并在必要时收集更多证据。
医疗风险定位 定位导致风险的句子、文本片段或推理步骤。
多模态实体理解 提取医疗实体、数值、单位和关系,同时保留它们之间的对应关系。

两阶段多教师蒸馏

一名医疗风险教师和六名能力专家组成教师库。在 阶段 1,学生通过监督微调,从针对特定任务的教师示范中学习。在 阶段 2,学生生成自己的轨迹,相应的教师则提供词元级反馈,用于在策略更新。这些阶段将各专家的能力整合到一个统一的医疗护栏模型中。

Medical teachers, offline distillation, and on-policy distillation

⚖️ 案例研究:医疗规则理解

Medical rule understanding: prescription request without prior examination

📊 数据集

LingSante MedGuardBench 包含来自 HealthBench、MedHallTune、MedSafetyBench、RxSafeBench 和 MedRepBench 的 14,588 条记录。

每条记录都包含一个 upstream_dataset 字段,用于标识其上游数据集。原始 source 字段用于标识基准测试子集。

source upstream_dataset
healthbench HealthBench
medhalltune MedHallTune
med_safety_bench MedSafetyBench
rx_i RxSafeBench
rx_c RxSafeBench
medrepbench MedRepBench

风险检测

数据集 评估重点 记录数
LingSante MedGuard-安全 医疗安全,包括药物相互作用、用药禁忌和报告解读 10,248
LingSante MedGuard-合规 医疗合规 3,808
LingSante MedGuard-伦理 医疗伦理 532
总计 14,588

数据格式

每个 JSONL 文件每行包含一个 JSON 对象。 user_question 包含输入上下文或用药任务。 model_response 包含正在审查的候选回答,而 Rx-I/Rx-C 记录中不包含该字段。 label 是参考 safe 或 unsafe 标注。样本标识符和原始 source 值会被保留。中的图像路径 images 均相对于仓库根目录,图像文件存储在 图像目录.

🚀 快速开始

下载数据集

克隆仓库以下载数据:

git clone https://code.alipay.com/guoyi.lgy/LingSante-MedGuard.git /absolute/path/to/LingSante-MedGuard

读取任务记录

import json
from pathlib import Path

repo = Path("/absolute/path/to/LingSante-MedGuard")
dataset = repo / "data" / "LingSante MedGuard-Safety.jsonl"

with dataset.open(encoding="utf-8") as stream:
    records = [json.loads(line) for line in stream if line.strip()]

print(f"Loaded {len(records):,} records")
print(records[0].keys())

部署本地模型

需要 Python 3.10+ 和兼容的 CUDA GPU。

pip install -r /absolute/path/to/LingSante-MedGuard/scripts/requirements.txt
bash /absolute/path/to/LingSante-MedGuard/scripts/deploy_model.sh /absolute/path/to/model

该服务默认使用 http://127.0.0.1:8000/v1,模型名称为 LingSante MedGuard。设置 TP 用于张量并行。部署脚本会启动模型服务;它不会运行评估或评分。

📄 许可证

项目代码以及我们的原创标注和改编内容均采用 Apache-2.0 许可证。 第三方数据和图像仍受其原始许可证及条款约束。 详情请参阅 LICENSE 文件及上方的来源列表。

关于

未提供描述、网站或主题。

资源

自述文件许可证动态自定义属性

星标

0 星标

关注者

0 关注

复刻

0 复刻报告仓库

发行版

软件包

使用者

贡献者

语言