Artificial Analysis 上线 HealthBench 与 HealthBench…
HealthBench and HealthBench Professional: Evaluating models in realistic health conversations | Artificial Analysis
Artificial Analysis 为 OpenAI 的 HealthBench 和 HealthBench Professional 两个健康对话基准上线排行榜，前者含 5000 段与普通用户及卫生工作者的对话，后者为 525 段全部面向临床医生的对话。HealthBench Professional 上 GPT-6 Astra（max）以 66.0% 的长度调整分居首，GPT-6.1 Sol（max）为 65.1%，Claude Sonnet 5.5（max with fallback）为 63.0%。HealthBench 上 Claude Sonnet 5.5（max with fallback）以 62.1% 领先，DeepSeek V4.1 Flash（max）为 60.9%；Claude Opus 5.5 与 Claude Fable 5.1 平均回答约 5900 字符，长度调整后失分超过 11 分。
推荐理由
精选AI 评分 60
原文给出两个健康对话基准的榜单与长度惩罚细节，可看到长回答在评分中的实际代价。
主题
正文 · AI 翻译
Artificial Analysis
所有文章
2026年10月19日 健康与健康专业版：在真实健康对话中评估模型
我们为 HealthBench 和 HealthBench Professional 推出排行榜，这两个基准用于评估 AI 模型在真实健康对话中的回应表现
HealthBench 和 HealthBench Professional 是 OpenAI 推出的基准，依据医生制定的评分标准，对模型在真实健康对话中的回复进行评分。
HealthBench 用 5,000 段与普通用户和卫生工作者的健康对话来测试模型。这些对话涵盖从紧急转诊到全球健康的七个主题，每条评分标准都归属于五个维度之一：准确性、完整性、沟通质量、情境感知和指令遵循。HealthBench Professional 则是规模更小的 525 段对话，与 HealthBench 不同，这些对话全部面向临床医生。它们涵盖问诊、写作和研究任务，并包含旨在挑战模型的对抗性和高难度对话。
我们同时报告原始分数（获得的评分标准得分占比）和 OpenAI 报告的长度调整分数。长度调整分数会降低超过 2,000 字符的回复得分，并提高较短回复的得分。与 OpenAI 的原始实现一致，回复由 GPT-5.4 (low)（HealthBench Professional）和 GPT-4.1（HealthBench）评分。
HealthBench Professional 的主要结果：
➤ GPT-6 Astra 和 GPT-6.1 Sol 位居榜首：GPT-6 Astra（max）的长度调整分数为 66.0%，与 GPT-6.1 Sol（max，65.1%）相当，并领先于 Claude Sonnet 5.5（max with fallback，63.0%）
➤ OpenAI 模型占据了整个分数与每任务成本帕累托前沿：该帕累托前沿由 GPT-6 Luna（max，61.9%，每任务 $0.004）经 GPT-6 Sol（max，62.3%，$0.036）和 GPT-6.1 Sol（max，65.1%，$0.047）延伸至 GPT-6 Astra（max，66.0%，$0.27）。GPT-6 Luna（max）的得分比 GPT-6 Astra（max）低 4 分，成本却不到后者的 2%
➤ Claude Opus 5.5 和 Claude Fable 5.1 受到最大的长度惩罚：两者平均每个回答约 5,900 字符，接近 2,000 字符阈值的 3 倍，调整后失分超过 11 分。Claude Opus 5.5（max with fallback）的原始分数最高（71.4%），但降至第六位（59.9%）。GPT-6 Sol（max）是唯一平均低于 2,000 字符（约 1,600）的模型，也是唯一分数上升的模型
HealthBench 的主要结果：
➤ Claude Sonnet 5.5 位居 HealthBench 榜首：Claude Sonnet 5.5（max with fallback）的长度调整分数为 62.1%，领先于 DeepSeek V4.1 Flash（max，60.9%）和 GPT-6.1 Sol（max，58.5%）
➤ GPT-6 Luna、DeepSeek V4.1 Flash 和 Claude Sonnet 5.5 构成分数与每任务成本帕累托前沿：GPT-6 Luna（max）以每任务 $0.002 的得分 54.6%，DeepSeek V4.1 Flash（max）以每任务 $0.005 的得分 60.9%。Claude Sonnet 5.5（max with fallback）的平均每任务成本为 $0.08，比 DeepSeek V4.1 Flash 贵约 16 倍，而分数仅提高约 1 分
➤ 较短的答案以完整性换取沟通质量：每条 HealthBench 评分标准都标记为五个维度之一。完整性检查回复是否包含所有重要信息，而沟通质量检查回复是否清晰、结构良好，并且长度和细节程度恰当。GPT-6 Sol（max）的答案最短（约 1,000 字符），原始沟通质量分数最高（81%），但完整性分数最低（34%）。Claude Sonnet 5.5（max with fallback）在完整性上领先（63%）
完整排行榜请见此处：
宣布推出 AA-PersonalityBench：衡量 AI 模型的沟通方式
AA-PersonalityBench 衡量 AI 模型的个性和沟通风格。由 LLM 评审组成的小组按 30 项个性特质对答案进行两两比较，这些特质汇总为 8 项个性指数，同时直接从每个回复中测量 21 项沟通特征。
2026年10月19日
Reflection 发布了 Beam，这是他们的首次模型发布
Reflection 的首个模型 Beam 在 Artificial Analysis 智能指数上得分为 30，在美国开放权重模型中排名第 2
2026年10月16日
在 AA-AgentPerf 上，NVIDIA Vera Rubin NVL72 每兆瓦的总吞吐量最高可达 GB300 NVL72 的约 5.7 倍，首批结果涵盖 DeepSeek V4 Pro、DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3。
2026年10月15日