先了解这件事
AI 综述
Sakana AI构建并发布了日语金融基准JFinBench,该基准基于日本6项金融资格考试2026年版,共321题,其中193道选择题、128道记答/论述题、12题含图片。Sakana AI对12个LLM进行评测,Claude Fable 5以95.8分居首,GPT-6 Astra为93.6分,最佳开源权重模型Kimi K3.1 Pro仅83.4分,比GPT-6 Astra低约10分,主要失分原因是日本制度知识不足而非计算。构建流程由编码智能体完成PDF转换、人类全题校验,6场考试约12小时完成。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Sakana AI:Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月16日
Sakana AI:Blog一手
Sakana AI 发布日语金融基准 JFinBench:Kimi K3.1 Pro 落后 GPT-6…
Sakana AI 构建了基于日本 6 项金融资格考试 2026 年版的日语金融基准 JFinBench,共 321 题,其中 193 道选择题、128 道记答/论述题、12 题含图片。评测 12 个 LLM 后,Claude Fable 5 以 95.8 分居首,GPT-6 Astra 为 93.6 分,最佳开源权重模型 Kimi K3.1 Pro 仅 83.4 分,比 GPT-6 Astra 低约 10 分,主要失分原因是日本制度知识不足而非计算。构建流程由编码智能体完成 PDF 转换、人类全题校验,6 场考试约 12 小时完成。