AI News

热点事件

Sakana AI发布日语金融基准JFinBench

1 篇正式报道1 条事件动态更新于 11月16日 17:13

先了解这件事

AI 综述

Sakana AI构建并发布了日语金融基准JFinBench,该基准基于日本6项金融资格考试2026年版,共321题,其中193道选择题、128道记答/论述题、12题含图片。Sakana AI对12个LLM进行评测,Claude Fable 5以95.8分居首,GPT-6 Astra为93.6分,最佳开源权重模型Kimi K3.1 Pro仅83.4分,比GPT-6 Astra低约10分,主要失分原因是日本制度知识不足而非计算。构建流程由编码智能体完成PDF转换、人类全题校验,6场考试约12小时完成。

AI 根据公开报道生成

最新进展 · 正式报道

Sakana AI 发布日语金融基准 JFinBench:Kimi K3.1 Pro 落后 GPT-6…

事件进展

1 个已确认进展

  1. Sakana AI发布日语金融基准JFinBench

    来源:Sakana AI:Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月16日

  1. Sakana AI:Blog一手

    Sakana AI 发布日语金融基准 JFinBench:Kimi K3.1 Pro 落后 GPT-6…

    Sakana AI 构建了基于日本 6 项金融资格考试 2026 年版的日语金融基准 JFinBench,共 321 题,其中 193 道选择题、128 道记答/论述题、12 题含图片。评测 12 个 LLM 后,Claude Fable 5 以 95.8 分居首,GPT-6 Astra 为 93.6 分,最佳开源权重模型 Kimi K3.1 Pro 仅 83.4 分,比 GPT-6 Astra 低约 10 分,主要失分原因是日本制度知识不足而非计算。构建流程由编码智能体完成 PDF 转换、人类全题校验,6 场考试约 12 小时完成。

关联事件

  1. 相关事件千问发布Qwen4-Max预览版
  2. 相关事件Google在Antigravity上线Gemini 4 Hydrogen
  3. 相关事件百度文心发布ERNIE 5.5 Flash Preview
  4. 相关事件Thinking Machines Lab发布Inkling 2 Small