Fireworks 免费训练 Muse Glimmer 30B：用 SFT 预测 Kalshi 市场结果

$/$

欢迎参加我们的首届会议 Forge 2026 博客 Train Muse Glimmer 免费训练 Muse Glimmer：我们跑赢 Jev 的秘诀

一次训练，更准预测

一点信心，大有裨益

你敢下注吗？

用 System One 更快决策

你会训练 Muse Glimmer 做什么？

TL;DR

•Muse Glimmer 30B 在 11 月 30 日前可通过监督微调（SFT）免费训练，由此启动我们的 Free Weights Club。

•在未见话题上，微调后的 Muse Glimmer 预测准确率比 Jev 高出 11.2 个百分点，达到 58.3%，而 Jev 为 47.1%。在历史回测中，计入模拟交易手续费后，它还将假设的 1,000 美元变成了 1,071 美元，而 Jev 和 base Glimmer 均亏损。

•在另一项合成基准测试中，Fireworks 优化的 System One 服务栈的服务器处理中位速度比标准 BF16 聊天补全快 2-3 倍。两者使用相同的适配器和单块 B200 GPU；精度和运行时不同。

•用 Kalshi cookbook 试试我们的实验。对于你自己的项目，Managed Training 可根据你的示例运行 SFT 任务，而 Serverless Training API 让你掌控训练循环。

欢迎来到 Fireworks Free Weights Club。限时期间，我们将为你带来新的后训练研究、一份可在此基础上构建的配方，以及针对一款精选模型的免费训练，让你运行自己的实验。

首先是 Muse Glimmer 30B，SFT 训练在 11 月 30 日前免费。它是多模态的，性价比表现强劲，是个人智能体的绝佳起点。

在我们的第一个实验中，我们想知道在 Kalshi 历史市场上训练 Muse Glimmer 能否让它在预测结果时占据优势。我们在未纳入训练集的市场中，将其预测与 Jev 和原始模型进行了对比评估。

我们将训练出的版本称为 tuned Glimmer，将原始模型称为 base Glimmer。在预测准确率上，tuned Glimmer 超过了两个对比模型。在历史回测中，计入模拟手续费后，它将假设的 1,000 美元变成了 1,071 美元，而两个对比模型均亏损。

以下是我们训练了什么、如何测试，以及你如何自己尝试。

免费开始训练。

构建数据集

Jev 给了我们一个要击败的模型；Kalshi 给了我们记分的方式。

已结算市场自带答案：以“纽约最高气温会超过 80°F 吗？”为例。市场结算后，就有了可用来核对预测的结果。挑战在于学到能迁移到下一个问题的东西。

每个示例包含市场的标题、描述、规则和日期，并以已结算结果作为标签。模型没有看到任何市场价格或新闻。

我们将训练、校准和评估分开：

•训练：来自 6,461 个事件的 20,051 个问题，这些事件在 2026 年 1 月 4 日前结算。

•校准：来自 2,000 个事件的 6,232 个问题，这些事件在 1 月 11 日或之后开放，并在 2026 年 4 月 1 日前结算。

•评估：来自 8,765 个事件的 33,712 个问题，这些事件在 2026 年 4 月 8 日或之后开放。

在评估集中，有 3,567 个问题来自 113 个话题族，这些话题族被排除在训练和校准之外。我们报告完整测试集和这个未见话题子集的结果，以考察 Glimmer 对后续事件和不熟悉话题的处理情况。

我们移除了近乎重复的输入、市场开放后所做的规则修改，以及可能泄露结果的后来添加的获胜选项。每个测试事件只评估一次。

一次训练，更准预测

这些问题已经有一组可能的答案。我们使用 Fireworks Training API 和 K 路交叉熵损失来训练 Glimmer，使其为正确结果分配更高概率。该损失只考虑该问题的答案选项，而不是模型的完整词表。

我们使用 SFT 训练了一个 LoRA 适配器，对训练数据只进行了一遍遍历。

在完整测试集上，tuned Glimmer 达到 64.8% 的准确率，而 base Glimmer 为 56.4%，Jev 为 45.9%。

在未见话题上，tuned Glimmer 达到 58.3%，领先于 base Glimmer 的 53.2% 和 Jev 的 47.1%。这使它在训练中未遇到过的话题族上领先 Jev 11.2 个百分点。

常见答案参照始终为是/否问题选择“否”，并为多项选择题选择最频繁的正确选项位置。它使用评估答案来建立该参照，因此提供的是背景信息，而不是代表一个训练过的预测器。

一点信心，大有裨益

51% 的预测和 90% 的预测可能都落在“是”上，但我们会希望区别对待这些判断。在使用 tuned Glimmer 的概率来选择下注并确定下注规模之前，我们根据观察到的结果校准了它的置信度。

我们使用留出的校准集，为每种问题类型拟合了单独的校准温度。这会重新缩放 tuned Glimmer 的概率，而不重新训练其权重。目标是：被赋予 80% 概率的预测应在大约十次中成真八次。

只有 tuned Glimmer 接受了这一校准步骤，base Glimmer 既没有接受任务特定训练，也没有接受校准。我们直接使用 Jev API 中的概率，未做额外校准，这与其预期的开箱即用方式一致。

图表展示了评估数据上的准确率减去置信度。越接近零越好；负值表示过度自信，正值表示信心不足。

Tuned Glimmer 的自信并非虚张声势。当它给某个答案分配至少 80% 的概率时，它在 86.8% 的情况下是正确的，无论是在完整测试集上还是在未见话题子集内都是如此。

它也是有选择性的：完整测试问题中有 14.4%、未见话题问题中有 6.1% 越过了这一阈值。按置信度筛选让我们得到的预测更少，但命中率高得多。

这些高置信度判断存在一种模式。许多是对相关阈值问题的“否”回答，例如某个值是否会超过 100、110 或 120。这些结果往往同向变动，因此正确的预测并非都是相互独立的成功。

你会押注它吗？

一个高置信度的预测仍然需要一个值得的价格。如果一次下注在获胜时支付 1 美元，而模型估计获胜概率为 80%，那么其预期回报为 80 美分。我们的规则要求购买价格加上建模费用至少比该估计低 5 美分。

我们给每个模型 1,000 美元的假设资金，用于分配到符合条件的下注上。每个模型使用相同的规则和同一组合格的历史报价。一个结果必须有超过 50% 的预测获胜概率，且概率越高获得的分配越大。

我们使用每个市场开盘后两小时或之前最后一次完成的每小时买价/卖价报价。模型从未看到这些价格；我们在事后用它们来决定哪些下注符合条件。

在计入建模交易费用后，Tuned Glimmer 的分配最终为 1,071 美元（+7.1%），而 base Glimmer 为 950 美元（−5.0%），Jev 为 919 美元（−8.1%）。我们很高兴让后两者的亏损停留在假设层面。

回测将固定预算分散到历史下注上，包括相互重叠的下注，而不是模拟现金随时间再投资。它允许分数合约，且没有对流动性、滑点或历史费用变化进行建模。

结果在多大程度上取决于测试中恰好包含哪些事件？我们通过对整个事件进行重采样来估计不确定性，并将相关的下注保持在一起。Tuned Glimmer 的 90% 事件自助法区间为 +1.6% 至 +12.4%。

仅在未见话题上，一笔单独的 1,000 美元分配回报了 15.2%，但其更宽的区间 −2.9% 至 +33.5% 仍然包含亏损。这些区间捕捉的是事件之间的变异，而不是模型选择或交易执行中的所有不确定性来源。

我们有理由继续测试。该结果在真实资金下是否依然成立，仍是一个悬而未决的问题。

用 System One 做出更快的决策

对于这项任务，我们需要一组固定答案的概率。生成书面回复增加了我们可以跳过的工作。

Fireworks 的 System One API 直接读取选项概率，而不生成答案文本。它还将关于共享上下文的多个问题打包到一个请求中。每个问题都可以使用该上下文，而无需关注其他问题分支，因此我们可以复用上下文，同时保持各项决策相互独立。

在一项单独的合成基准测试中，使用相同的适配器和单块 B200 GPU，System One 的服务器处理中位速度比标准 BF16 聊天补全快 2-3 倍。在每次请求 16-32 个问题时，它每秒做出的决策数最多高出 3.6 倍。

精度和运行时间有所不同，因此这些结果比较的是完整的服务栈。该基准测试与和 Jev 的 Kalshi 对比是分开的。

该 cookbook 包含通过 /inference/v1/systemone 服务训练后模型的说明。

你会训练 Muse Glimmer 做什么？

你不需要有交易方面的雄心也能尝试这个。你的第一个实验可以从一个你已经纠正过太多次的错误开始。

也许你的智能体总是选错工具。如果你保存它的运行记录，成功的调用和已纠正的错误就可以成为 SFT 的示例。用一部分训练，用另一部分测试，看看你是否让这种纠正发生得更少。

自己试试 Kalshi 实验。该 cookbook 包含代码、评估结果和方法论，并引导你使用 Training API 完成该实验。

对于你自己的实验：

•让 Fireworks 运行任务。将你的示例带到 Managed Training，在应用中或通过 API 开始。

•掌控你的训练循环。使用 Serverless Training API 编写你自己的 SFT 循环。

•让你的编码智能体投入工作。按照 Agent Skills 指南安装 Fireworks 训练技能，然后描述你想训练什么。

Muse Glimmer 30B 在 11 月 30 日前可免费通过 SFT 训练，无需信用卡。推理（包括评估调用）单独计费。