LLM 在金融市场中的应用

AI革命在2023年推动了对私营和上市公司的狂热投资，并激发了公众的想象力。像ChatGPT这样具有变革性的消费产品由大语言模型（LLM）驱动，这些模型擅长对代表单词或单词片段的token序列进行建模[2]。令人惊叹的是，结构理解能力从学习下一token预测中涌现出来，智能体能够根据简单的用户提示完成翻译、问答和生成类人散文等任务。

毫不意外，量化交易员们提出了这样的问题：我们能否将这些模型转化为下一个价格或交易预测[1,9,10]？也就是说，与其对单词序列建模，我们能否对价格或交易序列建模。事实证明，这是一条有趣的研究路径，它既揭示了生成式AI的诸多方面，也揭示了金融时间序列建模的诸多方面。请注意，接下来的内容会相当技术化。

LLM被称为自回归学习器——即利用序列中先前的token或元素来预测下一个元素或token。在量化交易中，例如股票统计套利等策略，大多数研究关注的是识别自回归结构。这意味着要找到最能预测未来价格的新闻、订单或基本面变化的序列。

问题出在可用于训练模型的现有数据的数量和信息含量上。在2023年NeurIPS会议上，高频交易公司Hudson River Trading展示了用于训练GPT-3的输入token数量与股票市场数据中每年可用的可训练token数量的比较。HRT估算，假设有3000只可交易股票、每只股票每天10个数据点、每年252个交易日、每个交易日23400秒，那么每年约有1770亿个股市token可作为市场数据使用。GPT-3是在5000亿个token上训练的，所以差距并不算大[6]。

但是，在交易语境下，token将是价格、收益率或交易，而不是音节或单词；前者要难预测得多。语言具有底层的语言学结构（例如语法）[7]。不难想象一个人能预测句子中的下一个词，然而同一个人在面对一系列先前交易时，会发现预测下一个收益率极其困难，这也正是没有亿万富翁日内交易者的原因。挑战在于，有非常聪明的人在竞争性地消除市场中的任何信号，使其近乎有效（用经济学家Lasse Pedersen的话说，是“有效地无效”），因而不可预测。没有对手会主动让句子变得更难预测——恰恰相反，作者通常力求让自己的句子易于理解，从而更可预测。

换个角度看，金融数据中的噪声远多于信号。个人和机构进行交易的原因可能并不理性，也可能与企业的任何基本面变化无关。2021年的GameStop事件就是这样一个例子。金融时间序列还随着新的基本面信息、监管变化以及偶尔出现的重大宏观经济转变（如货币贬值）而不断变化。语言的演化速度要慢得多，时间跨度也更长。

另一方面，有理由相信AI的思想在金融市场中会行之有效。AI研究中一个新兴且有望应用于金融的领域是多模态学习[5]，其目标是利用不同模态的数据，例如同时使用图像和文本输入来构建统一模型。借助OpenAI的DALL-E 2模型，用户可以输入文本，模型便会生成图像。在金融领域，多模态工作可能有助于将技术时间序列数据（价格、交易、成交量等）等经典来源的信息，与不同模态的另类数据结合起来，例如Twitter上的情绪或图形交互、自然语言新闻文章和公司报告，或商品中心港口航运活动的卫星图像。在这里，利用多模态AI，人们有可能将所有这些类型的非价格信息纳入进来以进行良好预测。

另一种被称为“残差化”的策略在金融和AI两个领域都很突出，尽管它在两个领域中扮演着不同的角色。在金融领域，结构性“因子”模型将不同资产收益率的同期观测值分解为一个共享成分（市场收益率，或更一般地说是共同的全市场因子的收益率）和一个每个标的资产独有的特质成分。市场和因子收益率难以预测且会造成相互依赖，因此在个体资产层面进行预测时，剔除共同成分、最大化数据中独立观测值的数量往往是有益的。

在Transformer等残差网络架构中，有一个类似的思想：我们希望学习输入X的函数h(X)，但学习h(X)相对于恒等映射的残差，即h(X) – X，可能更容易。在这里，如果函数h(X)接近恒等映射，其残差将接近于零，因此需要学习的内容更少，学习可以更高效地进行。在两种情况下，目标都是利用结构来改进预测：在金融情形中，思路是专注于预测超出整体市场所隐含范围的创新；对于残差网络，重点则是预测相对于恒等映射的创新。

大语言模型（LLM）之所以能有令人印象深刻的表现，一个关键因素在于它们能够在被称为上下文窗口的长跨度范围内辨别词元之间的亲和力或强度。在金融市场中，跨越长跨度集中注意力的能力使得对多尺度现象的分析成为可能，其中市场变化的某些方面可以在非常不同的时间跨度上得到解释。例如，在一个极端，基本面信息（如盈利）可能在数月内被纳入价格，技术现象（如动量）可能在数天内实现，而在另一个极端，微观结构现象（如订单簿失衡）的时间跨度可能是数秒到数分钟。

捕捉所有这些现象涉及在上下文窗口内对多个时间跨度的分析。然而，在金融领域，对多个未来时间跨度进行预测同样重要。例如，一个量化系统可能寻求通过交易从多个在不同时间跨度上实现的不同异象中获利（例如，同时押注一个微观结构事件和一个盈利事件）。这要求不仅预测股票的下一期收益，还要预测预期收益的整个期限结构或轨迹，而当前的Transformer式预测模型只着眼于未来一个时期。

大语言模型在金融市场的另一个应用可能是合成数据创建[4,8]。这可能有几个方向。可以生成模拟的股票价格轨迹，使其模仿市场中观察到的特征，鉴于如上文在可用词元数量方面所强调的，金融市场数据相对于其他来源较为稀缺，这可能极为有益。人工数据可以为元学习技术打开大门，这些技术已成功应用于例如机器人领域。在机器人场景中，控制器首先使用廉价但不一定准确的物理模拟器进行训练，然后使用昂贵的真实机器人实验进行更好的校准。在金融领域，模拟器可用于粗略地训练和优化交易策略。模型将学习诸如风险厌恶和分散化等高层概念，以及诸如缓慢交易以最小化交易价格影响等战术概念。然后，可以利用宝贵的真实市场数据来微调预测，并精确确定最优交易速度。

金融市场从业者往往对极端事件感兴趣，即交易策略更有可能经历重大收益或损失的时刻。能够从极端情景中采样的生成模型可能会找到用武之地。然而，极端事件按定义很少发生，因此确定正确的参数并从相应分布中采样数据充满困难。

尽管有人怀疑大语言模型将在量化交易中找到用武之地，但它们可能会促进基本面分析。随着AI模型的改进，很容易想象它们能帮助分析师完善投资论点、发现管理层评论中的不一致之处，或找到相关行业与企业之间的潜在关系[3]。本质上，这些模型可以为每位投资者提供一个查理·芒格。

当前生成式AI革命令人惊讶之处在于，它几乎让所有人——学术研究人员、前沿科技公司和长期观察者——都措手不及。构建越来越大的模型会带来我们今天所见的涌现能力，这一想法完全出乎意料，且仍未被完全理解。

这些AI模型的成功极大地推动了人力和金融资本流入AI，这反过来又应导致更好、能力更强的模型。因此，尽管GPT-4类模型接管量化交易的可能性目前看来不大，但我们主张保持开放的心态。期待意外一直是AI业务中一个有利可图的主题。

在学术语境或书籍中引用时，请将本作品引用为