AI 热点

Streamhouse 中的时间序列模型:新前沿与应用场景

Hugging Face更新于 11月19日 02:46

Time-Series Models in the Streamhouse: A New Frontier and Use Cases

AI 导读

Streamhouse 将时间序列模型接入实时数据流,让应用和 AI 智能体基于最新业务信息进行预测与异常检测。Apache Flink 负责处理数据并调用模型,紧凑模型可在标准 CPU 上随流式管道运行。其场景涵盖每 10 分钟预测未来 4 小时生产质量、销售异常检测,以及按新数据刷新的 28 天需求预测。

正文 · AI 翻译

Streamhouse:面向智能体时代的实时数据与智能

企业持续不断地运营。订单不断更新、款项陆续到账、发货出现延迟,库存也全天都在变化。然而,这些事件背后的信息往往分散在不同系统中,而这些系统的更新时间各不相同,或依赖定期批处理。当应用和 AI 智能体依据过时或不一致的信息采取行动时,它们可能会做出已无法反映实际情况的决策。

Streamhouse 通过持续采集、处理、治理和提供当前业务上下文来解决这一问题。Confluent 的数据流平台汇集了五项能力——连接、流式传输、处理、治理和查询——使应用、分析系统和智能体能够获取这些上下文。Apache Flink 在数据流动过程中对其进行转换和丰富,而 Lightning Tables 则提供对当前状态的低延迟访问。

图 2. Confluent 上的 Streamhouse:从现有数据源到可供智能体、应用、分析系统和湖仓在任何位置使用的当前业务上下文。

时间序列模型为这一架构增添了预测能力。Flink 可以准备数据、调用预测和异常检测功能,并将结果与产生这些结果的事件一并提供。其他模型——包括大语言模型、统计模型和专用机器学习系统——也可以在适当的环节发挥作用。

图 3. Streamhouse 的智能层:时间序列模型、大语言模型、机器学习模型和统计模型,以及贯穿这些模型的编排。

这种方法可以通过以下三种方式帮助团队:

- 扩展模型开发。预训练模型可以为众多时间序列提供共同的起点,减少为每个时间序列分别开发和维护独立模型的需要。

- 随数据变化刷新预测。预测可以在流式工作流中纳入近期观测结果,具体取决于模型的要求和管道的配置。

- 让信号更接近决策环节。预测结果和异常信号可以更快地传送至运营应用,团队可在其中将其与业务上下文、规则和人工判断相结合。

- 在 CPU 上运行紧凑模型。这些模型体积足够小,可以在云端或本地环境中,使用标准 CPU 与流式管道一同运行,从而减少对专用 GPU 基础设施的需求,并简化部署。

图 4. Confluent 上的流原生时间序列智能

真实企业中的关键任务用例

以下场景说明了组织如何将时间序列模型、流式数据和应用逻辑结合起来。

用例 1|生产优化:确保每盒产品都符合规格

冰淇淋生产线的质量取决于膨胀率,即搅打进混合物中的空气量。目前,工艺工程师和操作员依靠冰淇淋装盒后进行的质量保证实验室测量。如果一批新的奶油原料或某个温暖潮湿的日子改变了工艺状况,那么等团队看到结果时,数小时的产量可能已经需要返工。

为提前发现问题,一个预训练的 TTM 模型每 10 分钟读取一次 SCADA 遥测数据和质量保证测量值。它会预测未来四小时内预计符合规格的产品占比,以及这一占比的可能范围。

当预测值低于工厂目标时,优化流程会评估冷冻机出料温度和气流的不同组合。由于模型将这些控制变量作为输入,因此它可以在生产线发生任何变化之前为每个选项评分。操作员负责批准建议的设定值,而常规调整则可在预先定义的防护约束内实现自动化。

其结果是一个更加主动的流程:减少返工、降低每吨产品的能耗,并提高质量一致性。同样的方法也可应用于烤炉、干燥机、窑炉和磨机。

图 5. 产品质量预测可帮助操作员在进行调整前评估冷冻机设定值。

用例 2|异常检测:从发出标记到采取正确行动

一家门店运营团队负责监控数百家门店中数千种商品的销售情况。固定阈值往往会将可预见的周末销售高峰标记为异常,却会漏掉较为隐蔽的变化,例如某种商品的销量低于预期。随着警报不断累积,团队越来越难以判断应该将注意力集中在哪里。

AI_DETECT_ANOMALIES 会根据近期历史为每个销售时间序列确定一个预期范围。系统会按照团队选择的置信水平,将每个新读数与该范围进行比较,无须为每种商品和每家门店分别训练模型。

当销售额超出预期范围时,可以将这一信号与库存和门店数据相结合,以帮助识别可能的原因并建议下一步措施,例如检查货架或补充库存。同样的方法也可应用于机器传感器、API 遥测数据、仪表读数和支付量。

图 6. 将门店销售额与预期范围进行比较。在图示视图中,周期性高峰仍处于该范围内,因此未被标记为异常。

用例 3|供应链规划:覆盖每个 SKU、每家门店和每个小时

品类规划人员和补货团队需要确保所有门店都有商品供应,同时避免持有过多库存。但预测可能每周只更新一次,而且往往侧重于畅销商品,长尾商品则采用较简单的规则管理。当两个规划周期之间的销售模式发生变化时,可能一家门店缺货,而另一家门店库存过多。

借助 AI_FORECAST,预训练模型可以预测不同商品和门店的需求。在本例中,它生成未来 28 天的预测及 P10–P90 区间,并随着新销售数据的到来持续更新。规划应用将预测结果与库存、交付周期以及规划人员选定的服务水平相结合,以计算再订货点。

当预计库存将降至该点以下时,智能体可以起草采购订单以供审核。同样的方法也可用于备件、人员配置、ATM 现金和能源需求规划。

图 7. 门店级需求预测为燕麦奶的再订货点和拟议采购订单提供依据。

用例 4|欺诈与安全:每张卡都有自己的正常模式

欺诈防控团队已经依靠复杂的规则和模型来评估交易。一个持续存在的挑战是,适用于众多持卡人的统一阈值可能无法反映每个人通常的消费方式。

时间序列信号可以补充这种个体化背景信息。在本例中,系统会根据银行卡近期的历史记录,将每笔付款与预期消费范围进行比较。超出该范围的交易会与其他信号和业务规则一起,作为额外输入传递给银行现有的欺诈检测系统。

随后,银行可以决定批准付款、要求额外身份验证,还是开展进一步调查。相关决定及其所依据的信号均可保留以供审核。

图 8. 在一个示例性欺诈防控工作流中,付款超出该银行卡的预期消费范围会触发加强身份验证。

用例 5|交易:根据市场成交节奏安排订单

交易执行团队需要将一笔大额订单拆分成多笔较小的交易,同时控制其对市场的影响。历史成交量曲线可以作为起点,但当天的交易活动可能与平均水平大不相同。

对于每根一分钟 K 线,PatchTST-FM 都会预测未来 30 分钟的成交量及 P10–P90 区间。执行算法使用该预测,在交易团队设定的参与率上限内安排订单执行节奏。

如果新闻事件改变了市场活跃度,算法可以暂停并重新规划。如果交易比预期清淡,它可以缩小每笔分拆订单的规模,并发出订单可能需要更长时间才能完成的信号。每次预测及由此产生的执行决策均可保留在审计跟踪记录中。

图 9. 成交量预测为一笔 100,000 股订单的拟议执行计划提供依据。

用例 6|语义搜索:找出所有与此相似的信号

可靠性工程师在调查异常的传感器模式时,可能希望了解工厂其他位置是否出现过类似情况。

TSPulse 可以生成时间序列窗口的表征,以支持相似性搜索。在单独构建的应用中,可以为这些表征建立索引,并用其检索不同设备的历史模式。工程师可以搜索峰值后恢复、逐渐上升或阶跃变化等形态,然后查看相关的维护记录和运行条件。

该应用需要嵌入流程、索引以及对相关背景信息的访问权限。相似性可以帮助缩小调查范围,但其本身并不能确定根本原因。

图 10. 时间序列嵌入可以支持在不同设备及其他信号中搜索相似模式。

行业特定应用

相同的模型和构建模块可以支持不同行业的各种工作流:

工业 AI:从传感器到设定值。工厂经理希望每一批产品都符合规格,并且没有任何生产线因意外情况而停工。SCADA、质量保证实验室和电表的数据流会在到达时得到预测。当质量开始偏离时,生产优化会调整设定值;异常检测会标记任何未编写规则来识别的读数;语义搜索则会找出所有曾在故障前呈现相同模式的泵。设定值、工单和警报会在当前生产周期内送达现场,而不是等到下一班次报告时才传达。

图 11. 从传感器到设定值的工厂数字孪生。一批新的奶油原料使膨胀率偏离目标。预测系统读取生产线数据,智能体提出新的出料温度和气流设置,操作员批准后,盒装产品重新达到规格要求。模拟数据。

零售:门店及其供应链。门店经理希望周六货架充足,同时避免周一库存过剩。系统会预测每家门店中每种商品的销售、天气和促销数据流。供应链规划负责确定订货量,异常检测会发现空货架或配送延误,欺诈与安全系统则会拦截可疑银行卡。订单、门店任务和交易拦截指令会在货架售罄前发出。

图 12. 门店及其供应链的数字孪生。燕麦奶即将开展促销。预测系统将促销因素计入预测并设定再订货点,智能体提交采购订单,规划人员批准后,促销当天货架备货充足。模拟数据。

银行业:支付与交易台。欺诈防控负责人希望在不误拦正常客户的情况下阻止银行卡测试,而交易员则希望在不推动价格波动的情况下完成一笔大额订单。系统会逐笔事件地根据每张银行卡和每个交易标的各自的预期模式进行评分。欺诈与安全系统会在授权前拦截异常刷卡,异常检测会发现不寻常的资金流,而交易系统则根据预测成交量控制每笔订单的执行节奏。

航空业:枢纽运营、机队与航线网络。运行控制人员希望在仍有时间采取行动时就预见运营中断。系统会实时预测并检查发动机、登机口和航线网络数据流。异常检测会发现逐渐偏离正常范围的发动机读数,生产优化会重新调配登机口和机组人员,供应链规划则会将备件预先部署到飞机将要抵达的地点。

在每个行业中,Streamhouse 都承担着相同的工作:Flink 运行 Granite 模型以进行预测、检测和优化,Streaming Agents 根据实时上下文采取行动,而人员负责审批例外情况。

探索 Confluent 上的模型,了解时间序列智能如何支持实时决策。

了解更多

代码和笔记本:github.com/ibm-granite/granite-tsfm

使用 IBM Granite 时间序列模型进行集成预测

IBM 发布采用商业友好型许可证、达到当前最佳水平的 Granite Time Series PatchTST-FM-r2 模型

该作者的更多文章

Palette:教小模型以你的设计语言制作演示文稿

相同模型,不同框架:CUGA、Hermes 与 Deep Agents——何时应选择 CUGA?

来源

Hugging Face