- 一次构建,随处服务:Feature Views 统一批处理和流式特征,用于训练和服务。
- 实时个性化:利用实时客户行为对优惠进行排序,p95 延迟为 34 毫秒。
- 加速实施:使用即用型 Solution Accelerator 部署端到端推荐系统。
实时个性化取决于能否理解客户当下的需求。当零售银行客户查看账户、浏览信用卡或打开贷款计算器时,每一次交互都传递出他们当前的意图。相关的优惠需要在客户仍处于会话中时送达。
难点在于如何让模型获取这一意图。原始点击流数据必须聚合为时间窗口特征,用于两个目的:基于历史值在特定时间点的状态进行训练,以及使用当前值以毫秒级延迟提供预测。分别构建这些管道会产生重复的特征定义,这些定义可能随时间漂移并降低模型准确率。
Databricks Feature Views 通过让您一次定义特征、同时用于训练和服务来解决这一问题。在本博客中,我们将介绍一个开源 Solution Accelerator ,它使用 Feature Views 为金融服务构建实时 next-best-offer(NBO)推荐系统。

该加速器包含两部分:一个使用批量特征的推荐器,以及一个增加流式会话内意图的扩展。两者都在 Databricks 上端到端构建,并附带可克隆和部署的可运行 notebook。
用于训练和服务的、一致的实时特征
实时推荐既需要一致性,也需要速度。特征在训练和服务期间必须以相同方式计算,以避免训练/服务偏差,这种偏差会降低模型准确率。在推理时,这些特征还必须在毫秒内完成检索和评分。
传统上,要同时满足这两项要求,就意味着维护两套独立的系统:一套用于训练特征的批量管道,以及一套为在线服务手写的流式作业。这会产生可能随时间漂移的重复逻辑。
Feature Views 消除了单独定义特征的需要。您只需声明一次逻辑,Databricks 便会在训练和服务中复用它:
- 批量特征 会被物化到离线 Delta 表中,用于时间点正确的训练,并物化到在线存储中,用于低延迟服务。
- 流式特征 会持续聚合到在线存储中,而历史值则从源事件按时间点计算,用于训练。与批量特征不同,它们不会被物化到离线存储。
在训练时, create_training_set API 会检索每个带标签事件当时存在的特征值,从而防止未来数据泄漏。在推理时, 模型服务 端点使用在线存储获取批量特征, customer_id.
两个工作流使用相同的特征定义,避免分别实现的离线和在线转换之间出现不一致。
实时 next-best-offer 推荐
该加速器为零售银行实现了实时 next-best-offer(NBO)推荐器。当客户浏览账户、探索信用卡或使用贷款计算器时,系统会对一个 offer 目录(包括信用卡升级、储蓄产品和个人贷款)进行排序,以便在会话期间推荐最相关的选项。
该推荐器将稳定的客户上下文(如余额、支出、客户年限和风险等级)与捕获会话内意图的近期点击流活动相结合。单个排序模型同时使用这两类数据,而 Feature Views 则确保特征定义在离线训练和在线服务之间保持一致。
我们如何构建它
该加速器包含三个步骤,以可运行的 notebook 形式交付,分为两个部分,它们共享一个目录、schema、在线存储和特征定义。

步骤 1:定义批量和流式特征
Feature Views 让您能够使用相同的方法在批量表和实时 Kafka 流上声明特征:
特征 | 声明为 | 它给模型带来什么 |
30天平均余额 |
| 滚动行为 |
90天支出 |
| 固定周期行为 |
忠诚度等级、风险区间、收入、客户年限 |
| 稳定的客户上下文 |
过去 10 分钟内的类别浏览量 |
| 最新的会话内意图 |
30天类别兴趣 |
| 长窗口,新鲜的前沿 |
支出收入比 |
| 按请求计算得出 |
对于流式特征,将声明指向 Kafka 主题而不是表。Feature Views 会持续将事件聚合到在线存储中,无需单独手写流式作业,也无需重复特征逻辑。
SawtoothWindow 使更长的流式窗口变得实用。例如,随着新事件到达,30天类别计数保持最新,而无需为每个事件重新计算整个历史。
步骤 2:使用时间点正确的特征进行训练
借助 特征工程 SDK,时间点连接会重建每个特征在历史标签对应时刻的取值,从而防止未来数据泄漏。生成的训练集用于训练一个在 Unity Catalog 中注册的 LightGBM 排序器。
由于训练和服务使用相同的特征声明,特征不会因分别实现的离线和在线转换而产生偏差。
步骤 3:实时提供推荐
该排序器运行在针对路由优化的 Model Serving 端点上。每个请求包含 {customer_id, candidate offers, session context}该端点按 key 从在线存储中检索客户特征,并直接对全部 40 个 offer 打分,无需额外的候选筛选步骤。
第二个经过路由优化的 Feature Serving 端点会暴露特征值,使应用能够展示某个 offer 为何被选中,而无需直接查询在线存储。

对延迟、特征新鲜度和吞吐量进行基准测试
对于实时推荐器而言,最重要的两项指标是:一次点击多快能成为模型可见的特征,以及训练和服务是否会产生完全相同的特征值。
我们使用其最小配置对该加速器进行了端到端基准测试:一个小型服务端点和一个单节点在线存储,未做任何调优。流式事件在约十分之一秒内变为模型可见,而训练路径和服务路径产生的值完全一致。
每组条形图分别显示中位数(p50)和第95百分位(p95)延迟。前两组衡量请求延迟,可直接比较。第三组衡量特征新鲜度,即从事件摄取到在线可用的时间,而非用户等待的时间。虚线标出了两条服务路径均满足的 50 ms 预算。
在最小端点规格下,一次完整的排序请求(包括在线特征检索和推理)可在 50 ms 预算内完成。加入实时流式特征后,延迟仅增加 3-4 ms。
吞吐量与容量规划
排序端点持续承受约每秒 56 次请求(RPS),而 Feature Serving 端点在 p95 延迟超过 50 ms 之前持续承受约 390 RPS。
实测吞吐量跟踪的并发数除以服务时间,误差在 15% 以内,由此得出一个实用的容量规划公式:
required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)
根据这些结果,要在 50 ms 的 p95 服务级别目标(SLO)内支持每秒 150 次排序请求,需要并发数为 12。
我们如何测量
我们使用了加速器的基准测试 notebook,采用热端点、区域内客户端和轻负载。请求键通过 Zipfian 分布分配给 2,000 个客户以增加缓存未命中,排序延迟测得 p50 为 33 ms,p95 为 48 ms.
我们按事件测量了特征新鲜度,即从 Kafka 写入到该值在在线存储中可读的整个过程。为保持一致性,我们使用空值安全相等比较,对每位客户将离线物化值与在线存储进行了对比。
这些结果有两个局限。第一,排序端点使用缩容到零(scale-to-zero),因此空闲期后的第一个请求可能产生数十秒的冷启动。第二,所报告的延迟合并了特征检索和推理。因此,27 ms 的测量值不能直接与仅报告特征读取延迟的基准测试相比较。
业务价值:更快的迭代,可衡量的结果
该加速器展示的是一个可运行的实时推荐器,而非已被验证的收入提升。由于它使用合成数据,我们不声称转化率有所改善。相反,它为团队提供了一个衡量业务影响的起点。
- 更少的流水线维护: 单一特征层取代了三条手工维护的流水线。批处理、流式处理和在线服务共享声明式定义,并通过 Unity Catalog 中的治理与血缘追踪来支持受监管金融服务领域的审计。
- 更快的实施: 克隆仓库、部署捆绑包并运行。第 1 部分提供一个带在线特征查询的受治理排序器,而第 2 部分无需单独的特征栈即可加入实时会话内意图。
- A/B 测试的基线: 使用每个符合条件的会话的增量接受报价数和下游贡献毛利,将流式、意图感知排序器与仅批处理模型进行对比,并以投诉率和退出率作为护栏指标。
在生产环境上线之前,团队还必须实施资格、同意、适当性和抑制控制。对报价进行排序是建模步骤,而不是最终的报价决策。该加速器演示的是特征工程和服务基础设施,而不是这些业务规则。
开始使用 Solution Accelerator
该加速器让你可以从批量特征起步,随后无需重建特征基础设施即可加入实时流式处理。
- 第 1 部分 — Feature Views 基础: 克隆仓库,配置 Databricks CLI 配置文件,部署捆绑包并运行第 1 部分,以构建一个带在线特征查询的受治理排序器。
- 第 2 部分 — 实时流式处理: 配置 Unity Catalog Kafka 连接和 Amazon MSK 可达性,然后运行第 2 部分。此部分复用第 1 部分的目录、特征、在线存储和排序器。
- 演示与监控: 启动推荐器 Databricks 应用并打开 AI/BI 延迟仪表板。
使用 声明式自动化捆绑包(DABs) 来部署该加速器:
部署顺序很重要: 该应用依赖第 2 部分的服务端点,这些端点由 notebook 在运行时创建。请先部署作业,运行第 1 部分和第 2 部分,然后部署应用。所有内容都在由 Unity Catalog 治理的无服务器计算上运行。
进一步了解 Feature Views
Feature Views 让你只需定义一次特征,即可在 AWS、Azure 和 GCP 上获得时点正确的训练和低延迟的在线服务。探索该加速器,了解批处理特征和流式特征如何在实时推荐器中结合。
常见问题
什么是 Feature Views?
Feature Views 让你只需定义一次特征转换,即可在模型训练和在线服务中复用。它们支持批处理和流式特征,训练时提供时点正确的历史值,推理时以低延迟访问当前值。
Feature Views 如何防止训练/服务偏差?
Feature Views 在训练和服务之间使用共享的特征定义,避免因维护单独的转换逻辑而导致不一致。该 create_training_set 该 API 还使用时点连接来重建每个历史标签当时存在的特征值,从而防止未来数据泄漏。
Feature Views 能支持实时流式特征吗?
是的。Feature Views 可以持续将 Kafka 中的事件聚合到在线存储中,而无需单独手写流式作业。该加速器通过使用 RollingWindow 用于近期会话活动,以及 SawtoothWindow 以支持更长的历史窗口。
next-best-offer 加速器能达到怎样的性能?
在基准配置中,排序端点的 p95 延迟达到 34 毫秒,其中包括在线特征检索和推理。排序端点持续处理约每秒 56 个请求,而 Feature Serving 端点持续处理约每秒 390 个请求,之后才超出 50 毫秒的 p95 延迟预算。
运行 next-best-offer 加速器需要什么?
你需要一个 Databricks 工作区、一个已配置的 Databricks CLI 配置文件以及该加速器的 GitHub 仓库。第 1 部分使用 Declarative Automation Bundles 部署批量特征推荐器。第 2 部分还需要 Unity Catalog Kafka 连接和 Amazon MSK 连接,以纳入实时会话活动。
相关标签:在收件箱中获取最新文章
订阅我们的博客,最新文章将直接发送到您的收件箱。