人工智能
Social Department 如何构建理解文化趋势的视频发现系统本文由 AWS 的 Mariah Miller、Sirajus Salekin 与 Social Department 的 Nicholas Chase 共同撰写。
娱乐营销团队需要管理来自制片公司、电视网和流媒体应用的数以万计的视频资产。大多数营销活动一开始都会面临同一个视频发现难题:从素材中找到最能引起受众共鸣的那个瞬间。项目简报一到,倒计时便开始了,而他们需要的内容几乎从来都不是数据库能够描述的。
单靠语义搜索存在上限:它只能回答你能够明确表达的问题。如果让它寻找一个手拿咖啡杯的角色,它就会从上千集节目中找出每一个咖啡杯。真正推动娱乐营销活动的查询完全不是这种形式。它们涉及的是判断:节目中的哪个瞬间会广泛传播、哪句台词值得引用,以及哪一帧画面适合制作成表情包。
这些问题无法直接输入搜索框。要回答这些问题,需要搜索索引不具备的两样东西:针对特定内容库,对“值得引用”或“适合制作成表情包”所作的编辑定义;以及对内容库之外正在流行的事物持续更新的观察。过去,回答这些问题意味着由一位非常熟悉该节目的人员花一周时间观看素材,而这种方式无法扩展到整个内容目录。
本文介绍了娱乐营销 AI 操作系统 Social Department 如何着手将这些编辑问题编码为可执行的检索管道。由此诞生了 QuickSearch:一组单次操作查询,无需营销人员描述具体需求,便能返回其正在寻找的片段,包括可分享场景、金句、表情包时刻和趋势契合。
该解决方案中的模型在 Amazon Bedrock 上运行,因此客户数据会留在 AWS 数据边界内。数据不会与模型提供商共享,也不会用于训练底层模型。
Social Department 对负责任 AI 的理念是:AI 提出建议,由人做出决定。在生产环境中,代码会根据源材料检查生成的输出(例如,如果某句引语未出现在该集的文字稿中,就会将其丢弃)。Amazon Bedrock Guardrails 有助于筛查客户搜索文本中的提示词攻击,并且每篇帖子在发布前都必须由客户团队的人员批准。
Social Department 负责管道架构、检索系统以及每项操作背后的编辑标准。AWS 高级服务层级合作伙伴 TrackIt 按照该设计进行了实施和交付。部署在 Amazon Bedrock 上的 TwelveLabs Marengo 3.0 和 Pegasus 1.2 模型提供了管道赖以构建的场景级视频推理能力。AWS 提供基础设施、包括 Anthropic Claude 模型在内的模型访问能力,以及 Amazon OpenSearch Service;检索则使用其无服务器选项 Amazon OpenSearch Serverless。
范围说明: 本文介绍系统中与 AWS 相关的部分:摄取和索引管道、检索路径,以及运行这些部分的服务。对于 Social Department 所负责的组件,包括其媒体和数据基础架构、内容分析与发现引擎、编辑标准和评估计划,本文仅介绍到理解该架构所需的深度。下文提及的服务是本文讨论的重点,并非 Social Department 完整系统的服务清单。
关于 Social Department
Social Department 是面向娱乐营销的 AI 操作系统,为大型制片公司、电视网、流媒体平台和 FAST 应用提供服务。它能够基于客户的完整内容库,自动执行营销活动策略制定、资产创建、发布和效果优化。其中大多数功能都依赖于先在素材中找到合适的瞬间,因此语义片段发现从一开始就是该产品的核心能力。
为何仅靠语义搜索并不足够
娱乐营销面临两项通用搜索层无法满足的约束。
真正有价值的查询恰恰是没人能准确表述的查询
营销人员可以描述一个物体、一处地点或一句对白,却无法描述什么内容会广泛传播。这种判断——这个瞬间能打动人,而那个不能——才是这项工作的真正技能。它一直无法实现自动化,因为它取决于了解受众的行为方式,而不是视频中包含什么内容。只理解内容的搜索层需要由人来提供意图,而要准确提供这种意图,往往意味着这个人已经看过该节目。
趋势信号存在于内容库之外,并按不同的时间节奏变化
再强的视频理解能力也无法告诉你受众今天早上正在谈论什么。这些信息产生于内容库之外,并且每小时都在变化,而内容库只有在加入新内容时才会改变。能够回答这些查询的系统必须持续获取趋势信号,并在收到请求时将其与内容库进行匹配。
这一区别促成了核心架构决策:内容理解与趋势获取作为相互独立的管道,按照各自的时间安排运行,只有当用户选择某项 QuickSearch 操作时才会汇合。
解决方案概述
借助 QuickSearch,团队能够以不同的方式与视频内容库交互:由系统主动提出建议,而不是被动等待查询。它提供四项操作,每项操作都有自己的检索策略、编辑标准和排序模型。下文将逐一介绍各项操作的实现方式。这里先概述它们的功能。
- 可分享场景 会呈现内容充实且自成一体的场景,例如较长的冲突场面、高潮和大型场面,并优先选择展开充分的情节段落,而非短暂的反应镜头。
- 金句 会寻找简短有力、值得引用的对白,并将片段长度限制在较短范围内;如果能够获得相关影视作品的传播信号,则会提高那些已被证明确实广泛流传的台词的权重。
- 表情包时刻 会识别可用作表情包的单个画面,并根据实际画面生成配文。系统通过专门的提取和评分步骤选择画面,而不是直接使用缩略图。
- 趋势契合 会获取当前热门趋势,并从内容库中找出与之真正相关的时刻,使一部多年前已播完的作品也能重新进入当下的讨论。
除此之外,Social Department 还保留了自然语言搜索,用于处理这些操作未涵盖的所有需求;同时也支持以图搜图,即通过参考图片返回整个内容库中视觉上相似的内容。
下图展示了该架构三个部分之间的连接方式。内容理解管道使内容库可被搜索,趋势获取通道则引入外部趋势信号。QuickSearch 作业层在收到请求时将二者结合起来。
图 1:高层架构
架构详解
该系统由三个按照独立时间表运行的部分组成。其中两个负责获取信息并将其结构化,第三个则将用户的一次选择解析为横跨前两部分的多阶段检索操作。
内容理解管道
该管道使内容库变得可理解。它在内容摄取时异步运行。一个 AWS Step Functions 状态机端到端编排约二十多个 Python AWS Lambda 函数。以下步骤展示了一段视频从上传到片段编入索引的全过程。
- 上传与触发—— 视频进入各团队专属的 Amazon Simple Storage Service (Amazon S3) 存储桶。S3 Object Created 事件经由 Amazon EventBridge路由后启动 Step Functions 执行。
- 元数据—— 第一个 Lambda 函数根据 Social Department 的媒体与数据基础设施解析作品名称、团队、剧集和公共标识符,将视频元数据写入 Amazon DynamoDB,并将该资产的状态报告为正在处理。
- 转码—— AWS Elemental MediaConvert 使用自适应去隔行扫描将资产转码为 480p H.264,并使用 Step Functions 任务令牌,让状态机等待作业完成,而不是轮询作业状态。
- 镜头检测—— Amazon Rekognition 执行异步片段检测,并通过 Amazon Simple Notification Service (Amazon SNS) 回调。第二个 Lambda 函数会合并并拆分原始镜头,形成约 10–20 秒、感知内容的时间范围。管道的其余部分以这些范围为单位进行扇出处理。在每个范围内,Social Department 按固定时间间隔划分嵌入片段;这一设计选择针对剧集类电视节目的节奏进行了调优。编入索引的片段长度较短且固定,但其所在的范围会随剪辑点而定。
- 嵌入—— 各时间范围在 Step Functions Distributed Map 中处理。每次调用都会通过异步调用,将开始和结束时间传递给 Amazon Bedrock 上的 TwelveLabs Marengo 3.0。该调用会生成涵盖视觉、音频和转录文本维度的多模态嵌入,此路径无需拆分文件。
- 场景描述—— Amazon Bedrock 上的 TwelveLabs Pegasus 1.2 在并行的 Distributed Map 中逐片段运行,生成场景级叙事描述、情绪、主题、对白类型和叙事位置;这些内容构成文本层,供后续排序模型进行推理。Pegasus 接收预先切分的文件,而不是时间范围,因此另一个 Lambda 函数会先切分每个范围,并在两端各保留几秒,以保持场景过渡。
- 转录与内容增强—— 在生成嵌入的同时,管道还会运行带自动回退机制的语音转文本,并使用 Amazon Rekognition 识别画面文字、视觉标签和用于角色定位的人脸集合。Amazon Bedrock 上的 Anthropic Claude 模型会提取节目的角色关系图,并生成节目级概念和角色定位。
- 索引—— Amazon Bedrock 将嵌入输出写入 Amazon S3。最后一个 Distributed Map 随后将嵌入、转录文本、画面文字、场景描述字段和标签编入 Amazon OpenSearch Serverless 索引。
该管道从头到尾都由事件驱动。每个 Lambda 任务都会采用指数退避策略重试。场景描述阶段还增加了采用完全抖动策略的专用限流重试。非关键的内容增强步骤能够优雅降级,而不会导致整次运行失败;发生严重故障时,系统会将任务路由至错误处理程序,由其记录原因并将资产状态报告为失败。
Marengo 的同区域暂存。Marengo 仅在特定的一组 AWS 区域中可用。Amazon Bedrock 的异步调用会从与端点位于同一区域的 Amazon S3 存储桶读取输入,并将输出写入该存储桶。该管道围绕这些参数构建。在调用 Marengo 之前,它会将每段视频暂存到美国东部(弗吉尼亚北部)区域的专用存储桶中,随后再从同一存储桶读取嵌入输出。其余基础设施仍留在原属区域,而每个嵌入作业则与模型在同一区域运行。有关各区域的模型可用性,请参阅 Amazon Bedrock 中按 AWS 区域划分的模型支持情况.
趋势获取
该管道持续运行,且独立于任何内容库,正是它使“趋势契合”成为可能。
- 两条通道,一个信息流—— 趋势数据通过两条刻意采用不同机制的通道获取。每日通道使用 Amazon EventBridge cron,每个区域每天定时获取一次,并按照各区域的当地早晨安排,而不是采用固定的 UTC 时间。热度通道(Heat Seeker)读取处于早期阶段并按热度增势排序的趋势,且仅在用户明确请求时才会获取;如果已存储的数据足够新,则会直接复用。这样的拆分源于成本考量。无论是否有人在工作,cron 每次触发都会为所有区域产生费用;而设有 TTL、按需求触发的获取方式,在无人使用的日子里不会产生费用。
- 区域信息流是相互独立的样本群体—— 趋势按地理区域分别获取,目前共有四个信息流:全球、美国、英国和澳大利亚。区域并非对全球列表应用的筛选条件。每个区域的趋势都会按照各自的时间表独立发现,因此同一天各区域的趋势确实会有所不同。
- 解读与编辑审核关卡—— 原始趋势数据不会直接展示给客户。Amazon Bedrock 上的 Anthropic Claude Haiku 会将每条趋势归入 Social Department 自有的类别体系,统一其描述,去除近似重复项,并限制每个类别最终保留的数量。在同一处理流程中,编辑审核关卡会剔除主要涉及死亡、暴力、自残、自然灾害、政治、抗议、犯罪或公共卫生危机的趋势。无论这些趋势的热度有多高,都不会向营销客户提供。被拒绝的趋势会被记录下来,避免每次获取时重复审核。
- 将存储视为一等数据行—— 解读后的趋势会根据稳定的指纹执行更新插入,因此同一趋势日复一日地出现时会复用原有数据行及其缓存的派生结果。不再出现的趋势会逐渐过期,并最终停用。刷新任务会先取得执行权,确保两个任务不会重叠运行。
“金句摘录”使用第二种范围更窄的输入:一种外部对话热度信号,仅用于提高已经传播开来的台词的权重。该信号在设计上是可选的,因此如果无法获取,相关台词只是不获得加权,而不会导致任务失败。
QuickSearch 任务层
这一层负责将一次选择转化为检索策略。它以异步方式执行每项操作,并返回一组经过排序的片段。
- 请求路径—— 该 Web 应用是一个 React 单页应用,由 Amazon S3 托管并通过 Amazon CloudFront分发。其 API 是一个 Fastify 服务,在 Amazon API Gateway HTTP API 后方的 AWS Lambda 上运行,并使用 Amazon Aurora PostgreSQL 兼容版 存储关系型数据。
- 异步执行—— 选择一项 QuickSearch 操作后,系统会向 Amazon DynamoDB 写入任务记录,并将一条消息加入 Amazon Simple Queue Service(Amazon SQS) 队列。工作 Lambda 函数会提取该消息,并运行对应操作的管道。暂时性故障通过 Amazon SQS 进行重试,而被归类为不可重试的错误则会直接进入死信队列。
- 查询构建—— 每项操作都会按照其编辑标准扩展成一组检索查询。对于“趋势契合”,大部分专有工作都发生在这里:趋势以文化话题的形式出现,而视频索引能够匹配的是画面和音频中呈现的内容。连接这两者是一个转换问题,由 Amazon Bedrock 上的 Claude 模型处理。输出是一组可供索引执行的查询。
- 多通道检索—— 每条查询都会发送至负责混合检索的搜索 Lambda 函数。Marengo 会将查询作为文本、图像或组合式文本加图像查询进行一次嵌入。随后,嵌入后的查询会在六个 k-NN 通道(视觉、音频、转录文本、画面文字、场景描述和标签)以及七个 BM25 文本通道中执行。各模态的权重由查询本身决定。按查询类型进行的路由会调整通道加权,使对话查询更侧重转录文本和情绪通道,而视觉查询则会降低这些通道的权重。
- 融合与重新排序—— 各通道使用倒数排名融合进行合并。该方法使用排名位置而非原始分数,从而避免 k-NN 与 BM25 相似度之间的尺度不匹配。随后,排名靠前的候选项会通过 Amazon Rerank 模型进行最终的文本到文本相关性评估;该模型是一个交叉编码器,通过 Amazon Bedrock 中的 Rerank API 调用。之后,Claude 还会对排名最前的结果执行验证。
- 聚合—— 索引存储的是时长固定的短片段。在返回结果之前,系统会将视觉嵌入高度相似的相邻片段合并为连贯场景,因此针对某一场景的查询会返回一段 20–60 秒的结果,而不是同一场景的五个碎片。
- 编辑排序—— Amazon Bedrock 上的 Claude 模型会依据相应操作的编辑标准,对去重并补充信息后的候选项进行排序。候选池设有数量上限,以免模型输出被截断。模型按操作选择:当文化信息的召回会改变答案时使用 Claude Sonnet;当任务范围明确且对成本敏感时使用 Claude Haiku。
- 帧提取—— 对于“表情包时刻”,专用 Lambda 函数会从胜出的片段中提取若干候选帧,使用 Amazon Rekognition 评估人脸质量,并对图像清晰度进行评分。随后,它会以完整分辨率重新提取胜出帧,裁掉上下或左右的黑边,并返回一个签名的 Amazon CloudFront URL。
- 缓存—— 已完成的结果存储在 Amazon DynamoDB 中,并可复用 30 天。缓存键包含各操作的管道版本;对于“趋势契合”,还包含当前有效趋势集的哈希值,因此编辑标准变更、模型升级或趋势目录刷新都能明确地使缓存失效,而不会继续提供过时答案。
设计决策
三项选择使基于文化背景的检索变得切实可行。
将趋势获取与内容理解分离
内容库会在添加新内容时发生变化。趋势每天都在变化,早期趋势的变化速度甚至更快。将二者耦合,要么意味着必须依据新信号重新处理内容,这在计算上不可行;要么意味着提供过时的趋势判断。将二者作为独立管道,并在请求时合并,便能在不再次触碰内容库的情况下保持信号的时效性。多年前就已播完的作品也可以重新进入当下的热门讨论。
将每项操作拆分为低成本检索和高成本判断
最朴素的设计是在整个内容库前放置一个大型模型。QuickSearch 则先使用成本较低、召回率较高的向量与关键词检索构建候选池,然后仅将模型预算用于对数量受限的真实候选项进行排序。候选数量上限根据排序模型的输出令牌限制设定,因为排序器如果在响应中途截断,会在没有提示的情况下丢失结果。这也使 Amazon Bedrock 的单次查询成本保持可预测:无论内容库规模多大,都只需一次嵌入调用、一次重新排序调用以及少量固定次数的 Claude 调用。
将缓存失效设为一项明确的编辑行为
结果会缓存 30 天。如果不加干预,对某项操作的标准或模型所做的更改,在缓存过期前都不会呈现给用户。每项操作都有一个管道版本;在更改其行为时,会在同一次变更中提升版本号。版本提升会立即使先前结果失效,因此,编辑判断的完善会作为产品的版本化变更来实施,而不必在每次查询时重新争论。
结果
Social Department 报告了客户使用 QuickSearch 后取得的以下成效。这些是该公司自身的观察结果,而非受控基准测试。
- 过去无法完成的查询,现在只需选择一次即可—— 找出粉丝群体奉为经典的时刻,或会在特定受众中成为表情包的画面,过去需要由非常熟悉该作品的人观看视频素材,而且这种方式无法扩展到整个内容库。
- 发现素材不再依赖手动拖动浏览—— 据 Social Department 称,过去需要 3–4 天的营销活动素材发现工作,现在使用 QuickSearch 大约 10 分钟即可完成。营销人员原本用于逐集拖动查找合适时刻的时间,可以重新投入到价值更高的营销活动工作中。
- 营销人员无需编写查询即可找到候选片段—— 这消除了一个前提:执行搜索的人必须足够熟悉内容库,才能描述自己想要什么;正是这一限制,使素材发现工作依赖于少数看过该节目的人。
- 归档内容库变得可检索利用—— 那些因作品已经完结、归档且无法通过元数据搜索找到而实际上不可触达的内容,如今可以用于营销活动;多年前就已停播的作品也能重新进入当下的文化讨论。
- 行业认可—— Social Department 在 NAB 2026 上作为顶尖初创公司亮相,并获 Entertainment Loft 专题报道。
“这里真正困难的从来不是搜索,而是弄清楚该搜索什么:如何把优秀营销人员凭直觉完成的判断——哪个时刻能引起共鸣,以及为什么——转化为系统可以执行一千次的标准。我们为此投入了很长时间。在紧迫的时间安排下与 TrackIt 合作,我们从制定规格一路推进到在 NAB 展示可运行的演示。TwelveLabs 为我们提供理解视频素材内容的智能能力,AWS 则提供以内容库规模执行这项工作的基础设施。我们的职责是知道该让这些能力处理什么。”
—— Jonathan Verk,Social Department 创始人兼首席执行官
“媒体行业的每个人都在谈论为内容库添加元数据,但给内容打标签本身无法收回成本。我喜欢这个项目的一点是,它形成了闭环。它让存放在归档库中的节目能够用于真正的营销活动,而且成本合理,足以每天运行。这正是行业一直缺失的部分。”
—— Chris Marchitelli,TrackIt 副总裁
我们的经验
这个项目有以下四点经验尤为突出。
难题在于表达判断,而非检索内容
检索问题在很大程度上已经得到解决。尚未解决的是,如何足够精确地表达意图,使检索无需专家营销人员参与也能发挥作用。大部分工程工作都用于定义什么样的场景适合分享、什么样的画面适合制作表情包,并使这些定义足够严谨,可以在风格和受众各异的内容库中反复执行。这一定义来自一项持续开展的评估计划:通过有编号的多轮迭代,逐轮与各节目的真实基准集和持续跟踪的基线进行衡量,并依据结果而非直觉调整标准。
Amazon Bedrock 上的多模型架构
QuickSearch 采用多模型架构,让每个模型负责最适合它的工作。Claude Haiku 处理边界明确、对成本敏感的输出,Claude Sonnet 则处理文化记忆会改变答案的任务。TwelveLabs Marengo 生成多模态嵌入,TwelveLabs Pegasus 提供场景级视频推理,Amazon Rerank 模型负责重新排序。Amazon Bedrock 使这套架构能够切实地构建和运行。TwelveLabs、Anthropic 和 Amazon 的模型可通过同一个 API 使用,因此当实测质量发生变化时,Social Department 可以更换某项任务背后的模型,而无需构建新的集成。异步调用支持以内容库规模运行耗时较长的视频嵌入任务,Rerank API 则无需单独托管基础设施即可增加一轮相关性处理。Amazon Bedrock Guardrails 还可在同一项服务中帮助筛查搜索输入,客户数据则始终保留在 AWS 数据边界内。由于 Amazon Bedrock 是完全托管式服务,该团队无需自行运营任何模型服务基础设施。
会随时间衰减的信号需要独立架构
如果把趋势数据当作内容管道的又一项输入,系统就会失败,因为二者的生命周期并不兼容。项目早期便认识到内容库与实时文化是两个独立系统,各自具有不同的刷新频率、存储方式和故障模式;这一决策成为其余设计赖以成立的基础。
清晰的层级边界促成了多方协作项目的成功
Social Department 负责管道架构、检索系统和编辑标准。TrackIt 按照该架构进行构建和交付,TwelveLabs 提供视频理解模型。AWS 与 AWS 生成式 AI 创新中心共同为 AWS 组件提供基础设施、模型访问能力和解决方案架构。由于各方职责范围界定清晰,项目得以守住 8 周的生产时间表。
总结
我们介绍了 Social Department 如何与 TrackIt、TwelveLabs 和 AWS 合作,利用自有管道和检索架构,为娱乐营销构建具备文化感知能力的视频发现系统。本文所述层由多项 AWS 组件构成。Amazon Bedrock 上的 TwelveLabs Marengo 负责多模态嵌入,TwelveLabs Pegasus 负责场景级视频推理。Amazon Bedrock 上的 Anthropic Claude 模型负责解读和编辑排序,Amazon OpenSearch Serverless 则负责混合检索。AWS Step Functions、AWS Lambda、AWS Elemental MediaConvert、Amazon Rekognition、Amazon DynamoDB 和 Amazon SQS 负责运行其周边管道。最终形成了一组单次操作查询,可返回受众已经关注的片段、他们已经在引用的台词、适合制作表情包的画面,以及与当前热门趋势相关的时刻。
要开始在 AWS 上使用多模态视频理解功能,请探索 Amazon Bedrock 和 Amazon OpenSearch Service。要详细了解 Amazon Bedrock 上提供的 TwelveLabs 模型,请访问 AWS Marketplace 上的 TwelveLabs 页面。要了解 AWS 生成式 AI 创新中心如何为您的组织提供帮助,请访问 AWS 生成式 AI 创新中心页面.
致谢:作者谨感谢 Katie Kenney、Pranay Duhan、Xiaoye Qian、Rinne Han 和 Dahler Battle 为此解决方案所做的工作。我们还要感谢 TrackIt 和 TwelveLabs 团队提供的支持。
AI 热点