人工智能
深入了解 Amazon Connect Talent:结构化 AI 面试背后的科学对于招聘数百乃至数千人的组织而言,每次面试都面临同一个挑战:如何既给予候选人一致的机会来展示技能,又能收集作出明智招聘决策所需的依据?
结构化行为面试为应对这一挑战提供了一种有研究支持的方法。它采用一致且与岗位相关的问题和明确的评分标准,让候选人有机会展示自己的技能。数十年来,工业与组织(I-O)心理学研究表明,结构化面试有助于组织评估候选人并预测其工作绩效(Schmidt & Hunter, 1998;Sackett et al., 2022)。然而,要大规模开展结构化面试,需要投入大量时间和专业知识来制定能力要求、设计问题、培训面试官并以一致的方式评估回答。
Amazon Connect Talent 将成熟的招聘科学应用于大规模 AI 主导的面试。Connect Talent 采用结构化问题、自适应追问和基于证据的评分,帮助组织收集一致且与岗位相关的信息,同时让更多候选人有机会展示自己的优势。
我们围绕三项核心设计原则构建了 Connect Talent,并通过内部研究与独立专家评审相结合的方式,评估该服务落实这些原则的效果。研究结果让我们得以更深入地了解 Connect Talent 的 AI 主导式结构化面试背后的科学。
三项核心设计原则
1. 围绕与岗位相关的证据设计面试
Connect Talent 围绕岗位所需的各项能力来设计每次面试。该服务依据岗位要求和成熟的职业框架,创建以行为为锚点的评分卡。每份评分卡都会定义具体的优势和疑虑信号,而每个面试问题都针对其旨在揭示的行为。
AI 面试官还会根据每次回答进行调整。每当候选人回答后,它都会检查候选人是否已针对正在评估的能力提供了充足证据。如果缺少细节,它就会提出有针对性的追问。这种方法既保持了面试的结构化,又给予候选人更多机会来说明自己的经历。
2. 将面试与评分分开
Connect Talent 将面试对话与评估分开。AI 面试官负责收集证据,但不进行评分。面试结束后,独立的评估流程会识别候选人展现出的行为,并引用文字记录中相应的佐证段落。
该服务使用固定公式计算每项能力的分数,评分范围为 1 至 5 分。如果文字记录中缺少充分证据,Connect Talent 会标记该项能力,而不是给出分数。招聘团队可以查看每项评分背后的证据,而证据缺失不会自动对候选人不利。
3. 将公平性保障纳入设计
Connect Talent 评估候选人回答的文字记录,在计算能力得分时不使用视频、语音语调或外貌信息。该服务还会在评分时排除候选人的身份信息,并单独评估每项能力。这些保障措施有助于使评估聚焦于与岗位相关的行为,并限制无关信息的影响。
研究结果表明了什么
为了解这些设计原则在实践中的效果,我们将独立的 I-O 心理学评估与内部研究结合起来。我们考察了该服务能否生成与岗位相关的面试内容、能否按照专家评估识别行为证据、能否通过追问收集更完整的回答,以及能否区分候选人所展现的不同能力水平。
Connect Talent 让面试问题始终聚焦于与岗位相关的技能
结构化面试的质量始于它所衡量的技能。候选人需要能够反映岗位要求的问题,而招聘团队需要确信面试确实评估了这些技能。
亚马逊委托一家独立的 I-O 心理学公司评估 Connect Talent 由 AI 生成的面试内容。该公司审查了服务在人工编辑前的基准输出,并考察其能力要求、问题和评分标准与岗位要求的契合程度。评估发现,在所审查的职位描述中,Connect Talent 对关键岗位信息的保留率达到 100%。在生成的能力要求中,91% 可以明确追溯到职位描述。该公司的心理学家还发现,98% 的面试问题针对预期能力,94% 的评分标准信号明确衡量了预期能力。
这些结果表明,在绝大多数情况下,Connect Talent 生成的岗位相关面试内容都符合独立专家的标准。招聘团队随后可以在使用前审查、选择和编辑能力要求、评分卡及问题。这种人工监督既让组织能够掌控面试流程,也有助于其大规模采用结构化招聘实践。
Connect Talent 的候选人评分与独立专家决定的一致率超过 89%
与岗位相关的问题为结构化面试奠定了基础。接下来的挑战是以一致的方式评估候选人提供的证据。
为对此进行考察,一家独立的 I-O 心理学公司审查了 36 场面试,评估候选人是否展现出特定的优势和疑虑,共形成 252 个评分标准信号。
Connect Talent 对相同的文字记录进行了评估,审查了数百个评分标准信号,并在 89.3% 的案例中与专家的评分决定一致。当候选人提供明确证据时,评分一致率达到 97.6%;仅考虑候选人疑虑信号时,一致率达到 92.9%。这些信号用于识别可能表明候选人不适合目标岗位的行为。
此次评估还得出了 0.79 的 Cohen’s kappa 值,这是一种排除随机巧合影响的统计指标。0.79 略低于“几乎完全一致”的标准值 0.81。这一结果表明,Connect Talent 的评分与独立专家对候选人的评分具有较高的一致性。
追问让候选人有更多机会展示自身优势
候选人可能拥有相关经验,却在首次回答中遗漏重要细节。在传统的单向视频面试中,候选人可能只会收到一个固定问题,并且只有一次作答机会。随后,招聘团队只能根据现有信息进行评估,即使回答仍留下许多重要问题未得到解答。
Connect Talent 通过自适应追问来收集更完整的证据。例如,候选人可能会介绍自己如何改善一个运行缓慢的系统。AI 面试官可以继续询问具体发生了哪些变化、候选人采取了哪些行动,以及他们如何衡量改进效果。这些问题有助于候选人更详细地说明自己的贡献和成果。
我们通过比较基于候选人首次回答的评估与基于完整面试对话的评估,研究了追问的影响。在一项初步评估中,仅基于首次回答得出的分数,在五分制下最多比基于完整对话得出的分数低 1.14 分。使用完整对话进行的评估也更接近专家评估。
如果没有追问,评分流程识别出的优势信号更少,疑虑信号则更多。在某些情况下,候选人的初始回答只是缺少展现相关行为所需的信息。完整对话捕捉到了候选人所展示的更多内容,也为招聘团队提供了更全面的经验记录。
结构化评分帮助招聘团队识别有意义的差异
招聘团队需要能够反映候选人所展现技能之间实质性差异的分数。然而,研究发现,一些 AI 评分方法会将评分集中在较窄的区间内,使这些差异更难识别(Zhu 等,2026)。
Connect Talent 使用行为锚定评分卡来评估具体的优势和疑虑信号。该服务并非要求 AI 模型给出总体评分,而是识别每种行为的相关证据,并使用预定义公式计算能力得分。
以“协作”能力为例。一般的 AI 评分方法可能会根据面试文字记录,评估候选人的整体协作能力。Connect Talent 则会考察具体行为,例如候选人在作出决定前是否征求了同事的意见。每项发现都会计入最终得分。
我们针对数百份由专家评分的面试评估,对这种方法进行了检验。Connect Talent 的结构化评分覆盖了五分制中的全部五个分值,而将 LLM 作为评判者的整体式评分则集中在中间三个分值。
这种更广的分布使评分系统能够体现更多层次的能力表现。行为锚定评分卡还有助于招聘团队理解每项评分背后的证据。
将招聘科学引入 AI 主导的面试
Connect Talent 将结构化面试的严谨性惠及更多人,同时让每位候选人都有充分展示自身技能的机会。这为开展大规模招聘的组织带来了新的可能:更多候选人能够展示自己的能力,更多招聘团队也能够依据真正重要的证据作出决策。
在 AWS re:Invent 2026 上了解更多信息
欢迎参加 AWS re:Invent 2026 的 BIZ332:每位候选人,每次都不例外:使用 Amazon Connect Talent 开展 AI 主导的结构化面试,这是一场由 Sunitha Srivatsa 和 Gerald Friedland 主持的互动式 Chalk Talk。
本场活动将探讨 Connect Talent 背后的科学原理,包括结构化面试、自适应追问和基于证据的评分。
第 1 场: 2026 年 11 月 30 日星期一上午 10:00–11:00,Caesars Forum 1 层 Academy 409。
加场: 2026 年 12 月 3 日星期四下午 3:00–4:00,MGM Grand,Premier 309。
参考文献
Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022)。重新审视人员甄选效度的元分析估计:解决对范围限制进行系统性过度校正的问题。 《应用心理学杂志》,107(11), 2040–2068. https://doi.org/10.1037/apl0000994
Schmidt, F. L., & Hunter, J. E. (1998)。人事心理学中甄选方法的效度与效用:85 年研究的实践与理论启示。 《心理学公报》,124(2), 262–274.
Booth, B. M., Hickman, L., Subburaj, S. K., Tay, L., Woo, S. E., & D’Mello, S. K. (2021)。多模态机器学习中的偏见与公平性:自动化视频面试案例研究。 《2021 年国际多模态交互会议论文集》, 268–277. https://doi.org/10.1145/3462244.3479897
Zhu, K., Sheng, Z., Liu, Z., & Tan, J. (2026)。 量表坍缩、模型分歧与虚假精确性:对 LLM 行为面试评分的多模型审计。
AI 热点