人工智能

宣布推出 Amazon Textract Insights:面向文档的可验证生成式 AI

金融服务、保险、医疗保健和公共部门的组织都依赖文档处理。他们将扫描文件和纸质表单转换为其系统可以处理的结构化数据。随着生成式 AI 日趋成熟,这些组织想要的不再只是准确的文本提取。他们希望能用自己的语言描述所需信息,并从复杂文档中获得可靠且可审计的答案。

今天,我们宣布正式推出 Amazon Textract Insights。这是 Amazon Textract 的一项全新生成式 AI 功能,可通过 Amazon Textract 中的新 API 使用。借助 Amazon Textract Insights,您可以用自然语言描述所需字段,并提交一份文档或包含多份不同文档的混合文档包。您将获得结构化结果,其中每个值都带有置信度分数和页级溯源信息,且无需训练模型。

从混合文档包中提取数据所面临的挑战

许多高价值文档工作负载处理的是多种不同文档组成的混合文档包,而不是整洁、用途单一的文件。例如,一份抵押贷款文件通常以单个扫描件的形式提交,其中包含 W-2 表、工资单、银行对账单以及一页手写笔记。每种文档都有自己的版式,出现顺序也不固定。理赔文件和入职资料包的情况可能非常相似:打印表单、密集表格、扫描收据和自由文本信函交错在同一个文件中。

团队通常会采用以下两种方法之一,而每种方法都有其取舍。第一种是定制管道,将光学字符识别、文档拆分、分类、基础模型提示词和审核步骤结合起来。团队必须自行集成、扩展和运维所有这些环节。第二种是默认使用通用大语言模型。它能给出流畅的答案,却无法可靠地引用来源页面或提供置信度分数。如果缺少可追溯的来源和经过校准的分数,就很难判断哪些值可以自动接受、哪些需要审核。这种不确定性往往会限制团队能够实现的自动化程度。

Amazon Textract Insights 专为可靠的文档处理而构建,将整个工作流整合到 Amazon Textract 上的一次异步请求中。您的团队无需构建和运维定制管道,只需通过一个托管 API 即可直接获取所需数据。

Amazon Textract Insights 的工作原理

借助 Amazon Textract Insights,您可以在蓝图中定义要提取的内容。蓝图是一种 JSON Schema,其中每个字段都附有自然语言描述,用于说明要查找的内容。每个字段还具有一种推理类型,用于确定该值是从页面中逐字读取,还是根据文档内容推断得出。您可以从适用于常见文档类型的 AWS 公共蓝图开始,例如 W-2 表、1040 表、1098 表、护照或出生证明。您也可以针对企业特有的文档自行编写蓝图。

对于混合文档包,您可以将预期出现的每种文档类型的蓝图添加到同一个项目中。随后,从您自己的 Amazon Simple Storage Service(Amazon S3)存储桶提交一个最多包含 3,000 页的文件,并启用拆分功能。Amazon Textract Insights 会将文档包拆分成逻辑子文档,为每份子文档匹配合适的蓝图,提取所请求的字段,并为每个值返回置信度分数和溯源信息。

例如,假设您收到一份以单个 26 页 PDF 文件提交的抵押贷款申请,其中包含 W-2 表、工资单、银行对账单和信贷专员的手写笔记。您可以创建一个 Amazon Textract Insights 项目,加入 AWS 公共 W-2 表、工资单和银行对账单蓝图,再为信贷专员笔记添加一个自定义蓝图,并启用拆分功能。然后,您只需调用一次 StartDocumentInsights,即可提交 Amazon S3 存储桶中的文件。Amazon Textract Insights 会将该文件拆分为各份独立文档,为每份文档匹配相应蓝图,并将结果写入您的 S3 存储桶。每个值都包含置信度分数,以及其来源页面和边界框。

通过置信度和溯源实现可审计的自动化

Amazon Textract Insights 返回两类字段:第一类是直接从页面读取的显式字段;第二类是根据文档内容得出的推断字段。两类字段都会返回置信度分数和溯源信息,后者会标明该值的来源页面及坐标。

由于每个值都可以追溯到其来源,审核人员或审计人员可以对照原始文档确认任何结果。您可以将自动化扩展到以往需要人工审核的文档,同时在需要判断的环节继续保留人工参与。

“我们对 Amazon Textract Insights 进行了评估,并对其潜力感到振奋。我们的医疗账单和表单来自各种不同的来源,往往采用不同的版式和格式。因此,针对某一来源制定的提取规则并不总能有效应用于其他来源。

借助 Amazon Textract Insights,我们可以用通俗易懂的语言描述所需字段,服务便会识别并提取相应数据。返回的每个提取值都带有置信度分数,让我们的团队只需集中审核服务置信度较低的字段。我们也很期待探索文档拆分功能,它可以帮助我们自动将包含多份文档的文件拆分为单独文档,进一步简化文档处理工作流。”

——Symbeo(CorVel 旗下公司)信息系统副总裁 Vijay Agrawal

基于 Amazon Textract 引擎构建

我们更新了 Amazon Textract 的读取引擎Amazon Textract Core,从而提高准确性,增强对密集表格和手写内容的处理能力,并将 DetectDocumentText 和 AnalyzeDocument API 的语言覆盖范围扩展至 40 种语言。Amazon Textract 客户如今无需进行任何更改即可享受所有这些改进。您的 Amazon Textract API 保持不变。

Amazon Textract Core 现已 在另外两个 AWS 区域正式可用,即亚太地区(东京)和欧洲(苏黎世),使提供区域内处理能力的 AWS 区域总数达到 18 个。Amazon Textract Insights 尚未在这些 AWS 区域推出。

安全与数据处理

项目和蓝图

Amazon Textract Insights 使用 AWS 拥有的密钥,对静态存储的项目和蓝图进行加密。若要使用您自己的 AWS Key Management Service(AWS KMS)客户自主管理型密钥,请在调用 CreateProject 或 CreateBlueprint 时通过 EncryptionConfiguration 指定该密钥。

洞察分析作业

Amazon Textract Insights 从您在 StartDocumentInsights 请求中指定的 Amazon S3 存储桶读取文档,并将结果写入其中。作业的中间数据使用 AWS 拥有的密钥进行静态加密。如果您在请求的 EncryptionConfiguration 中指定客户自主管理型密钥,Amazon Textract Insights 将使用该密钥加密作业的中间数据。所有中间数据都是临时数据,并会在作业完成时删除。作业完成后,写入您存储桶的结果将采用输出存储桶的默认加密设置。项目的密钥不适用于其作业。

如果您禁用密钥或撤销 Amazon Textract 对该密钥的访问权限,Amazon Textract Insights 将无法再使用由该密钥加密的数据。

跨区域推理

Amazon Textract Insights 会在您所在的地理区域内自动选择最优的 AWS 区域来处理推理请求。这样可最大限度地利用可用计算资源并提高模型可用性,旨在提供一致的客户体验。所有数据均通过 Amazon 的安全网络加密传输。Amazon Textract Insights 会将您的推理请求安全地路由到请求发起地理区域内可用的计算资源。例如,源自美国的推理请求会在美国境内处理。Amazon Textract Core API 保持不变,并继续在您调用的 AWS 区域中处理请求。有关目标 AWS 区域的列表,请参阅 Amazon Textract 文档指南.

入门

开始使用 Amazon Textract Insights 只需四个步骤。

定义您的需求: 从 AWS 公共蓝图入手,或使用自然语言描述您自己的字段。

创建项目: 将您的蓝图添加到项目中。

提交文档: 只需调用一次 API,即可从您的 Amazon S3 存储桶发送单份文档或混合文档包。

查看结果: 接受达到置信度阈值的值,并将其余值转交审核。使用您自己的代表性文档样本来调整阈值。

Amazon Textract Insights 支持 PDF、PNG、JPEG 和 TIFF 输入格式,并可处理英语、法语、德语、意大利语、葡萄牙语和西班牙语文档。它按页而非按 token 计费,且没有最低消费承诺。有关 Amazon Textract 的最新费率,请参阅 Amazon Textract 定价页面.

总结

长期以来,智能文档处理始终迫使用户在自动化程度与结果可审计性之间做出取舍。Amazon Textract Insights 缩小了这一权衡空间,让您的团队可以依据证据而非猜测来决定哪些环节适合自动化。进一步了解如何开始使用 Amazon Textract Insights。

访问 Amazon Textract 产品页面.

参阅 Amazon Textract 开发人员指南 ,以创建蓝图或从 AWS 蓝图开始。

注册参加 re:Invent 上的 利用 Amazon Textract 加速智能文档处理 专题会议。


关于作者