如何设计安全运营中的 AI 成本控制：在保持精度的同时压低支出

许多将生成式AI引入安全运营的企业所面临的，并非精度问题，而是成本问题。在安全运营一线，一个事实正逐渐明朗：要把性能最强的AI模型用于日常且大量发生的工作，成本实在太高。许多团队都是在第一张账单到来时，才第一次意识到AI使用费用膨胀得超出预期。

笔者带领一支安全运营团队，已将滥用对策（Trust & Safety）中利用AI进行检测的成本削减到每天约1美元。把这个数字告诉别人时，常有人感到惊讶。因为企业级AI成本高昂这一前提十分普遍。然而，只要合理设计工作流程，成本并不会高。超出预算的团队，往往省略了甄别哪些事件该送给模型这一设计环节。

左右成本的检测筛选

分层收窄检测范围的做法并不新鲜。在大语言模型（LLM）普及之前，安全团队就已通过叠加多重过滤器，把大量发生的事件收窄到只需人工分析师处理的事件。同样的思路也适用于AI的成本管理。用于筛选送给模型的事件的过滤器越窄、越精细，为获得准确结果所需的单件成本就越低。

在滥用对策领域，大部分恶意行为都能在运行模型之前判别出来。基于预先设定规则的模式检测，首先就能检出相当比例的事件。账号创建时间、邮件服务商、行为征兆等要素被送入自动过滤器，明显的由它处理，其余的则进一步收窄。只有通过这道过滤器的一部分才会到达LLM。每天约1美元这个数字，正是源于这样的设计。设计得当的筛选能将高成本处理压到最低。

打个比方，就像家用安防系统：不必用摄像头监视经过家门前的所有人，只需把监视对象限定为真正闯入者。高级应对只要在那个阶段才投入就足够了。

模型分层与成本分层

通过第一道筛选的事件，会由性能不同的两个模型分阶段判定。第一级由轻量模型做初步判定，只有它无法判断的才转交给第二级的上位模型。

第一级的轻量模型返回预先规定格式的输出，即以恶意还是无害的判定，连同置信度高低一并给出的格式。高置信度的结果自动处理，只有低置信度的事件才进入第二级。第二级的上位模型具备更广的上下文和更高的推理能力。

能到达第二级的事件只占整体的极小一部分。笔者团队针对多个模型系统性地验证了效果。结果，在目标用途上，轻量模型与前沿模型的精度差仅为1%至2%。而另一方面，前沿模型每token的成本约为前者的5倍。这种性价比只有在送给上位模型的事件确实需要其能力时才成立。

提示词的设计与模型的选择同等重要。笔者为智能体检测编写的提示词之一超过1900词。这个提示词涵盖了智能体可能面临的各种情况，包括向上转交的判断标准以及自主应对的条件。并非所有用途都需要这样的深度。滥用对策的提示词中，也有两三句就够用的。提示词所需的精细程度，取决于交给智能体应对的范围有多广。

区分准确的AI分析与缺乏事实依据的输出（幻觉）的，是有无上下文。如果只把滥用报告交给模型，询问对象用户是否恶意，模型可能会照单全收地接受报告。若连同报告一起，把报告所指的实际数据也交给模型，模型就能独立评估该主张是否妥当。

应由人类承担的部分

明确的事件通过自动化处理。需要判断的是模糊的案例，而当前的智能体尚不具备这种判断力。

例如，要区分为了分析而保管恶意软件样本的正当安全研究人员，与以攻击他人为目的保管同样内容的恶意人物，就需要AI仍不擅长的识别能力。对服务条款可能存在不同解释的、课题讨论串上的往来也是如此。这些事件之所以被转交给人类，是因为问题本身需要基于上下文的推理，而当前世代的智能体无法稳定地提供这种推理。

目标是让审核人员能把时间花在真正需要人工的事件上。笔者团队的工程师并不从事逐个确认单个事件的工作，而是致力于系统的构建、提示词的编写，以及统管大规模检测的模式定义。

在实务中的意义

攻击者尝试新的混淆手法，笔者团队则调整提示词和模型来捕捉它。这不是一次性的导入，而是反复进行的工作，其性质接近于检测工程。提示词的设计也是其一种形态。即描述规则、验证输出、在精度下降时进行调整的反复工作。

成本不是导入后才去烦恼的问题，而是应从设计阶段就加以考虑的主题。向模型发送多大的量、以何种格式、附带何种上下文，将决定账单金额。许多觉得AI成本高的团队，正是未曾有意识地做出这些判断。

本次解说了在安全运营中抑制AI成本、同时保持检测精度的设计。左右成本的并非模型本身的性能，而是将哪些事件、以何种格式、附带何种上下文发送给模型这一设计。通过基于规则的筛选预先处理明确的事件，将轻量模型与上位模型分阶段区别使用，只把需要判断的案例转交给人类。这种积累将成为在抑制支出的同时维持精度的运营基础。AI的成本并非不可避免的前提，而是可以通过设计来管理的。在安全运营中引入AI时，首先需要正视这一设计工序。