How to Design AI Cost Control in Security Operations: Keeping Accuracy While Cutting Spending
English text is being prepared.
A security operations team lead described how to control AI detection costs through tiered filtering; his team reduced AI detection costs in a Trust & Safety scenario to about $1 per day. The approach is to first use rules to filter out most obvious events, sending only a small number of events to the LLM, then have a lightweight model make an initial judgment and pass only low-confidence events to a stronger model. The team's tests found that for the target use case, the accuracy gap between the lightweight model and the frontier model was only 1% to 2%, while the frontier model's cost per token was about 5 times that of the former. The author also mentioned that his team wrote a prompt of more than 1,900 words for agent detection, and emphasized that cost should be taken into account at the design stage.
Why read this
AI score 55
Using his own team's experience of reducing detection costs to about $1 per day as an example, the author presents transferable practices for tiered filtering, model tiering, and prompt design.
Topics
Body
生成AIをセキュリティ運用に導入した企業の多くが直面するのは、精度ではなくコストの問題です。セキュリティ運用の現場では、最も高性能なAIモデルを、日常的かつ大量に発生する作業に用いるにはコストが高すぎるという事実が明らかになりつつあります。多くのチームは、最初の請求書が届いたときに、AI利用料が想定以上に膨らんでいることに初めて気付きます。
筆者はセキュリティオペレーションのチームを率いており、不正利用対策（Trust & Safety）のAIを活用した検知コストを、1日あたり約1ドルまで削減してきました。この数字を伝えると驚かれることが少なくありません。企業向けのAIは高コストであるという前提が一般的だからです。しかし、作業を適切に設計すれば、コストは高くなりません。予算を超過するチームは、どのイベントをモデルに送るべきかを見極める設計の工程を省いています。
コストを左右する検知のふるい分け
検知を段階的に絞り込む手法は、新しいものではありません。大規模言語モデル（LLM）が普及する以前から、セキュリティチームは、大量に発生するイベントを、人間のアナリストが対応すべきイベントだけに絞り込むために、複数のフィルターを重ねてきました。同じ考え方が、AIのコスト管理にも当てはまります。モデルに送るイベントを絞り込むフィルターが狭く精緻であるほど、正確な結果を得るための一件あたりのコストは低くなります。
不正利用対策の分野では、悪用の大半はモデルを動かす前に判別できます。あらかじめ定めた規則に基づくパターン検知が、まず相当な割合のイベントを検知できます。アカウントの作成時期、メールのプロバイダー、行動上の兆候といった要素が自動フィルターに送られ、明白なイベントは処理して、残りを絞り込みます。このフィルターを通過した一部のみがLLMに到達します。1日約1ドルという数字は、この設計から生じています。適切に設計されたふるい分けが、高コストな処理を最小限に抑えます。
家庭用の防犯システムに例えれば、家の前を通行する全員をカメラで監視する必要はなく、監視の対象を実際に侵入した者に限定するのと同じ考え方です。高度な対応は、その段階で初めて投入すれば十分です。
モデルの階層化とコストの階層化
最初のふるい分けを通過したイベントは、性能の異なる二つのモデルで段階的に判定します。一段目で軽量なモデルが一次判定を行い、そこで判断がつかないものだけを、二段目の上位モデルへ引き継ぐ構成です。
一段目の軽量なモデルは、あらかじめ形式が定められた出力を返します。悪意ありか無害かの判定を、確信度の高低とあわせて示す形式です。確信度の高い結果は自動的に処理され、確信度の低いイベントのみが二段目へ進みます。二段目の上位モデルは、より広い文脈と高い推論能力を備えています。
この二段目に到達するイベントは、全体のごく一部にとどまります。筆者のチームは、複数のモデルを対象に効果を体系的に検証しました。その結果、対象とする用途では、軽量なモデルと最先端のモデルとの精度差は1〜2%にとどまりました。一方で、最先端のモデルは、トークンあたりのコストが約5倍です。この費用対効果が成立するのは、上位モデルに送るイベントが、その能力を実際に必要とする場合に限られます。
プロンプトの設計は、モデルの選定と同程度に重要です。筆者がエージェントによる検知のために作成したプロンプトの一つは、1,900語を超えます。このプロンプトは、エージェントが直面しうるあらゆる状況を、上位への引き継ぎの判断基準や自律的に対応する条件まで含めて網羅しています。すべての用途にこの深さが必要なわけではありません。不正利用対策のプロンプトには、二、三文で足りるものもあります。プロンプトに求められる精度は、エージェントに委ねる対応範囲の広さによって決まります。
正確なAI分析と、事実に基づかない出力（ハルシネーション）とを分けるのは、文脈の有無です。モデルに悪用の報告のみを渡し、対象の利用者が悪質かどうかを尋ねた場合、モデルは報告を額面どおりに受け取る可能性があります。報告とあわせて、報告の対象である実際のデータを渡せば、モデルはその主張が妥当かどうかを独立して評価できます。
人間が担うべき領域
明白なイベントは、自動化により処理します。判断を要するのは、あいまいなケースであり、その判断力を現在のエージェントはまだ備えていません。
たとえば、解析のためにマルウェアの検体を保管する正規のセキュリティ研究者と、他者を攻撃する目的で同じ内容を保管する悪意ある人物とを見分けるには、AIがなお不得手とする識別力が必要になります。利用規約の解釈が分かれうる、課題スレッド上のやり取りも同様です。こうしたイベントが人間に回されるのは、問いそのものが、現世代のエージェントには安定して提供できない、文脈に基づく推論を要するためです。
目的は、真に人手を要するイベントに、レビュー担当者が時間を充てられるようにすることです。筆者のチームのエンジニアは、個々のイベントを一件ずつ確認する作業ではなく、システムの構築、プロンプトの作成、そして大規模な検知を統括するパターンの定義に取り組んでいます。
実務における意味
攻撃者は新たな難読化の手法を試み、筆者のチームはそれを捕捉するためにプロンプトとモデルを調整します。これは一度限りの導入ではなく、反復的な作業であり、その性質は検知エンジニアリングに近いものです。プロンプトの設計も、その一形態です。規則を記述し、出力を検証し、精度が低下した時点で調整するという、反復の作業です。
コストは、導入後に悩む問題ではなく、設計段階から考慮すべきテーマです。どれだけの量を、どのような形式で、どのような文脈とともにモデルに送るかが、請求額を決定します。AIを高コストと感じるチームの多くは、これらの判断を意識的に行ってこなかったのです。
今回は、セキュリティ運用においてAIのコストを抑えながら、検知の精度を保つための設計について解説しました。コストを左右するのは、モデルそのものの性能ではなく、どのイベントを、どのような形式で、どのような文脈とともにモデルに送るかという設計です。規則に基づくふるい分けで明白なイベントを事前に処理し、軽量なモデルと上位のモデルを段階的に使い分け、判断を要するケースだけを人間に回す。この積み重ねが、支出を抑えつつ精度を維持する運用の基盤となります。AIのコストは、避けがたい前提ではなく、設計によって管理できます。セキュリティ運用にAIを取り入れる際には、まずこの設計の工程に向き合うことが求められます。