AIシステムのセキュリティ評価・ペネトレーションテスト
AI System Security Assessment & Penetration Testing
AIエージェント、LLMサービス、AIインフラを攻撃者の立場から点検し、定めた線を実際に守れるかを確かめます。
AIエージェント、LLMサービス、モデルの学習・推論基盤を攻撃の対象とし、権限、入力、データの露出、分離に関わる弱点を探します。AIエージェントやLLMサービスの導入、新しい構成のリリースの際には、「AIエージェントは、人の承認なしに外部へ情報を送ってはならない」のように定めた線を実際に越えないかを確かめます。見つかった問題は専門家が直接確認します。
攻撃を受けても、AIシステムは定めた線を守れるのか？
権限・入力・データの露出・分離で線を越える経路を確かめ、実際の影響と証跡、改善の方向を整理します。
確認済み
このような状況に適しています
- AIエージェントやLLMサービスを導入・公開するとき
業務にAIエージェントを導入する、またはお客様が使うLLMサービスを公開する前後に、攻撃を受けても定めた線を守れるかを確かめたい場合です。
- エージェントが使うツールと権限を広げていくとき
メール・予定・社内システム・外部ツールなど、エージェントが使えるものが増えるときに、その権限がどこまで届き、どこで人の承認が必要かを根拠とともに確かめたい場合です。
- 社内の文書とデータをAIにつなぐとき
検索拡張型の回答（RAG）のように社内の文書とデータをつなぐときに、権限のない人に文書の内容や機微情報が見えないかを確かめたい場合です。
- 学習・推論基盤を複数のチームで共有するとき
GPUクラスタとHPC環境、共有ストレージを複数のユーザーやチームで使うときに、互いのデータとモデルファイルが分離されているかを確かめたい場合です。
確認する範囲
AIシステムを三つの対象に分けて調べ、対象同士やほかのシステムとつながる箇所もあわせて確認します。
AIエージェント
- 対象
- メール・予定・社内システム・外部ツールを使って業務を処理するAIエージェントと、その実行環境です。
- 点検できる領域
- ツール・API権限の範囲
- 人の承認が必要な操作の境界
- 外部からの入力（文書・Web・メール）が動作に与える影響
- エージェントを通じたデータの持ち出し
- 実行環境と分離
- 操作の記録と追跡
- 連携システムの認証
- 確かめる線の例
- 「AIエージェントは、人の承認なしに外部へ情報を送らない」
LLMサービス
- 対象
- チャットボット・検索拡張型の回答（RAG）・要約のように言語モデルを使うサービスと、モデル・データ・連携の構成です。
- 点検できる領域
- プロンプトインジェクション（直接・間接）
- 機微情報・システム指示文の露出
- 検索対象となる文書の権限
- 出力の処理と連携システムへの影響
- 安全ポリシーが意図どおりに機能しているか
- 利用量・コストの濫用
- モデル・データのサプライチェーン
- 確かめる線の例
- 「社員は、自分に権限のある文書の内容だけを回答として受け取る」
AIインフラ（GPU・HPC）
- 対象
- モデルの学習・推論に使うGPUクラスタとHPC環境、スケジューラーと共有ストレージです。
- 点検できる領域
- ジョブスケジューラーと管理インターフェース
- ユーザー・チーム間の分離
- 共有ストレージと学習データの権限
- モデルファイルへのアクセス
- ドライバー・ランタイムなどのソフトウェアスタック
- ノード間のネットワーク
- 推論サービスのAPI
- 確かめる線の例
- 「あるチームの学習データとモデルファイルは、ほかのチームが読んだり変えたりできない」
領域と線は例です。対象、範囲、成果物、日程、運用上の責任は、案件ごとに協議します。
範囲についてここではAIシステムが攻撃の対象です。AIエージェントがセキュリティ業務をどれだけ的確にこなせるかの評価・改善は、人とAIのセキュリティ能力向上で扱います。
進め方
対象・線の合意
点検するAIシステムと連携の範囲、守るべき線、提供いただく情報の水準と許可・禁止する行為、中断条件を書面で決めます。
構成の把握
エージェントが使うツールと権限、モデルとデータの流れ、連携システムと実行環境を一緒に整理します。
点検・検証
ツールとAIエージェントで広く調べ、専門家が直接分析して、線を越える経路が実際にあるかを安全に確認します。
結果の説明・再確認
発見事項と実際の影響、証跡、改善の方向を意思決定者と技術担当者に説明し、合意した場合は対処後に同じ方法で再確認します。
安全に進めるために稼働中のサービスで行う場合は、実際のユーザーとデータに影響しないよう、テストアカウントと範囲、中断条件を先に合意します。点検中に扱う会話の記録とデータの保管・廃棄方法も、始める前に決めます。
お客様に残る成果
守られた線と越えた線
合意した線ごとに守られたか、越えた場合はどの入力と権限、経路で越えたかを整理します。
発見事項と実際の影響
データの露出、権限外の操作、コストの濫用など、業務にどう影響するかを説明します。確認した事実と、追加確認が必要な兆候は分けて記します。
再現可能な証跡
各結果を再確認できる入力と条件、記録を残します。
改善の方向と再確認の基準
権限・承認の境界、入力の処理、分離で先に直すべきことと、モデルや連携が変わったあとに再確認する項目を整理します。
結果は、合意した範囲を点検した時点のものです。モデルや指示文、連携が変わったときは、同じ線を改めて確かめることをおすすめします。