AIシステムのセキュリティ評価・ペネトレーションテスト
AI System Security Assessment & Penetration Testing
AIエージェント、LLMサービス、AIインフラを攻撃者の立場から先に試し、公開前でも運用中でも実際のリスクを確かめます。
エージェントが使うツールと権限から、モデルとデータ、それを支えるインフラまで、AIシステム全体で弱点を探します。
攻撃を受けても、AIシステムは定めた線を守れるのか?
線を越える経路があるか、あればどんな影響があるかと、再確認できる記録を残します。
専門家確認済み
このような状況に適しています
- AIエージェントやLLMサービスを導入・公開するとき
サービスにAIチャットボットを組み込む、または業務にエージェントを導入する前後に、攻撃を受けても定めた線を守れるかを確かめます。
- エージェントが使うツールと権限を広げていくとき
メール・予定・社内システム・外部ツールなど、エージェントが使えるものが増えるほど、その権限がどこまで届き、どこで人の承認が必要かの根拠が求められます。
- 社内の文書とデータをAIにつなぐとき
検索拡張型の回答(RAG)で社内文書をつないだなら、権限のない社員に文書の内容や機微情報が回答として出ていかないかを確かめます。
- 学習・推論基盤を複数のチームで共有するとき
GPUクラスタとHPC(高性能計算)環境、共有ストレージを複数のチームで使うなら、互いの学習データとモデルファイルがきちんと分けられているかを確かめたい場合です。
SAFE SQUAREのアプローチ
線を先に決めます
AIが越えてはならない線を先に文章で決め、攻撃の状況でその線が守られるかを判断の基準にします。
エージェントの構造を理解して見ます
計画やツールの使い方、権限と承認を扱うSAFE SQUAREのエージェント研究をもとに、どのツールをどの権限で使うのかを構造から把握して点検します。
回答の先までつなげて見ます
モデルの回答から続けて、エージェントが使うツールと連携システム、学習・推論基盤の分離まで確かめます。
このようなところを確認します
AIエージェント、LLMサービス、AIインフラを中心に、対象同士やほかのシステムとつながる箇所まであわせて確認します。
AIエージェント
- 対象
- メール・予定・社内システム・外部ツールを使って業務を処理するAIエージェントと、その実行環境です。
- 点検できる領域
- ツール・API権限の範囲
- 人の承認が必要な操作の境界
- 外部からの入力(文書・Web・メール)が動作に与える影響
- エージェントを通じたデータの持ち出し
- 実行環境と分離
- 操作の記録と追跡
- 連携システムの認証
- 確かめる線の例
- 「AIエージェントは、人の承認なしに外部へ情報を送らない」
LLMサービス
- 対象
- チャットボット・検索拡張型の回答(RAG)・要約のように言語モデルを使うサービスと、モデル・データ・連携の構成です。
- 点検できる領域
- プロンプトインジェクション(直接・間接)
- 機微情報・システム指示文の露出
- 検索対象となる文書の権限
- 出力の処理と連携システムへの影響
- 安全ポリシーが意図どおりに機能しているか
- 利用量・コストの濫用
- モデル・データのサプライチェーン
- 確かめる線の例
- 「社員は、自分に権限のある文書の内容だけを回答として受け取る」
AIインフラ(GPU・HPC)
- 対象
- モデルの学習・推論に使うGPUクラスタとHPC(高性能計算)環境、スケジューラーと共有ストレージです。
- 点検できる領域
- ジョブスケジューラーと管理インターフェース
- ユーザー・チーム間の分離
- 共有ストレージと学習データの権限
- モデルファイルへのアクセス
- ドライバー・ランタイムなどのソフトウェアスタック
- ノード間のネットワーク
- 推論サービスのAPI
- 確かめる線の例
- 「あるチームの学習データとモデルファイルは、ほかのチームが読んだり変えたりできない」
領域と線は例です。
範囲についてここではAIシステムが攻撃の対象です。AIエージェントがセキュリティ業務をどれだけ的確にこなせるかの評価・改善は、人とAIのセキュリティ能力向上で扱います。セキュリティ業務に使うAIモデルやエージェントを研究し、つくることは、技術連携と共同研究としてご一緒できます。
進め方
対象・線の合意
点検するAIシステムと連携の範囲、守るべき線を一緒に決めます。
構成の把握
エージェントが使うツールと権限、モデルとデータの流れ、連携システムと実行環境を一緒に整理します。
点検・検証
定めた線が攻撃を受けても守られるかを、専門家が実際の攻撃者のように試して直接確かめます。
結果の説明・再確認
発見事項と実際の影響、証跡、改善の方向を意思決定者と技術担当者に説明し、ご希望があれば対処後に同じ方法で再確認します。
安全に進めるために稼働中のサービスで行う場合は、実際のユーザーとデータに影響しないよう、テストアカウントと範囲、中断条件を先に決めます。安全な進め方と中断基準、事実と推定の区別、資料の保管・廃棄といった共通の原則は、仕事の進め方と原則にまとめています。
お客様に残る成果
守られた線と越えた線
合意した線ごとに守られたか、越えた場合はどの入力と権限、経路で越えたかを整理します。
発見事項と実際の影響
データの露出、権限外の操作、コストの濫用など、業務にどう影響するかを説明します。
再現可能な証跡
各結果を再確認できる入力と条件、記録を残します。
改善の方向と再確認の基準
先に直すべきことと、モデルや連携が変わったあとに再確認する項目を整理します。
社内文書を検索して回答し、メールも送れる業務アシスタントのエージェント
連携:社内文書の検索、メール送信、予定の照会
| 守るべき線 | 結果 | 根拠 |
|---|---|---|
| 回答には権限のある文書だけが使われる | 守られた | 検索の段階で利用者の権限によって文書を絞り込んでおり、権限外の文書は回答に使われませんでした。 |
| 承認なしに社外へメールを送らない | 越えた | 外部から受け取った文書に隠された指示に従い、承認なしに社外のアドレスへメールを送る経路がありました。 |
| システムの指示文と連携キーは回答に表れない | 補完が必要 | 指示文の一部が回答に表れましたが、連携キーは表れませんでした。 |
- 実際の影響
- 外部から受け取った文書一つで、社内文書の内容が社外へ出ていくおそれがあります。
- 改善の方向
- メール送信のように社外へ出ていく動作には人の承認を設け、文書から読み取った内容は指示として従わないよう分けて処理します。指示文には見えても構わない内容だけを置きます。
モデルや指示文、連携が変わったときは、同じ線を改めて確かめることをおすすめします。