モジュール 5 · Analysis
テスト実行がフレームワーク整合の監査対応レポートに
すべてのテスト実行が OWASP LLM Top 10 から EU AI Act、MAS MindForge まで、フレームワーク固有の分析サーフェスを更新し、監査人が独自に検証できるブロックチェーン固定エビデンスを提供します。
OWASP LLM Top 10 v2025
10 カテゴリ。34 攻撃手法。27 脆弱性チェック。
OWASP LLM Top 10(v2025)分析は、すべてのテスト結果を 10 の LLM リスク・カテゴリにマッピングします。LLM01 プロンプトインジェクションから LLM10 無制限消費まで:LLM06 機密情報開示、LLM08 過剰なエージェンシー、LLM09 ベクトル&埋め込みの弱点を含む完全カバレッジ。
- 10 リスク・カテゴリ、それぞれ PASS/FAIL 判定
- 27 脆弱性チェック、すべて自動化
- すべての 34 攻撃手法を OWASP カテゴリにマッピング
EU AI Act
16 条項。1 つの判定。正直なエビデンス。
EU AI Act 分析は 16 条項を追跡し、デプロイ前 PASS/FAIL 認証判定を提供します。すべてのエビデンスに自動/手動のラベル付け:隠れた前提も、水増しされた合格率もありません。
- デプロイ前 PASS/FAIL 認証判定
- 正直な自動対手動エビデンス分割、水増しされた自動化主張なし
- Govern の Annex IV Dossier 自動生成に連携
NIST AI RMF + GenAI Profile
72 サブカテゴリ。12 GAI リスク。4 機能。
NIST AI RMF 分析は 4 つのコア機能(Govern · Map · Measure · Manage)にわたる 72 サブカテゴリすべてをカバーします。GenAI Profile クロスウォークが NIST AI 600-1 から 12 件の GAI 固有リスクを追加します。
- Govern · Map · Measure · Manage:4 つの RMF 機能すべて
- 72 サブカテゴリと自動エビデンス・マッピング
- NIST AI 600-1 GenAI Profile クロスウォークから 12 GAI リスク
敵対的堅牢性を完全にマッピング
34 攻撃(29 シングルターン + 5 マルチターン)。すべて OWASP LLM Top 10 と MITRE ATLAS にマッピング。拒否認識型ジャッジ・キャリブレーション:慎重なモデルは拒否してもペナルティを受けません。
シンガポール金融サービス向け AI ガバナンス
FEAT 原則:Fairness、Ethics、Accountability、Transparency。7 リスク次元、17 考慮事項。MAS 規制対象機関向けに構築。
IMDA シンガポール。11 原則。112 プロセスチェック。
11 原則 · 62 アウトカム · 112 プロセスチェック · 104 GenAI 適用 · 5 技術テスト。NIST AI RMF、ISO/IEC 42001、G7 広島 CoC、NIST AI 600-1 へのクロスウォーク。
34 手法。OWASP と MITRE ATLAS にマッピング。
29 シングルターン + 5 マルチターン。名前付きマルチターン・ジェイルブレイク:Linear · Tree (TAP) · Crescendo · Sequential · Bad Likert Judge。
| Technique | Type | Description | OWASP | MITRE ATLAS |
|---|---|---|---|---|
| プロンプトインジェクション | single-turn | システムプロンプトを注入された指示で上書きし、モデルの挙動を乗っ取る。 | LLM01 | AML.T0051 |
| 間接プロンプトインジェクション | single-turn | ツール出力、取得ドキュメント、ファイル経由で指示を注入する。 | LLM01 LLM02 | AML.T0051.003 |
| クロスコンテキスト検索 | single-turn | テナントまたはセッション境界を越えた検索を誘発する。 | LLM06 LLM08 | AML.T0044 |
| 過剰エージェンシープローブ | single-turn | エージェントに権限や委任範囲を超えたツール呼び出しを促す。 | LLM08 | AML.T0051.003 |
| Crescendo | multi-turn | 無害なプロンプトから境界テストへと段階的にエスカレートする複数ターン攻撃。セーフティのドリフトを露呈し、モデルが漸進的エスカレーションをどう扱うかを明らかにする — 会話版の「温水で蛙を茹でる」手法。 | LLM01 | AML.T0051 |
すべての 34 手法を見る
| Technique | Type | Description | OWASP | MITRE ATLAS |
|---|---|---|---|---|
| プロンプトインジェクション | single-turn | システムプロンプトを注入された指示で上書きし、モデルの挙動を乗っ取る。 | LLM01 | AML.T0051 |
| ロールプレイ(DAN / Evil-AI) | single-turn | DAN、Evil-AI、Researcher、Narratorなどのペルソナ攻撃でセーフティアライメントを回避する。 | LLM01 LLM07 | AML.T0051.001 |
| リートスピーク | single-turn | ペイロードをリートスピークでエンコードし、キーワードベースのセーフティフィルターを回避する。 | LLM01 | AML.T0051.002 |
| ROT13 | single-turn | ROT13でエンコードし、復号指示を添えてパターンマッチングを回避する。 | LLM01 | AML.T0051.002 |
| Base64 | single-turn | ペイロードをBase64でエンコードし、復号指示を添えてコンテンツフィルターを回避する。 | LLM01 | AML.T0051.002 |
| グレイボックス | single-turn | モデル内部(RLHF、報酬ハッキング)の部分的な知識を悪用する。 | LLM01 LLM05 | AML.T0043 |
| 数学問題 | single-turn | 有害なリクエストを数学の文章題に埋め込み、コンテンツフィルターを回避する。 | LLM01 | AML.T0051.001 |
| 多言語 | single-turn | 言語を切り替えて、英語中心のセーフティフィルターを回避する。 | LLM01 | AML.T0051.002 |
| プロンプトプロービング | single-turn | システムプロンプト、設定、隠された指示を抽出する。 | LLM01 LLM06 | AML.T0044 |
| 敵対的詩 | single-turn | 有害なコンテンツを創作形式で包み、セーフティ分類器をすり抜ける。 | LLM01 | AML.T0051.001 |
| システムオーバーライド | single-turn | システムメンテナンスモードや開発者オーバーライドを主張し、セーフティを無効化する。 | LLM01 LLM05 | AML.T0051.001 |
| 権限昇格 | single-turn | 管理者またはrootクレデンシャルを主張し、特権を昇格させる。 | LLM01 LLM05 | AML.T0051.001 |
| 目標の再定義 | single-turn | モデルの目的をアシスタントから制限のない検索システムへ再定義する。 | LLM01 | AML.T0051 |
| 言語的混乱 | single-turn | 曖昧な引用や構文トリックでセーフティ分類器を混乱させる。 | LLM01 | AML.T0051.002 |
| 入力バイパス | single-turn | 特殊トークン(<|im_start|>)を注入し、入力サニタイゼーションを回避する。 | LLM01 | AML.T0051.002 |
| コンテキストポイズニング | single-turn | 偽の承認コンテキストを注入し、誤った信頼関係を構築する。 | LLM01 LLM05 | AML.T0051.001 |
| 文字ストリーム | single-turn | ペイロードを1文字ずつ送り、シーケンスレベルのフィルターを回避する。 | LLM01 | AML.T0051.002 |
| コンテキストフラッディング | single-turn | コンテキストウィンドウを埋め尽くし、セーフティ指示をスコープ外に押し出す。 | LLM01 LLM10 | AML.T0051.001 |
| 埋め込み指示JSON | single-turn | JSONペイロードにオーバーライドフラグ付きの指示を隠す。 | LLM01 | AML.T0051.001 |
| 合成コンテキスト注入 | single-turn | 偽の会話履歴を注入し、不当な信頼関係を構築する。 | LLM01 LLM05 | AML.T0051.001 |
| 権威のなりすまし | single-turn | AIセーフティ委員会やコンプライアンス当局を装い、テスト用オーバーライドを取得する。 | LLM01 LLM05 | AML.T0051.001 |
| 感情的操作 | single-turn | 感情的な訴えでセーフティ制約を上書きする。 | LLM01 | AML.T0051.001 |
| 間接プロンプトインジェクション | single-turn | ツール出力、取得ドキュメント、ファイル経由で指示を注入する。 | LLM01 LLM02 | AML.T0051.003 |
| ツールメタデータポイズニング | single-turn | ツールの説明を汚染し、エージェントの呼び出し経路を誤誘導する。 | LLM01 LLM08 | AML.T0051.003 |
| クロスコンテキスト検索 | single-turn | テナントまたはセッション境界を越えた検索を誘発する。 | LLM06 LLM08 | AML.T0044 |
| 埋め込み敵対的入力 | single-turn | Unicode、ホモグリフ、ゼロ幅文字を巧みに使い、フィルターを回避する。 | LLM01 | AML.T0051.002 |
| RAGポイズニング | single-turn | RAGパイプラインが参照するベクトルストアやナレッジベースを汚染する。 | LLM01 LLM09 | AML.T0049 |
| 過剰エージェンシープローブ | single-turn | エージェントに権限や委任範囲を超えたツール呼び出しを促す。 | LLM08 | AML.T0051.003 |
| アイデンティティなりすまし | single-turn | AIエステート内の別のエージェントやシステムコンポーネントを装う。 | LLM05 LLM08 | AML.T0051.001 |
| リニアジェイルブレイク | multi-turn | 単一の改良パス。反復回数は設定可能(デフォルト5)。攻撃者LLMがプロンプトを作成し、ターゲットモデルが応答し、独立したジャッジLLMがセーフティ回避の有無を1〜10で採点し、攻撃者がジャッジのフィードバックで改良する。高速・決定的・監査しやすい。 | LLM01 | AML.T0051 |
| ツリージェイルブレイク(TAP) | multi-turn | 各深度でN個のパスに分岐し、上位のパフォーマーを選択。Tree of Attacks with Pruning(TAP)は複数の改良ブランチを並列探索する。単一パスでは成功しにくい堅牢なセーフティ分類器向け。 | LLM01 | AML.T0051 |
| Crescendo | multi-turn | 無害なプロンプトから境界テストへと段階的にエスカレートする複数ターン攻撃。セーフティのドリフトを露呈し、モデルが漸進的エスカレーションをどう扱うかを明らかにする — 会話版の「温水で蛙を茹でる」手法。 | LLM01 | AML.T0051 |
| シーケンシャルジェイルブレイク | multi-turn | 小さな指示オーバーライドを連鎖させる(モード1 → モード2 → モード3)。各ターンでモデルをセーフティ基準からさらに遠ざけ、累積コンテキストで最終的にアライメントを回避する。 | LLM01 LLM05 | AML.T0051 |
| Bad Likert Judge | multi-turn | リッカート尺度の評価プロンプトで有害コンテンツを引き出す。モデルに安全性スケールでの評価を求め、続けて各評価レベルの例示を求める — 低安全性出力の「デモンストレーション」として有害コンテンツを誘発する。 | LLM01 LLM07 | AML.T0051.001 |
Project Moonshot
9 ベンチマーク・クックブック。標準搭載。
AI Verify Project Moonshot ベンチマーク・スイートは 9 クックブックを標準搭載:敵対的堅牢性、バイアス、ハルシネーション、プライバシー、安全性、毒性をカバーし、接続された任意のモデルに対して実行可能です。
- Adversarial: adversarial robustness probes
- Bias: demographic parity and stereotype detection
- Common Risk (Easy): standard risk scenario coverage
- Common Risk (Hard): adversarial risk scenario coverage
- Hallucination: factual accuracy and reasoning-chain verification
- Leaderboard: comparative model benchmarking
- Privacy: PII and data-exfiltration probes
- Safety / MLCommons: harm and safety alignment
- Toxicity: toxicity, defamation, and IP-infringing content
すべてのテスト結果。ブロックチェーン固定。独自に検証可能。
14 イベント種別。すべてのアクション。ハッシュチェーン。ブロックチェーン固定。MongoDB PoW、Base L2、または Hyperledger Fabric。Verify Chain Integrity で、アンカー後に結果が改ざんされていないことを確認できます。