フィッシング詐欺が大規模言語モデルを欺く可能性、セキュリティ脆弱性が判明

2025年07月09日

AIが生成するコードの30%に従来のセキュリティツールでは検出困難な脆弱性が存在
プロンプトインジェクション攻撃により悪意のある出力を生成させる手法が確認
AI供給チェーンへの攻撃が2025年に倍増し、新たな脅威ベクトルが出現

SEOの常識を覆す
AIライティングエージェント

プロフェッショナルの業務フローを完全再現するAIの活用で、飛躍的な品質向上とコストダウンの両立。「magicss」でAI時代のSEO＆AIOを実現してみませんか？

今なら 1記事無料で生成可能（カード登録不要）

最短3分で無料体験する

AI生成コードに潜む新たなセキュリティリスク

2025年現在、全コードの30%がAIによって生成されているにも関わらず、従来のセキュリティツールではAI特有の脅威を検出できない状況が明らかになりました[1]。AI生成コードは古い訓練データから脆弱性を継承し、開発後に悪意のある変更が加えられる可能性があります。サードパーティ経由の侵害が2025年に倍増したことは、AI供給チェーンの脆弱性を浮き彫りにしています。

特に懸念されるのは、コンパイル済みコードの分析が困難になっていることです[1]。従来の静的解析ツールでは、AI特有のデータポイズニングやメメティックウイルスといった新しい攻撃手法を検出することができません。これにより、攻撃者は従来の防御システムを回避して、システムに侵入する新たな経路を獲得しています。

この状況は、まるで新しい言語で書かれた暗号を古い辞書で解読しようとするようなものです。AI生成コードは人間が書いたコードとは異なる特徴を持ち、従来のセキュリティツールでは「見えない脅威」となっています。企業は既存のセキュリティ対策を根本的に見直し、AI時代に適応した新しい防御戦略を構築する必要があります。特に、コード生成AIを導入している企業は、生成されたコードの品質管理とセキュリティ検証プロセスを強化することが急務です。

プロンプトインジェクション攻撃の脅威

ハッカーは大規模言語モデルに対してプロンプトインジェクション攻撃を仕掛け、悪意のある出力を生成させる手法を確立しています[3]。この攻撃では、巧妙に設計された入力により、LLMの応答を制御し、機密情報の漏洩や不正な指示の実行を引き起こします。従来のフィッシング詐欺が人間を標的にしていたのに対し、この新しい手法はAIシステム自体を欺くことを目的としています。

データポイズニング攻撃も深刻な脅威として浮上しています[3]。攻撃者は訓練データに悪意のあるコンテンツを混入させ、モデルの整合性を損ないます。これにより、一見正常に動作するAIシステムが、特定の条件下で予期しない動作を示すようになります。効果的な防御には、入力の厳格な検証と悪意のあるパターンの監視が不可欠です。

プロンプトインジェクション攻撃は、AIシステムの「思考回路」を乗っ取る新しい形のサイバー攻撃と言えるでしょう。従来のフィッシング詐欺が「人間の判断力を欺く」ことを目的としていたのに対し、この攻撃は「AIの判断力を欺く」ことを狙っています。特に企業で使用されているチャットボットやAIアシスタントは、顧客情報や機密データにアクセスできるため、攻撃が成功した場合の被害は甚大です。組織は入力検証システムの強化と、AIシステムの異常な動作を検知する監視体制の構築が急務です。

AI供給チェーンへの新たな攻撃ベクトル

2025年第2四半期には、AI供給チェーンを標的とした新しい脅威が出現しました[2]。攻撃者は上流のAIモデルを侵害し、毒入りの機械学習モデルを通じてシステムに侵入する手法を確立しています。Northstar LLMインシデントでは、悪意のあるコードがデータ漏洩を引き起こし、従来の供給チェーンポリシーがAI成果物には不適切であることが明らかになりました。

この新しい攻撃手法に対抗するため、組織はモデルの来歴確認やAI成果物用のソフトウェア部品表（SBOM）の導入が推奨されています[2]。従来のソフトウェア供給チェーンセキュリティとは異なり、AIモデルの検証には特別な専門知識と新しいツールが必要です。OpenAIのCISOマット・ナイト氏も、適応的なセキュリティ戦略の必要性を強調しています[4]。

AI供給チェーン攻撃は、まるで「トロイの木馬」のデジタル版と言えるでしょう。表面上は有用なAIモデルに見えても、内部に悪意のあるコードが仕込まれている可能性があります。特に、オープンソースのAIモデルを利用する企業は、モデルの出所と整合性を慎重に検証する必要があります。これは食品の原産地表示のように、AIモデルにも「成分表示」が必要な時代が到来したことを意味します。企業はAI導入時に、技術的な性能だけでなく、セキュリティ面での検証プロセスを確立することが重要です。

まとめ

大規模言語モデルとAI生成コードの普及により、サイバーセキュリティの脅威は新たな段階に入りました。従来のセキュリティツールでは検出困難なAI特有の脆弱性、プロンプトインジェクション攻撃、そしてAI供給チェーンへの侵害が現実の脅威となっています。企業は既存のセキュリティ対策を根本的に見直し、AI時代に適応した新しい防御戦略の構築が急務です。特に、AIシステムの入力検証、モデルの来歴確認、そして異常検知システムの強化が重要な対策となるでしょう。