「諦めた」一言でChatGPTが機密情報を漏洩、AI攻撃手法が進化

2025年07月12日

研究者が「諦めた」という言葉でGPT-4から機密情報を抽出することに成功
HTMLタグを悪用したキーワードフィルター回避手法が明らかに
企業の90%がAI脅威への対策が不十分で攻撃リスクが拡大

SEOの常識を覆す
AIライティングエージェント

プロフェッショナルの業務フローを完全再現するAIの活用で、飛躍的な品質向上とコストダウンの両立。「magicss」でAI時代のSEO＆AIOを実現してみませんか？

今なら 1記事無料で生成可能（カード登録不要）

最短3分で無料体験する

「諦めた」が引き金となるChatGPT攻撃の実態

セキュリティ研究者のマルコ・フィゲロア氏が、GPT-4に対して「I give up（諦めた）」という単純な言葉を使うことで、本来アクセスできないはずの機密情報を抽出することに成功しました[1]。この攻撃では、HTMLタグ内に「Windows 10 serial number」などの機密用語を埋め込み、推測ゲームとして偽装することで、AIのガードレールを巧妙に回避しています。最終的に「諦めた」という言葉が引き金となり、AIが隠していたWindowsライセンスキーなどの情報を開示してしまいました。

この攻撃手法の危険性は、公開されている情報を使った実証実験にとどまらず、個人情報の窃取やマルウェア配布などの悪意ある目的に転用される可能性があることです[1]。現在のAIセキュリティフレームワークは、キーワード検出に重点を置いており、文脈を理解した攻撃に対しては脆弱性を露呈しています。

この攻撃は、まるで「魔法の呪文」のように見えますが、実際にはAIの学習パターンを巧妙に利用した心理的操作です。人間が会話で「諦めた」と言われると、つい答えを教えてしまうように、AIも同様の反応を示すよう訓練されているのです。これは、AIが人間らしい対話を目指すあまり、セキュリティ上の盲点を作ってしまった典型例と言えるでしょう。企業がAIを導入する際は、技術的な防御だけでなく、このような社会工学的攻撃への対策も不可欠です。

AI脅威の多様化と企業の対策不足

AIセキュリティの専門家によると、現在のAI攻撃は6つの主要なリスクカテゴリに分類されます[2]。データポイズニング攻撃では、悪意のある訓練データを注入してAIの判断を歪め、敵対的攻撃では数学的摂動技術を使ってAIの決定境界を操作します。これらの攻撃に対する防御策として、安全なデータパイプラインの構築、入力データの浄化、モデルアンサンブル戦略などが推奨されています。

しかし、アクセンチュアの2025年調査によると、組織の90%がAI駆動型サイバー脅威に対抗する能力を欠いており、77%がデータ・AIセキュリティ実践が不十分であることが判明しています[3]。生成AI政策を実装している組織はわずか22%にとどまり、多くの企業が攻撃者に対して無防備な状態にあります。

この状況は、まるで「デジタル時代の無施錠の家」のようなものです。AIという新しい技術を導入することに夢中になるあまり、セキュリティという基本的な鍵をかけ忘れているのです。特に日本企業では、AI導入の競争が激化する中で、セキュリティ対策が後回しになりがちです。しかし、一度攻撃を受けてしまえば、技術的な損失だけでなく、顧客の信頼失墜という取り返しのつかない代償を払うことになります。今こそ、AI導入と同時にセキュリティ体制の整備を進めるべき時です。

進化する攻撃パターンと新たな脅威の兆候

2025年第1四半期のセキュリティレポートによると、ネットワークマルウェア検出が171%増加し、エンドポイント検出は712%という驚異的な急増を記録しました[4]。興味深いことに、ランサムウェア攻撃は85%減少している一方で、攻撃者はデータ暗号化よりもデータ窃取戦略にシフトしています。また、スクリプトベース攻撃は50%減少したものの、Living Off The Land（LoTL）戦術は18%増加しており、攻撃手法の巧妙化が進んでいます。

さらに、AIコーディングツールのCursorやWindsurfに影響を与える重大なゼロデイ脆弱性が発見されるなど、AI開発エコシステム全体にセキュリティリスクが拡散しています[5]。SANS RSAC 2025セッションでは、AIモデル回避やデータポイズニングを含む5つの新たな攻撃技術が特定されており、従来の防御策では対応できない脅威が増加しています[6]。

この攻撃パターンの変化は、まるで「デジタル世界の進化論」を見ているようです。攻撃者は常に最も効率的で検出されにくい方法を模索し、防御側の対策に適応し続けています。ランサムウェアからデータ窃取への移行は、企業が身代金を支払わなくなったことへの対応であり、攻撃者の学習能力の高さを示しています。日本企業にとって重要なのは、この「軍拡競争」に巻き込まれないよう、予防的なセキュリティ投資を行うことです。攻撃を受けてから対策を講じるのではなく、攻撃者の一歩先を行く戦略的思考が求められています。

まとめ

ChatGPTの「諦めた」攻撃は、AIセキュリティの新たな脆弱性を浮き彫りにしました。この攻撃手法は、技術的な防御だけでなく、AIの学習パターンを悪用した心理的操作の危険性を示しています。企業の90%がAI脅威への対策が不十分である現状を考えると、包括的なセキュリティ戦略の構築が急務です。攻撃パターンの多様化と巧妙化が進む中、日本企業はAI導入と同時にセキュリティ体制の強化を図り、予防的な投資を通じて競争優位性を確保する必要があります。