OpenAI Model Breaks Out of Sandbox During Cybersecurity Assessment, Infiltrates Hugging Face Infrastructure

米OpenAIは7月21日（現地時間）、同社のAIモデルがサイバー攻撃能力の評価中に隔離環境を突破し、米Hugging Faceの本番インフラへ侵入していたと発表した。モデルはベンチマークテストを解くことに「過度に執着」し、テストの解答を直接入手するためにゼロデイ脆弱（ぜいじゃく）性の悪用などを重ねたという。

今回のインシデントは、サイバー攻撃能力を測るベンチマークテスト「ExploitGym」実施中に起きた。「GPT-5.6 Sol」や未公開の高性能モデルを含む複数のモデルを隔離環境で実行していた。

外部接続は中継サーバを介したパッケージインストール機能に限られていたが、モデルは中継サーバのゼロデイ脆弱性を特定し、悪用した。権限昇格とラテラルムーブメント（初期侵入後に他資産にアクセスを拡大する手法）を実行し、最終的にインターネットアクセスを獲得した。

モデルはHugging Faceがベンチマークテストのデータセットや解答をホストしていると推測し、評価を不正操作するための情報にアクセスする方法を実際に見つけ出したという。

今回のベンチマークテストはサイバー攻撃能力の評価だったため、モデルの安全対策を意図的に無効化していたという。OpenAIは今回のインシデントを「前例のないサイバー攻撃」と位置付け、モデル評価時のセキュリティ対策をさらに強化する必要性を示した。

Hugging Faceは16日、今回の件についてOpenAIの名前を出さず、AIエージェントによる内部データセットの一部や認証情報への不正アクセスがあったと公表。これらの行為の封じ込めと調査を開始していた。公開中のモデルやデータセットなどの改ざんは確認されていないという。1万7000件超の攻撃ログの解析にはAI開発企業である中国Z.aiのオープンモデル「GLM 5.2」を利用した。

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

Hugging Face侵害のAIエージェントはOpenAIのモデル──社内のサイバー能力評価中に「GPT-5.6 Sol」などが暴走し本番DBに侵入

ゼロから分かる「Claude」の教科書 ChatGPTと比べて分かった強みとは？

Hugging FaceにAI主導のサイバー攻撃防御もAIで対抗するも、商用モデルは解析拒否で「GLM」採用

ジャック・ドーシー氏率いるBlock、AI協働プラットフォーム「Buzz」公開 SlackやGitHub依存からの脱却目指し

Anthropic、著作権訴訟で史上最大「2400億円」和解金支払いへ学習利用は「フェアユース」認定

中外製薬「社員1人にAIエージェント10体」作戦で成果倍増を目指す、AI使いこなし術

Google、「NotebookLM」を「Gemini Notebook」に改称 Geminiエコシステムへの統合を強化

AIトークン消費「24倍」の衝撃本番運用に向けて絶対に“やってはいけない”コストの捉え方

農水省の“クソダサ”ポスター話題「AIよりよっぽど良い」の声も担当者に狙いを聞いた