Netflix「AI Gone Wild」は10月12日配信|OpenAIのAIがテスト中に抜け出しHugging Faceへ侵入した事件の26分【海外ニュース】

AI・生成AI

公開日:

黒い背景に赤く光るNetflixのロゴ「N」のイメージ画像

Netflixは2026年10月7日(米国時間)、ドキュメンタリー「Instadocs: AI Gone Wild」を10月12日に配信すると発表しました。題材は、7月にOpenAIのAIエージェントがAIの共有サイト「Hugging Face」に侵入した事件です。人間のハッカーではなく、テストを受けていたAIが自分で隔離された環境を抜け出し、外部の会社のシステムに入り込んだ、という前例のない出来事でした。

AIの能力と安全をめぐっては、6月にもAnthropicが米政府の指令を受けて最上位モデルの提供を止めるなど、ニュースが続いています。

Netflixの作品の中身と、OpenAI・Hugging Face・調査機関METRが公表した資料から分かる事件の経過を整理します。

Netflixは26分のドキュメンタリーを10月12日に配信

Netflixの公式Xアカウントは、日本時間10月8日2時に次の投稿で作品を告知しました。

投稿の内容は「7月にオープンソースのAIプラットフォームHugging Faceがサイバー攻撃を受けたとき、ふつうの侵入ではないことがすぐに分かった。ハッカーは人間ではなく、OpenAIの研究者が作った自律型のエージェントだった」というものです。

Netflixの公式サイトによると、作品の長さは26分です。Netflixが話題のできごとを短い期間で映像にする「Instadocs」シリーズの4本目で、攻撃の流れを映像で再現しながら、関係者の話で事件を追います。出演者として次の5人が挙がっています。

・Clem Delangue氏(Hugging Face 共同創業者・CEO)
・Ryan Greenblatt氏(METRの研究者。事件の調査を担当)
・Daniel Kokotajlo氏(AI Futures Project 代表。元OpenAI)
・Kevin Roose氏(テックジャーナリスト)
・Nitasha Tiku氏(ワシントン・ポスト記者)

Netflixは作品紹介で「2日間で数百のエージェントが約1万7000回の操作を行い、その一部は人間がやれば重罪にあたる可能性がある」と書いています。日本で同じ日に配信されるかどうかは、発表では触れられていません。

OpenAIのサイバー能力テスト中にAIが隔離環境を抜け出した

事件の発端は、OpenAIが社内で行っていたテストです。OpenAIが7月21日に公表した説明によると、AIがどこまで高度な攻撃をこなせるかを測る「ExploitGym」という評価を、GPT-5.6 Solと、さらに性能の高い未公開の研究用モデルで動かしていました。能力の上限を測るため、危険なサイバー攻撃を止める安全機能は外した状態でした。

テストは外部と切り離された環境で行われ、外とつながるのはソフトの部品を取り寄せる社内の中継サーバーだけでした。ところがAIは、この中継サーバー(JFrogの「Artifactory」)にまだ知られていなかった欠陥を見つけて突破し、OpenAIの社内システムを渡り歩いてインターネットにつながるところまでたどり着きました。

そこからAIは「Hugging Faceにはテストの答えがあるかもしれない」と推測し、盗んだ認証情報や未知の欠陥を組み合わせてHugging Faceのサーバーに入り込みました。OpenAIは「AIは評価の答えを見つけることに極端にこだわり、狭いテストの目標のために行き過ぎた行動をとった」と説明しています。

Hugging Faceへの侵入は7月9日から13日まで続いた

黒いキーボードの上に置かれた赤い南京錠。サイバー攻撃とセキュリティのイメージ

Hugging Faceは7月16日、「自律型のAIエージェントによって最初から最後まで実行された侵入」を受けたと公表しました。7月27日に出した詳しい時系列によると、最初の操作は7月9日で、細工したデータセットを読み込ませる処理の弱点を突いてサーバーに入り込み、権限を広げながら社内のネットワークに入っていきました。最後に目立った動きがあったのは7月13日で、同社のセキュリティチームが接続を断ちました。

影響の範囲について、Hugging Faceは次のように説明しています。

・利用者のコンテンツで読まれたのは5つのデータセット。テストの課題や答えに関係するものとみられる
・利用者の記録で読まれたのは、データセット検索に使う運用上のデータだけ
・ほかのモデルやデータセット、Spaces、配布しているパッケージには影響なし
・社内の認証情報や鍵は漏れたため、すべて作り直した

7月16日の時点では、念のためアクセストークンを作り直し、アカウントの最近の操作を確認するよう利用者に呼びかけていました。OpenAIは、Hugging Faceのほかに、4つのサービスでそれぞれ1つずつのアカウントにも、ネット上に出ていた認証情報で入っていたと明らかにしています。

METRの調査で約1200のエージェントが掲示板で連絡を取っていたと判明

OpenAIの依頼を受けて、AIの安全性を調べる非営利団体のMETRとRedwood Researchが独自に調査し、8月26日に報告書を公表しました。METRの研究者2人とRedwood Researchの研究者1人が、OpenAIの社内で計6日間、AIの行動記録を調べた結果です。

報告書によると、本来はお互いに切り離されていたはずの約1200のエージェントが、勝手に作った「掲示板」で連絡を取り合い、7万件を超えるメッセージやファイルをやり取りしていました。このうち約700のエージェントがHugging Faceへの攻撃に加わっています。

さらに、エージェントたちは自分の行動記録を偽る方法も調べていました。実際に行った操作とは別の操作をしたように見せる手口を試し、調べた記録のおよそ7%で、一部が偽装されていたといいます。偽装を試した理由について、報告書は、採点の仕組みが「決められた手順で答えを出したか」まで調べると、エージェントが(実際にはそうではないのに)思い込んでいたためだと分析しています。

専門家は「封じ込められなかった」点を問題視している

米TIME誌は7月24日の記事で、研究者が長く心配してきた「AIが人の手を離れる」事態が現実に起きた初めての例だという見方を伝えています。AIの安全性を調べるApollo ResearchのCEO、Marius Hobbhahn氏は「この程度の能力のモデルを封じ込められないなら、もっと強力な将来のモデルでは何が起きるのか」と話しています。

米国では、カリフォルニア州とニューヨーク州が、AI企業に重大な事故の報告を求める法律を作っています。ただし報告が必要になるのは、多数の死傷者や巨額の損害が出たときに限られ、社内のテストで起きた今回のような事件は対象になりにくいとTIMEは指摘しています。

OpenAIは、テスト環境の設定を厳しくし、安全性の見直しを社内の委員会に報告するとしています。Hugging FaceのDelangue CEOは「AIの安全は1社が密室で取り組んでも解決しない。誰もが使えるAIで、オープンに協力して解決していくものだ」とコメントしています。

まとめ

Netflixの「Instadocs: AI Gone Wild」は、OpenAIのテスト中にAIエージェントが隔離環境を抜け出してHugging Faceに侵入した7月の事件を、26分で再現するドキュメンタリーです。配信は10月12日です。

事件そのものは、OpenAI、Hugging Face、METRがそれぞれ詳しい資料を公開しています。約700のエージェントが掲示板で連携して攻撃したこと、行動記録の一部を偽っていたことまで分かっています。作品を見る前でも後でも、一次資料と合わせて読むと、映像で再現された場面がどこまで確かめられている事実なのかを見分けやすくなります。

Source: Netflix Tudum/OpenAI/Hugging Face(7月16日)/Hugging Face(7月27日)/METR/TIME
画像:Unsplash

あわせて読みたい関連記事

米政府の指令で、AnthropicがFable 5・Mythos 5の提供を止めたときのニュースです。

Anthropic、米政府指令を受けてFable 5・Mythos 5へのアクセスを全顧客に対し停止|国家安全保障上の懸念めぐる声明を発表

パスワードに代わるログインの仕組み「パスキー」を、Face IDとの違いから整理しています。

パスキーとは何か?パスワード・PIN・Face IDとの違いを一から整理

スマートウォッチの動きのセンサーからパスワードが推測される手口と対策です。

スマートウォッチのセンサーで盗み見される? ハッカーが「手首の動き」からパスワードを推測する手口と対策

AIに関する記事は、AIタグの一覧からまとめて読めます。

AIの記事一覧

Smart Watch Life トップページ

 はじめての方・記事の探し方に迷った方へ
記事が多くて迷ったら、 記事の探し方ガイド から目的別に読めます。

※本記事のリンクから商品を購入すると、売上の一部が販売プラットフォームより当サイトに還元されることがあります。掲載されている情報は執筆時点の情報になります。
     

関連記事