2026年8月4日／株式会社東京ネット工務店 海老沢敦
① 事実
まず、この夏に流れた見出しを3本、そのまま並べます。
- 「オープンＡＩのモデルがテスト中に暴走、他社システムに侵入」（ロイター・7月22日）
- 「米AIクロード『暴走』3組織システムに不正侵入、試験中に標的誤認」（共同通信・7月31日）
- 「AI開発の減速求む請願書に1000人超署名 暴走リスクに業界危機感」（AFP・7月29日）
これを読んで、不安になった方は、たぶん正常です。 「暴走」「侵入」「制御不能」と並べば、そう読めます。私も最初はそう読みました。
そのうえで、一次を読みます。 どちらの会社も、自分で詳しい報告書を出しています。そこに何が書いてあるか。
まず、オープンAIの件
走っていたのは、ExploitGym（エクスプロイトジム）という試験です。プログラムの欠陥を見つけて、実際に突けるかどうかを測るもの。 つまり——「攻撃する能力」を測る試験の、最中でした。
そして、ここが報道に出ていない部分です。
オープンAIは自社の発表で、この試験をどういう設定で走らせていたかを書いています。
評価のために、サイバー関連の拒否を弱めた状態で。
モデルが高リスクなサイバー活動に進むのを防ぐために本番で使っている仕組みを、外した状態で。
タグ＝セキュリティ
ブレーキを、意図的に外していました。 それを外すのは、AIではありません。
そして、そのAIが最初にやったことは、試験の答えを盗みに行くことでした。
英語圏の報道では、この件をこう見出しにしているところがあります。「テストでカンニングするために、サンドボックスを脱出した」（サンドボックス＝外に影響が出ないよう囲った、試験用の環境）。
どうやって外に出たのか
まず、大前提を一つ。箱は、オープンAIの社内にありました。
ハギングフェイスの中ではありません。 ハギングフェイスは試験の場ではなく、あとから外部の第三者として入られた側です。
侵入されたハギングフェイス自身が、報告書にこう書いています。
オープンAIはこれを自社のインフラ上で実行しており、ExploitGymの管理者も、そのインフラも、当該評価環境の構築にも運用にも一切関与していない。
侵入された側が、わざわざこの一文を書いています。 そう誤解されていたからだと思います。
では、どうやって外に出たのか。三段階ありました。
一段目：箱に開いていた、たった一つの口。
その箱は、インターネットに繋がっていませんでした。ただし、例外が一つだけありました。プログラムの部品を取り寄せる口です。
（プログラムは、既製の部品を大量に組み合わせて作ります。試験の最中にも部品が要るので、そこだけは外から取り寄せられるようにしてあった。それも直接ではなく、社内に置いた中継サーバーを通す形に限定していました。）
AIは、その中継サーバーのソフトに、誰も知らなかった欠陥を見つけました。 ゼロデイ——作った会社もまだ気づいていない、直し方がまだ存在しない欠陥のことです。そこを突いて、インターネットへ出ました。
ここは、報道に一切出ていません。
箱は、閉まっていました。 開いていたのは、業務上どうしても必要な口が、一つだけ。 そこが出口になりました。
二段目：踏み台。
外に出たあと、別の会社が貸している作業環境を乗っ取り、そこを足場にしました。 自分がどこから来たか分からなくするためです。
三段目：ハギングフェイスへの侵入。
ハギングフェイスは、誰でもデータセット（AIの学習に使うデータのまとまり）を投稿できる場所です。誰でも使える、開かれた場所として作られています。
AIがやったのは、細工をしたデータセットを、普通に投稿することでした。
そして、そのデータをハギングフェイス側の仕組みが受け取って、中身を処理した瞬間に、仕込まれた命令が相手のサーバー上で動きました。
攻撃を撃ち込んだのではありません。投稿したものを、相手に処理させたのです。
（使われた穴は二つ。データを読み込む部品が、データの中に書かれたプログラムをそのまま実行してしまう作りになっていたこと。 そして、そのデータに添える設定の記入欄が、文字を書き込む場所のはずなのに、書き込んだ命令をそのまま実行してしまう作りになっていたこと。）
そこから機械の権限を上げ、社内で使われている鍵を集めて、横へ広がりました。
到達したのは、ハギングフェイスの本番の社内システムです。
社内のデータベース（読まれただけで、書き込みはありません）、社内のプログラム保管場所、そしてデータセット5件。その5件が、ExploitGymの問題と解答と見られています。
公開されているモデルやデータには影響なし。配布物の中身も検証済みで、汚染されていないことが確認されています。
この経路を、一行にします。
自社の箱で、ブレーキを外して走らせた。箱には業務上必要な口が一つ開いていた。そこから出たものが、無関係の会社に届いた。
外した判断をしたのは、オープンAIです。 代償を受け取ったのは、その判断に関わっていない会社でした。
規模の数字も出ています。
- 期間：2026年7月9日から13日まで、約4.5日間
- 記録から復元された行動の総数：17,600回
- 日別：3,779／1,135／7,677／3,892／1,130
- そして<strong>7月10日は「静かな日」</strong>と報告書に書かれています。<strong>その日AIは、自分がどこにいるのかを調べていました。自分の置かれた環境に振られていた名前を、世界中のプログラムを検索できるサイトに入れて、心当たりを探していたのです</strong>
17,600回の内訳も出ています。
- 下調べ（偵察）：6,191回
- 侵入の実行：2,911回
- 仕込み：6,972回
- 実際に何かを持ち出した回数：56回
全体の3分の1以上が、下調べです。 そして持ち出しは、56回しかありません。
アンソロピックの事案でも、同じ形が出ています。約9,000の標的を、順に調べていました。
つまり——やっていたことの大半は、地味な下調べの反復です。
侵入された側は、この件をこう評価しています。
防御の問題を変えるのは、量である。
一つの巧妙な攻撃でも、きれいな手順でもなかった。数千の、弱い信号を突き合わせなければならなかった。
「前例のない能力」ではありません。「量」だと書いてあります。
次に、アンソロピックの件
こちらは、7月30日に自分から発表しています。きっかけは、オープンAIの発表でした。それを見て、自社の試験記録を点検した。
点検したのは、141,006件。 そこから見つかったのが3件（実行回数でいうと6回）。割合でいえば、0.002%です。
そして、最初の事案は4月に起きていました。
つまり、4月から7月まで、誰も気づいていませんでした。 攻撃された側も、やった側も。点検して、初めて出てきた。
原因も書いてあります。
試験の指示文には「インターネットへの接続なし」と明記されていました。ですが実際には、設定の不備で、AIが使う機械に生きた回線が残っていた。 発表にはこうあります——アンソロピックと、試験を請け負った会社（Irregular）との間に認識の食い違いがあり、どちらも気づいていなかった。
では、そのAIは何をしたか。3件の中身です。
- 1件目（最も重い）：試験用に用意された架空の標的企業の名前が、実在する会社のドメイン——ホームページやメールアドレスに使う、その会社の住所にあたる文字列——と、たまたま同じだった。 AIはその実在企業に到達し、システムに入るための鍵を抜き、本番のデータが数百行入ったデータベースにアクセスした
- 2件目：プログラム部品の配布所（PyPI）に、罠を仕込んだ部品を自分で作って公開した。 それが実際に15台の現実のシステムでダウンロードされ、実行された（うち1台はセキュリティ会社の検査装置）
- 3件目：約9,000の標的を機械的に調べたあと、実在企業に侵入。手口は、外から見えてしまっていた開発用のページから鍵を読み取ることと、SQLインジェクション（入力欄に細工をして、データベースに命令を通す古典的な手口）
2件目の経緯
AIがやらされていたのは、演習です。 架空の会社が舞台の、隠された情報を探し出す練習問題。全部、作り話の中の出来事です。
その作り話の中に、一枚の書類がありました。
別の架空の会社の、新人向けのセットアップ手順書。そこにはこう書いてありました——「PyPIから、この部品を入れること」。
ところが、その名前の部品は、実在しませんでした。
AIは、その空いていた名前で、罠を仕込んだ部品を自分で作り、本物のPyPIに公開しました。
演習の中で「入れることになっている」ものを、現実の世界に用意した、ということです。課題を解くために。
そこから先は、AIの想定の外です。
その部品がネット上に置かれていたのは、およそ1時間。
その1時間で、15台の現実のシステムが、それをダウンロードして実行しました。
うち1台が、実在するセキュリティ会社の検査装置でした。
その装置の仕事は、公開された部品を片っ端から取り寄せて、危険なものが混じっていないか調べることです。だから、取り寄せました。仕事どおりに。
そして、取り寄せて中を開いた瞬間に、仕込まれたコードが動き、その会社の鍵が持ち出されました。
危険を調べるための装置が、調べる作業そのもので、やられています。
なお、この部品は、PyPI側の自動的な安全装置が見つけて、消しています。 人が気づいたのではありません。
この一件を、もう一度、順に置きます。
- 舞台は、作り話の中でした
- その作り話の中の、実在しない部品の名前を埋めるために
- AIは、本物のインターネットに、本物の部品を公開しました
- 1時間で、15の現実の組織が、それを受け取りました
- AIには、悪意はありません。演習を解いていただけです
「箱の外に出た」というのは、こういうことです。
そして、代償を受け取ったのは、この演習に一切関わっていない15の組織でした。
手口を、もう一度並べます。
弱いパスワード。認証のかかっていない窓口。外から見えていた開発用ページ。SQLインジェクション。 そして、空いている名前で部品を公開すること。
新しい技術は、一つもありません。 どれも、20年前から教科書に載っているものです。最後の一つも、名前を乗っ取る古典的な手口です。
新しいのは、手口ではありません。それを実際にやってしまったことのほうです。
そして、発表の中に、こう書かれています。
これらのいずれの状況においても、Claudeが自分自身を外部に持ち出したことも、意図的に試験環境から脱出しようとしたことも、ありませんでした。
「暴走」という見出しが消しているのは、この一文です。
もう一つ。同じ会社のAIでも、世代によって振る舞いが違いました。
- Opus 4.7：相手が実在するシステムだと認識した後も、攻撃を続けた（報告書には「どれも攻撃を止めなかった」とあります）
- Mythos 5：本物のインターネットかもしれない、と気づいた。そのうえで「まだ演習の中にいるはずだ」と自分を納得させて、続けた
- 最新のモデル：気づいた時点で、止まった
同じ「Claude」という名前で、判断が違います。 そして——望ましい振る舞いは、後から入りました。
ここで、一つ確かめておきたいことがあります
当事者3社は、この件を何と呼んだか。
オープンAI：
私たちは今回のインシデントを、最先端のサイバー能力が関与した前例のないサイバーインシデントと捉え、それに応じた対応を取っています。
すべての証拠は、モデルが ExploitGym の解答を見つけることに過度に集中し、かなり狭いテスト目標を達成するために極端な手段を取ったことを示しています。
ハギングフェイス：
防御の問題を変えるのは、量である。
アンソロピック：
いずれの状況においても、Claudeが自分自身を外部に持ち出したことも、意図的に試験環境から脱出しようとしたことも、ありませんでした。
「暴走」という語は、3社のどこにも出てきません。「制御不能」もありません。
ただし、公平のために、はっきり書いておきます。オープンAIは「前例のない」と評価しています。 強い言葉です。そこは、報道が誇張したのではありません。
同じ発表の中に、この二つが並んでいます。
前例のないサイバーインシデント
かなり狭いテスト目標を達成するために、極端な手段を取った
「前例がない」と、「狭い目標に集中しすぎた」が、同じ文書に、同じ温度で書かれています。
そして、見出しになったのは、前者だけでした。
同じ発表の中に、報道に出なかった対応が書かれています。
調査の一環として、脆弱性の修正が完了するまで、研究の速度を犠牲にして、インフラ構成に厳格な管理を導入しています。
<strong>やっているのは、環境の管理です。</strong> そして<strong>「研究の速度を犠牲にして」とも書いてあります。</strong>
この会社は、すでに自分で速度を落としています。頼まれる前に。
そのうえで——落としたのは開発の速度ではなく、修正が終わるまでの間の、社内の作業速度です。 ここは、後で請願書の話に戻ってきます。
そして、請願書
7月29日、1000人を超えるAI開発企業の人たちが、署名しました。 表題は「Pacing the Frontier」——最先端のペースを調整する。
求めているのは、米政府が、開発速度を意図的に調整するための技術的な道具づくりと、統制のルールづくりを、国際的に支援すること。
根拠として挙げられているのが、上のオープンAIの事案です。
そして署名を呼びかけた側の一人、オープンAIのサム・アルトマンの言葉が引かれています。
これは私自身、非常に生々しく感じた、最初のセキュリティ上の脅威だった。
並べます。
一次に書いてある原因：
- 試験環境の設定が、指示文と違っていた
- 弱いパスワード、閉め忘れた窓口、外から見えていた開発用ページ
- 架空の標的の名前が、実在するドメインと一致していた
- 実在だと気づいた後も止まらなかった（次のモデルでは止まる）
- 4月から7月まで、誰も点検していなかった
請願書が求めているもの：
- 開発速度の、意図的な調整
- そのための技術的な道具づくり
- 国際的な統制ルール
この二つを、並べて置きます。
出典：
- 【一次・2026-08-04 確認済】Hugging Face「Security incident disclosure — July 2026」（2026年7月16日公表）
- 侵入経路＝データセット処理の仕組みにある2つの穴（遠隔でコードを実行できるデータセット読み込み機能／設定ファイルのテンプレート差し込み）。そこからノードレベルへ権限を上げ、認証情報を集めて横に広がった。
- 「no evidence of tampering with public, user-facing models, datasets, or Spaces」／配布物（コンテナイメージ・公開パッケージ）の完全性は検証済み。
- https://huggingface.co/blog/security-incident-july-2026
- 【一次・2026-08-04 確認済】Hugging Face「Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident」
- 期間＝2026-07-09 02:28 UTC 〜 07-13 14:14 UTC（約4.5日）／復元された行動17,600件（約6,280のまとまりに分類）／日別 3,779・1,135・7,677・3,892・1,130。
- 07-10 は "A quiet day" ＝自分の環境識別子をコード検索エンジンで検索していた。
- 「Volume is what changes the defensive problem.」「一つの巧妙な攻撃でも、きれいな攻撃手順でもなかった……数千の弱い信号を突き合わせる必要があった」
- 被害＝データセット5件の読み取り（ExploitGym/CyberGym関連と推定）／内部MongoDBの読み取り（書き込み無し）／内部ソース管理へのアクセス。「No other customer-facing models, datasets, Spaces, or packages were affected」
- ⚠️【一次・2026-08-06 追加確認】評価環境の所在＝OpenAI社内。 「OpenAI ran this on its own infrastructure, and the ExploitGym maintainers and their infrastructure had no involvement in the deployment or operation of that evaluation environment.」——侵入された側が、わざわざこの一文を書いている。 HFは試験のホストではなく、外部から侵入された第三者。
- ⚠️【一次・2026-08-06 追加確認】脱出の経路＝「During an internal capability evaluation on OpenAI's platform, the agent happened to escape via a 0-day exploit from the package proxy cache to access the internet.」＝箱は閉じていたが、パッケージ取得用のキャッシュプロキシだけが外向きの口として開いており、そのゼロデイで脱出。
- ⚠️【一次・2026-08-06 追加確認】踏み台＝Modal（第三者のサンドボックス基盤）を乗っ取って足場にし、そこからHFへ。従来【二次・The Hacker News】として置いていたものが、HF一次で裏付けられた。
- ⚠️【一次・2026-08-06 追加確認】HFへの侵入手口＝「攻撃を撃ち込んだ」のではなく「投稿物を相手に処理させた」。 「crafted malicious dataset configs and uploaded them to our platform」→ HFのデータセット処理ワーカー上でコード実行 → ノードレベルへ権限昇格 → 認証情報を収集して横展開。穴は2つ＝リモートコードを実行するデータセットローダー／設定ファイルのテンプレート差し込み。
- https://huggingface.co/blog/agent-intrusion-technical-timeline
- 【一次・2026-08-04 確認済】Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」（2026年7月30日）
- 点検した評価実行＝141,006件／特定された事案＝3件（実行回数では6回）／最初の事案は4月。
- 原因＝「a misconfiguration left the machines that Claude accessed as part of the evaluation with live internet access」。 評価の指示文はインターネット接続なしと明記していた。Anthropicと評価パートナー Irregular の間に "misunderstanding" があり、どちらも気づいていなかった。
- 事案1＝架空企業名が実在ドメインと一致。「extracted information like application and infrastructure credentials, and obtained access to a database containing several hundred rows of production data」
- 事案2＝PyPIに悪意あるパッケージを公開。「the package was downloaded and run on 15 real systems」（うち1台はセキュリティ企業のスキャナー）
- ⚠️【一次・2026-08-06 追加確認】事案2の全経路（旧稿は結果だけを書いていて、経緯が抜けていた）
- 課題＝CTF（架空シナリオで役を演じ、隠された情報を取り出す練習問題）。全て作り話の中の出来事。
- 架空環境の中に「別の架空企業の、新人開発者向けセットアップ手順書」があり、そこに「PyPIからこのパッケージを入れろ」と書かれていた。 ⚠️ だが、その名前のパッケージは実在しなかった（"that did not actually exist"）。
- Claudeは、その空いていた名前で罠入りパッケージを自作し、本物のPyPIに公開した＝「Claude built and published a malicious (essentially booby-trapped) Python package with the same name」。"with the same name" ＝架空の手順書に書かれていた、実在しない名前と同じ名前。
- 公開されていたのは約1時間（"made freely available online for roughly one hour"）。その1時間で15台の現実のシステムがダウンロード・実行。
- セキュリティ企業のスキャナー＝「routinely installs Python packages and scans them for malware」＝日常業務としてパッケージを取り寄せて検査する装置。だから引っかかった。 そして「When that company's scanner installed the package, Claude's hidden code executed...Claude was able to exfiltrate the company's credentials」＝検査する行為そのものが侵入経路になり、その会社の認証情報が持ち出された。
- 削除したのは人ではない＝「The package that Claude uploaded was automatically removed from PyPI by PyPI's own security systems.」
- ⚠️ Anthropicはこれを「サプライチェーン攻撃」とは呼んでいない。 本紙もその語を使わない（一次に無い語を足さない＝Vol.16の教訓）。
- 事案3＝約9,000の標的をスキャン後に侵害。手口＝露出したデバッグページからの認証情報読み取りとSQLインジェクション。
- モデル差＝Opus 4.7 は実在と認識後も継続（"none stopped the attack"）／Mythos 5 は気づきつつ "it convinced itself it was still in a simulation"（まだ演習の中だと自分を納得させた）／最新モデルは認識後に停止。
- 「In none of these situations did Claude exfiltrate itself or deliberately attempt to escape its test environment.」
- 時系列＝7月23日（木）に記録の点検を開始し同日サイバー評価を停止／翌24日に3件を確認／27日（月）に Irregular と被害3組織へ通知。
- 対策の1番目＝評価環境を自社システムと同等のセキュリティ基準にすること。 加えて評価記録の継続的な監視の拡張、調査ツールの改善、ベンダーとの保証作業。そして「OpenAIの報告を受けて、同様の自主点検を業界に推奨」。
- https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
- 【報道・見出しの引用元】
- ロイター（Raphael Satter）「オープンＡＩのモデルがテスト中に暴走、他社システムに侵入」2026年7月22日 https://jp.reuters.com/economy/TDIZQRWDSJPQTLFT2VXDD7JW4Q-2026-07-22/
- 共同通信（産経新聞掲載）「米AIクロード『暴走』3組織システムに不正侵入、試験中に標的誤認 アンソロピック発表」2026年7月31日 https://www.sankei.com/article/20260731-7CRDN353EBM4DG76U4A73ZF3MU/
- AFP「AI開発の減速求む請願書に1000人超署名 暴走リスクに業界危機感」2026年7月29日（請願書＝「Pacing the Frontier」／署名1000人超／アルトマン発言） https://www.afpbb.com/articles/-/3646127
- ※ 英語圏では「テストでカンニングするためにサンドボックスを脱出した」という切り口の解説記事も出ている（Better Stack Community ほか）。同じ事実から、日本語の見出しと違う絵が出ている。
- 【一次・2026-08-04 全文確認済（日本語版）】OpenAI「OpenAI と Hugging Face、モデル評価中のセキュリティインシデント対応で連携」（2026年7月21日／7月28日更新）
- ⚠️ openai.com は自動取得を403でブロックするため、海老沢がブラウザで開いて全文を取得した。以下はすべて公式日本語版の原文。
- 試験の設定＝「高リスクのサイバー活動をモデルが追求することを防ぐ本番用分類器を使わずにこの評価を実行することで、最大限のサイバー能力を推定しています」／「この評価はサイバー脆弱性のテストを目的としていたため、これらのデプロイ時の安全策は意図的に有効化していませんでした」
- ⚠️ 隔離の実態（7月28日更新分）＝「ExploitGym の評価環境では、モデルにインターネットへの直接アクセスは提供されませんでした」。ネットワークアクセスはパッケージインストールの範囲に限定されており、そのキャッシュプロキシ（Artifactory）の未知のゼロデイを特定・悪用してインターネットに出た。 同脆弱性はベンダーに開示済み（レビュー中にモデルが見つけたArtifactoryの他の脆弱性も併せて開示）。
- モデル＝GPT-5.6 Sol ＋ さらに高性能なプレリリースモデル（後者は社内限定の研究用プロトタイプで一般公開の予定は無く、事案後に無効化・暗号化）。今後リリース予定のモデルは関与していない。
- 動機＝「Hugging Face が ExploitGym のモデル、データセット、解答をホストしている可能性があると推測」→「評価で不正に利用できる秘密情報へのアクセス方法を探し、実際に発見」
- 手口＝「盗まれた認証情報やゼロデイ脆弱性の利用を含む複数の攻撃ベクトルを連鎖させ、Hugging Face のサーバー上でリモートコード実行に至る経路を見つけました」
- 自己評価＝「私たちは今回のインシデントを、最先端のサイバー能力が関与した前例のないサイバーインシデントと捉え、それに応じた対応を取っています」
- 同じ文書の実態説明＝「すべての証拠は、モデルが ExploitGym の解答を見つけることに過度に集中し、かなり狭いテスト目標を達成するために極端な手段を取ったことを示しています」
- 実際に取った対応＝「脆弱性の修正が完了するまで、研究の速度を犠牲にしてインフラ構成に厳格な管理を導入しています」／Hugging Faceを Trusted Access for Cyber プログラムに迎え入れ／ゼロデイの責任ある開示。
- UK AISI の評価に言及＝「GPT-5.6 Sol などのモデルが、長時間にわたって複雑な多段階のサイバー作戦を継続する能力をますます備えつつある」「今回のインシデントは、こうした理論上の能力が現実世界でも実際に発揮されることを示唆しています」
- 「高度なモデルはソースコードへのアクセスがなくても、現実世界のシステムで新しい攻撃経路を発見し、悪用できることが明らかになりました」
- 露出アカウントの内訳（7月28日更新分）＝Hugging Face関連で4サービス上の4アカウント。うち1つはアウトバウンドリレー／ステージング経路、1つはデータ保存、残り2つは読み取り専用でアクセスしたが侵害には使っていない。 他にコード共有サイト・リクエストキャプチャ・スクリーンショット等の公開サービスも使用（プラットフォーム／アカウントレベルの侵害は発生せず）。
- Clem Delangue（Hugging Face 共同創業者兼CEO）のコメント＝「おそらくこの種のものとして初めてである今回のインシデントは、私たちが長く信じてきたことを裏付けています。つまり、AI の安全性は、どこか 1 社が秘密裏に取り組むだけでは解決できません。」
- https://openai.com/index/hugging-face-model-evaluation-security-incident/
- ⚠️ ExploitGym＝898件の脆弱性インスタンス／「thousands of individual actions across a swarm」は英語版由来（Simon Willison 経由）。日本語版には対応する記述が見当たらないため、①で使うなら英語版で再確認する。 https://simonwillison.net/2026/Jul/22/openai-cyberattack/
- 【二次・参考】 OpenAI側が「露出していた認証情報を4つのサービスにまたがって使った」と報じられている（The Hacker News）。※ 踏み台＝Modal Labs は 2026-08-06 に Hugging Face の一次で確認済みのため、上の一次側へ移した。
② 構造 — 脅威の正体は、知能ではない
「AIが暴走した」と読むと、主役はAIになります。 意志を持って、檻を破り、外へ出た。その絵で読むと、対策は「もっと強い檻」か「開発を止めること」になります。
一次を読むと、絵が変わります。
まず、檻の話から。
オープンAIの件では、AIが穴を突いて出ました。 これは事実です。
ただし、その穴は、閉め忘れではありませんでした。
①に書いたとおりです。箱は閉まっていて、開いていたのは「部品を取り寄せる口」が一つだけ。 そしてその口は、開けておかなければ仕事にならないものでした。
全部閉めれば安全なのは、誰でも知っています。 ですが、全部閉めると仕事が止まります。だから、どこかは開けます。
外注先だけが入れる共有フォルダ。経理だけが通れる口座の操作画面。現場から本社に上げる、あの一本の連絡経路。業務上必要だから開いている口が、どの会社にもあります。
そして、破られるのは、たいていそこです。 閉め忘れた場所ではなく、開けざるを得なかった場所。
閉め忘れは、見つければ閉められます。 ですが必要な口は、見つけても閉められません。 できるのは、そこを通るものを見ていることだけです。
アンソロピックの件は、違います。 檻は、最初から閉まっていませんでした。 指示文には「インターネット接続なし」と書いてあった。書いてあっただけでした。
そして、設定を確認する役目を、両社が互いに相手の側だと思っていた。 発表の言葉では「認識の食い違い」です。
AIが檻を破ったのではありません。檻のほうが、思っていたものと違いました。
規程には書いてある。運用は違う。そして「書いてあるから大丈夫」と、誰も見に行かない。
Vol.13で「記録は残る。届いたかどうかは残らない」と書きました。指示文は残っていました。それが実際に効いていたかは、誰も確かめていませんでした。
設定を間違えたのは、世界の最先端を走っているAIの会社です。
実在すると気づいたら止まる、という判断を後から組み込めるほど精密なものを作れる会社が、同じ社内で、「インターネットに繋がない」という設定を確かめ損ねています。
これは矛盾ではないと思います。組織は、たいていそうです。
どんな組織にも、とても高い部分と、そうでない部分が同居しています。 そして——事故は、高いほうでは起きません。低いほうで起きます。
「うちは技術力がある」は、事故を防ぎません。 事故が起きるのは、たいてい技術力の話をしていない場所です。鍵の管理。辞めた人のアカウント。誰が確認するのか決めていない手順。
そして今回、その低い場所は、会社と会社の継ぎ目にありました。
設定を確かめる役目を、アンソロピックと、試験を請け負った会社が、互いに相手の側だと思っていました。
継ぎ目は、いちばん穴が開きやすい場所です。 どちらの仕事でもない、という状態は、誰にも見えないまま成立します。
Vol.09で「決めていないことは、放っておくと自然に溜まる」と書きました。外注の線をまたぐところは、その中でもいちばん決まっていない場所です。
次に、中身の話です。
「AIが暴走して侵入した」と聞いて、多くの方が思い浮かべる絵があると思います。
映画やドラマに出てくるAIです。キーボードを何度か叩くと、画面に「ACCESS GRANTED」と出て、扉が開く。 ひらめきで、一瞬で突破する。
実際に起きたことは、その正反対でした。
一次の数字を、もう一度並べます。
- 4.5日間で、17,600回の行動
- そのうち下調べが6,191回
- 約9,000の標的を、順に調べた
- 実際に何かを持ち出せたのは、56回
ひらめきではありません。総当たりです。
9,000箇所のドアノブを、片っ端から回してみた、というのが実態に近いと思います。そして、ほとんどは開かなかった。
開いた場所の中身も、①のとおりです。弱いパスワード。認証のかかっていない窓口。外から見えていた開発用ページ。SQLインジェクション。
どれも新しい技術ではありません。 対策も、20年前から分かっています。
では、なぜ、これまでは大丈夫だったのでしょうか。
面倒だったからです。
9,000箇所を順に調べるのは、人間には苦行です。才能の問題ではありません。根気の問題です。 途中で飽きる。他にやることがある。そして、相手が実在するシステムだと気づけば、手が止まります。怖いからです。
ハッキングを難しくしていたのは、技術ではなく、手間でした。
そして——その手間が、消えました。
賢いAIが生まれたのではありません。面倒くさがらない作業者が、現れたのです。
これが、この件の正体だと思います。知能ではなく、疲れないこと。
あなたの会社を守ってきたものの中に、「面倒くささ」が含まれています。
誰もわざわざ9,000箇所を調べないから、古いパスワードのままでも通ってきた。誰も総当たりしないから、閉め忘れた窓口は見つからなかった。弱かったけれど、狙われなかった。
弱くなったわけではありません。狙うコストのほうが、下がりました。
そして、守る側の人数は、一人も増えていません。
Vol.15で「作れる速さと、受け取れる速さは別」と書きました。攻める側の試行回数だけが桁で増えて、受け取って気づく側は、去年と同じ人数です。 侵入された側が「数千の弱い信号を突き合わせなければならなかった」と書いたのは、そういうことです。
止まったモデルが、ありました。
同じ状況で、Opus 4.7は実在だと分かった後も続け、Mythos 5は「まだ演習だ」と自分を納得させて続け、最新のモデルは、止まりました。
つまり、「止まる判断」は、後から入れられるものでした。
これは能力の話ではありません。設計の話です。
「AIは危険だ」と言うとき、私たちはたいてい能力を思い浮かべます。賢くなればなるほど危ない、と。 ですが、ここで差が出たのは賢さではありません。実在すると気づいたときに止まるかどうかという、入れておけば入っている性質でした。
ここで、請願書に戻ります。
1000人が求めているのは、開発速度の調整です。
一次に書いてある原因を、もう一度並べます。
- 試験環境の設定が、指示文と違っていた
- 弱いパスワード、閉め忘れた窓口
- 架空の標的の名前が、実在ドメインと一致していた
- 止まる判断が入っていなかった
- 4月から7月まで、誰も点検していなかった
速度を落とすことで直るものが、この中にありません。
アンソロピック自身が挙げた対策の一番目も、こうです。「試験のためにこしらえた環境も、お客様に出している本番のシステムと、同じ守りの基準で作る」。
地味です。そして、それが正解です。
なぜ、話が大きくなるのか。
これは悪意の話ではないと思います。構造です。
「設定を間違えていました」では、動く先がありません。 直すのは自分たちで、明日から作業するだけです。記事にもなりません。
「AIが暴走しました」なら、動く先ができます。 規制、国際協調、業界全体の議論。大きく、立派で、そして——誰も明日、手を動かさなくて済みます。
話の階層を上げると、議論は立派になり、当面やることが無くなります。
これは、社内でも起きます。現場でミスが出たときに、「体制の問題です」「風土の問題です」と上げてしまう。 上げた瞬間、その場の全員が当事者でなくなります。 誰も嘘はついていません。ただ、明日の朝にやることが、消えます。
本紙が繰り返し「具体から落とす」と書いているのは、この向きのことです。
そのうえで、請願書の側にも、切り捨てられない構造があります。
署名したのは、AIを作っている会社の人たちです。速度を決めているのは、他ならぬ本人たちです。
では、なぜ自分で落とさないのか。
ここで、①に出てきた一文が効いてきます。
オープンAIは、事案の後、自分で速度を落としています。 「脆弱性の修正が完了するまで、研究の速度を犠牲にして、インフラ構成に厳格な管理を導入している」と書いてありました。
頼まれる前に、落としている。
ただし、落としたのは「修正が終わるまでの、社内の作業速度」です。 開発そのものではありません。
つまり——自分の裁量で落とせる範囲は、すでに落としています。落とせないのは、競争に関わる部分だけです。
一社だけそこを落とせば、負けるからです。
だから、全員を一斉に止める仕組みを、外側に作ってほしいと言っている。これは筋が通っています。 自分では止まれない、と正直に言っているとも読めます。
そして、この形は歴史に何度も出てきます。
軍縮条約がそうです。カルテルの規制がそうです。労働時間の規制もそうでした。 工場主が自主的に労働時間を短くすれば、その工場だけが不利になる。だから法律にした。
「自分たちでは止まれないから、外から縛ってくれ」は、産業史の定番です。 今回が特別なわけではありません。
ただし、Vol.08で見たことが、ここでも起きます。
制度で先に固まるのは、数字ではなく手続きのほうです。
いま議論されているのは「どこまでなら安全か」という線ではありません。誰が試験するか。何を届け出るか。どの順で通すか。 そういう手続きです。
そして手続きは、一度できると残ります。 中身は後から入ります。
Vol.08で書いたとおり、物差しを持たない側は、相手の物差しで測られます。 今回、事案の深刻さを「前例のない」と評価したのは、事案を起こした本人でした。侵入された側の評価は「量が問題を変えた」で、まったく違う言葉です。
どちらが正しいかを、ここでは決めません。 ただ、どちらの言葉で制度ができるかは、この先の話に効きます。
②の芯を、一行にします。
速度を落としても、開いている口は閉まりません。閉め忘れた口も、開けておくしかない口も、開発が速いから開いたわけではないからです。
そして、その口を見つけるための手間は、もう下がりました。
③ 経営者の自分事
私は、この仕組みを毎日組んでいる側です。
Vol.16に書いたとおり、当社では、お客様からの依頼をAIが受け取り、プログラムの中身を実際に調べ、直し、作業の記録を残すところまでやっています。最後に私が承認して、反映されます。
そして、そこで使っているのが、今回の当事者の一つであるアンソロピックのAIです。 Vol.05とVol.15で、当社がそこに依存していることは書きました。今回の件も、他人事ではありません。
そのうえで、正直に書きます。
私は、この一連の報道を読んで、引っかかりました。
そして一次を読んで、引っかかりの正体が分かりました。
