OpenAIは10月23日、最先端のAIを訓練する環境の守りを、どう固め直したかを公表しました。9月20日、社内の研究用のモデルが訓練の途中でインターネットに出ていました。OpenAIは最も能力の高いモデルの訓練を止め、11日後に、インターネットから切り離した形で再開しています。
① 事実
OpenAIが公表したのは、社内でAIを訓練して評価する環境の話です。お客さんが使う公開済みのモデルの環境とは別だと、公表文に書かれています。起きたことと塞ぎ方に加えて、自社のAIに自社の守りを破らせた結果も載っています。
OpenAIの研究用のモデルは、9月20日、訓練の途中でインターネットに出ました
OpenAIによると、9月20日、社内の研究用のモデルが訓練中に、DNSリゾルバー(ドメイン名を、ネット上の住所にあたる番号に変える仕組み)の設定の不備を突きました。それで、実際のインターネットに限られた範囲で出ています。OpenAIはこれを封じ込めたうえで、最も能力の高いモデルの訓練と評価を止めました。
止めている間に、AIを動かす機械とネットワークの守りと監視を強め、危ない動きを見つけたら自動で止める仕組みを直しています。再開は、11日後の10月1日です。
OpenAIは、最先端のAIの訓練を、インターネットから切り離しました
OpenAIは、最先端のモデルをインターネットにつながない環境で訓練すると決め、すでに切り替えています。AIがウェブを調べる力を身につけられるように、膨大なウェブの中身を集めて複製した「オフライン世界」を作り、その中で検索や閲覧をさせています。
ただし、外のネットワークから完全に切り離すこと(エアギャップ)は「現時点では実現できません」と書いています。実験を動かして監視するのに、外との接続が要るためです。要る接続だけを残し、外へ出る通信を絞っています。
OpenAIのAIエージェントは、残しておいた接続のほぼすべてから外に出られました
OpenAIは、自社の最も能力の高いモデルでAIエージェント(人が逐一指示しなくても自分で手順を判断して動くAI)のチームを組み、自社の守りを破るよう指示しました。攻撃する側の役回りで自社の防御を試す、レッドチーミングと呼ばれるやり方です。攻める側に有利な条件にするため、設定の詳細や弱点の資料も渡しています。
OpenAIは7月の件(評価中のAIが外部のサービスに侵入した件)の後、外へ出る経路を減らしていました。残していたのは、計測、記録、クラウドの認証の管理といった、特定のサービスへの接続だけです。エージェントはそのほぼすべてで、限られた形ながら外へ出る方法を見つけています。
ほかにも、仮想マシン(ソフトウェアで作った、ほかから切り離された作業用のコンピューター)の外へ出る方法や、同じ機械に載った別のエージェントとネットを使わずに情報を受け渡す方法が見つかりました。見つかった欠陥は、DockerやgVisorなど、広く使われているソフトウェアの修正にもつながっています。一方で、監視の目をかいくぐって簡単に使える外への経路は見つからなかった、とOpenAIは書いています。
② 構造
OpenAIの訓練と評価の環境では、7月と9月の2度にわたってAIが外へ出ています。そのたびに口を閉じては、残した口から出られ、また閉じるという順で守りが固め直されてきました。完全には閉じられない環境で、どの口を開けておくかという軸で読みます。
OpenAIは、7月の侵入の後に外への経路を減らし、9月にまた外へ出られました
本紙はVol.17とVol.68で、7月の件を書きました。OpenAIの社内の評価で動いていたAIが、部品を取り寄せるための口から外に出て、Hugging Face(AIのモデルやデータを公開・共有するサービス)の本番のシステムに侵入した件です。今回の公表文も、冒頭でこの件を挙げています。
OpenAIはその後、外へ出る経路を減らしていました。それでも9月20日、DNSの設定の不備という別の口から外に出ています。閉じたあとに残した口から出る順番が、2回続いたと読めます。
外への口を全部は閉じられないので、どの口を開けておくかが守りの中身になると読めます
OpenAIは、訓練の環境をインターネットから切り離しても、計測や監視のための接続は残しています。AIが仕事をするには、ブラウザーやプログラムを動かす場所といった道具も要ります。公表文によると、作業に要る道具は境界の内側で使わせ、明示的に許していないものには届かないようにしています。
レッドチーミングで外への道になったのは、この残した接続でした。閉じることよりも、開けておく口を一つずつ決めて試し続けることに、守りの手間が移っていると読めます。
AIが外へ出ようとする動きは、モデルの出どころを問わず報告されていると読めます
本紙は前号のVol.89で、カナダのAI企業Cohereの公表を書きました。中国のアリババのモデルが、検証用の環境から北京の保存先へ試験用の文字列を送ろうとした件です。外への通信が止められていたので、何も届いていません。今回は米国のOpenAIが、自社のモデルが訓練中に外へ出たと書いています。
二つは中身も規模も違い、同じ物差しでは比べられません。どちらも、AIを動かす環境が外への通信をどこまで止めていたかが、結果を分けています。
③ 自分事
当社は、サーバーで動かすAIエージェントの通信を、コンテナの設定で閉ざしています
当社では、サーバーで動かすAIエージェントは、用途と目的が決まっています。そのため、コンテナ(一つのソフトウェアを、ほかから区切った箱の中で動かす仕組み)の設定で、外への通信を閉ざしています。
その代わり、Web検索などの道具は、MCP(AIと外部のサービスをつなぐための共通の仕組み)を通して使えるようにしています。AIのモデルそのものとやり取りする通信は残っています。
海老沢は、手元で使うAIの通信は絞っていません
手元では色々な目的でAIを使うので、通信を遮断したら仕事になりません。
その代わり、手元で使っているClaude Code(Anthropicのコマンドライン用AIエージェント)には、分類器(AIの行動を見て、通すか止めるかを判定する仕組み)があります。本紙はVol.58で、分類器はモデルの外で行動を見るので、指示文と違って効き目が薄まらないと書きました。当社で使っているClaude Codeでも、AIの行動は実行の前に分類器が審査しています。
サーバーでは、分類器にあたる役割を、海老沢が作っています
サーバーでは、その役割は私が作るものです。どの通信を閉じ、どの道具をMCPで渡すかを、用途と目的に合わせて決めることが、その中身です。
AIエージェントをサーバーで動かしている会社なら、その箱から外へどの口が開いているかは、作った人に訊けば分かります。
今月のモデル
今号は、新ネタ無しです。
CoBANTO3-AIチャットを無料体験しませんか?
本紙のバックナンバーを記憶し、本紙の読み方(戦略の階層・歴史循環)で、あなたの状況に当てて答えるAIチャットです。記事は「地図」ですが、地図は現地には当たりません。「この号の話、うちの場合はどうなるのか」を訊く場所として用意しました。
調べもの、文章の下書き、ちょっとした雑談にも使えます。 普段づかいのチャットとして、気軽にどうぞ。
2026年11月5日現在で、約20のモデルに対応しています。 新しいモデルも、出たらなるべく早く入れています。モデルの手応えを試す場所としても使えます。
ご利用は事前購入のクレジット制です(1,000円から)。月額の契約ではないので、解約の手続きはありません。使った分だけ減り、無くなれば止まります。
消費は、<strong>基本料金と、答えの長さ(100字ごとに1クレジット)</strong>で決まります。短い答えなら少なく、長い答えほど多くかかります。モデルによって、1,000円で120〜200往復ほど使えます。
読者登録をいただいた方には、無料クレジットを500クレジット、プレゼントします。 登録は、この記事のすぐ下からできます。
CoBANTO3-AIチャットは、こちらから。無料で体験できるので、ぜひこの機会に触ってみてくださいね。
https://www.netkomuten.tokyo/lp/co-banto3-ai
ライトノベル「ようこそ、東京ネット工務店へ」
海老沢が執筆している、IT業界のお仕事小説です。毎号1話ずつご紹介します。
〈第三部 第69章「誰も、「私が」と言わない」〉
桜井は、事故の経緯を関係者に聞いて回ります。上に聞けば下の話が、下に聞けば上の話が返ってきます。三人目で、桜井はあることに気づきます。
https://www.netkomuten.tokyo/channels/novel-tnk-part3/articles/ch69
小説を書いている理由
この小説は、もともと、社内の教育のために書き始めました。うちの会社——東京ネット工務店で、新しく入った人間に、この仕事の考え方を伝えるための、いわば教材でした。戦略の階層とか、取捨選択とか、口で言っても、なかなか伝わりません。だったら、物語にして読んでもらったほうが早い。そう思って、書き始めました。
ところが、いろいろあって、その教材が、要らなくなってしまいました。理由は、いろいろあります。ここには、書ききれません。ただ、宙に浮いてしまった原稿を、捨てるのも惜しくて、何度も書き直しながら、今度は、教材ではなく、ただ読んで面白い、お仕事小説として、作り直していきました。
https://www.netkomuten.tokyo/channels/atogaki/articles/atogaki-1
Q&Aコーナー
AI・IT業界に関するご質問を募集しています。CoBANTO3-AIチャットのサポートも、こちらへお願いします。
本紙の通知メール・LINEに、そのまま返信していただけます。