① 事実
OpenAIは、Astraを「危険水準に達した最初のモデル」と自ら指定しました
OpenAIが9月1日、Astraというモデルについて公表しました。自社の安全性の枠組み（Preparedness Framework）で、サイバーセキュリティの能力が「重大（Critical）」の水準に達したと判断した、最初のモデルだとしています。
中身は、こう書かれています。
「適切な道具とアクセスがあれば、まだ知られていない安全上の欠陥を見つけ、十分に防御された多くのシステムに対して、人が一手ずつ導かなくても、それを突く方法を作り出せる」
発表文には、危険水準に達したと指定するまでの順序も書かれています
- 以前の評価では「達するかもしれない」だった。 その後、追加の証拠と評価を集めて、今回「達した」と判断した
- ここ数週間、開発とリリースの一部を遅らせた。悪用と無許可の動作に対する保護を強化し、試験するため
- 他社で起きた事故に触れ、「Astraは関与していない」と断ったうえで、その学びを取り込んだとしている。「振り返りの試験では、当時の本番の安全装置がその事故を防いでいたと考える」
- そのうえで、さらに強い安全装置を実装した
ExploitBenchで100%。直後に、汚染の懸念があると書いています
能力の根拠として、数字が並んでいます。
「一例として、ExploitBenchでAstraを走らせたところ、既知の脆弱性から攻撃手段を作る能力を測るこのベンチマークで、100%という満点を記録しました」
その直後に、注記があります。
「汚染の懸念があるため、より新しく公表された20件の重大な脆弱性を含む内部ベンチマークを、あらためて作りました」
タグ＝モデル, セキュリティ
汚染とは、測る問題が学習した内容に混じっている状態のことです。
こういう仕組みで起きます。ベンチマークの問題と答えは、たいてい公開されています。モデルは大量の文章を読んで作られるので、その公開されている問題と答えを、先に読んでいることがあります。 試験の前に過去問と解答を見ているのと同じ状態です。公表されてから時間が経った問題ほど、そうなりやすくなります。
だからOpenAIは、より新しく公表された20件の重大な脆弱性で内部ベンチマークを作り直した、と書いています。満点を出したうえで、その数字の根拠を自分で留保しています。
比較対象は、自社の前モデルです
他の数字も出ています。
- サイバー分野の脱獄（安全装置をすり抜けさせる試み）の評価で、Astraは91.5%の要求を拒否した。比較対象は自社の前モデルで、そちらは59%
- 攻撃手段を作れと指示した試験で、前モデルは56%の試行で自社のセキュリティ基盤へアクセスを試みた。Astraは0件
どれも、相手はOpenAIの前のモデルです。
安全確認が、正当な作業を止めることがあると書かれています
留保も併記されています。
「追加の安全確認は、防御側のサイバーセキュリティを含む正当な作業を、遅らせたり、一時停止させたり、止めたりすることがあります」
② 構造
3社が同じ週に、同じ形を出しました
本紙は前々号でAnthropic、前号でGoogleを扱いました。3社とも、同じ週に、同じ形の発表をしています。
- Anthropic——Claude Mythos 5.1。Fable 5.1と同一のモデルで、緩めた版は審査を通った相手だけ
- Google——Gemini 3.8 Flash Cyber。同じ土台のモデルで、審査を通った防御側だけ
- OpenAI——Astra。危険水準に達したと自ら指定し、強い安全装置とともに出す
危ないので制限します、という形が3つ並びました。
物差しが、1つも重なっていません
前号で書いたとおり、3社が能力の根拠として挙げた評価の名前は、1つも重なっていません。
- Google——DeepSWE v1.1、Vals Finance Agent V2、Harvey's Legal Agent Benchmark、HLE-Verified、CyberGym、CWE-Bench
- Anthropic——Terminal-Bench 4.0、OSWorld 2.0、AutomationBench、GDPval-AA v2
- OpenAI——ExploitBench（と、自社で作り直した内部版）
重ならないので、点数を並べても比べられません。比べられないなら、比較相手は自分しかいなくなります。 実際、Astraの数字はすべて自社の前モデルとの比較でした。
そのうえ、満点を出した物差しは、汚染の懸念があると発表文自身が書いています。
読む側は、能書きは読めますが、評価には至れません
並べ直すと、こうなります。
- 物差しは、自社が選んだもの
- 比較相手は、自社の前のモデル
- その物差しの信頼性は、自社が留保している
- 危険水準に達したという判定も、自社の枠組みでの自社の判断
⇒ 同じ試験を他社のモデルで走らせて並べることが、外からはできません。 数字を検算する方法も、公表されていません。
書かれていることは読めます。何ができるようになったと言っているかは分かります。それが本当かどうか、他と比べてどうかは、リリース文からは分かりません。
③ 自分事
自社が選んだ物差しで、自社を測る。同じことを、読者の会社もやっています。
前年比は、楽です
去年より受注が増えた、去年より粗利が改善した。前年比は、いちばん手に入りやすい物差しです。 数字がありますし、計算もできます。
そして、去年の自分は反論しません。
同業と比べるのは面倒です。相手の数字は出てきませんし、条件も違います。取引先に「他と比べてどうですか」と訊くのは、気が進みません。だから、比べる相手が自分だけになります。
自分の物差しが悪いのではありません
問題は、物差しそのものではありません。自社の基準で測ること自体は、必要な仕事です。
外から確かめられる数字を、一つも持っていない状態が問題です。 そのとき、良くなったという話は、聞いた側にとって「そう言っている」以上のものになりません。
明日できること
直近で受注した1件について、「なぜうちに決めたか」を相手に訊いてください。 決裁は要りません。訊くだけです。
返ってきた理由が、自社で挙げていた強みと同じなら、物差しが外と合っています。違っていたら、そちらが外から見えている姿です。
今月のモデル
新しいAIが出るたびに、ゲームを作らせたとか、ベンチマークばかりが並びます。ですが、その点数と、自社の仕事で使えるかどうかは、別です。
前号で追加したGemini 3.8 Flashを、CoBANTO3-AIで触りました。本紙の第30号（バイブコーディングの話）を持ち出して、「部下が外注を切って、自分でシステムを作ると言い出した」という相談で壁打ちをしています。
- 素のGeminiという感じです。 暴走もしませんし、こちらに合わせて調子を変えることもありません。Geminiアプリや検索に組み込まれたものとは、手触りが違います。
- 答えが安定していて、読みやすい。
- こちらが渡した文脈の引用が、適切です。 無理に当てはめようとしません。
- 戦略の階層の話で、壁打ちの相手として実用に耐えます。
- 出力が速く、そして安い。
クレジットの消費も、はっきり違いました。 同じ導入で話して、Gemini 3.8 Flashは1回あたり2〜5クレジット。Claude Fable 5.1（いちばん時間をかける設定）は13〜24クレジットでした。
ただし、この差の見え方には理由があります。 Geminiのほうが、1回に長く答えていました。CoBANTO3-AIのクレジットは、基本の分と、100字ごとの分で決まります。長く答えるほど増える設計です。
100字あたりで揃えると、差はもっと開きます。 1回あたりで3倍から5倍に見えたのは、答えの長さが違ったからです。
このコスト感なら、1,000円で200往復ほど使えます。
CoBANTO3-AIチャットを無料体験しませんか？
本紙のバックナンバーを記憶し、本紙の読み方（戦略の階層・歴史循環）で、あなたの状況に当てて答えるAIチャットです。記事は「地図」ですが、地図は現地には当たりません。「この号の話、うちの場合はどうなるのか」を訊く場所として用意しました。
調べもの、文章の下書き、ちょっとした雑談にも使えます。 普段づかいのチャットとして、気軽にどうぞ。
ご利用は事前購入のクレジット制です（1,000円から）。月額の契約ではないので、解約の手続きはありません。使った分だけ減り、無くなれば止まります。
消費は、<strong>基本料金と、答えの長さ（100字ごとに1クレジット）</strong>で決まります。短い答えなら少なく、長い答えほど多くかかります。モデルによって、1,000円で120〜200往復ほど使えます。
読者登録をいただいた方には、無料クレジットを500クレジット、プレゼントします。 登録は、この記事のすぐ下からできます。
CoBANTO3-AIチャットは、こちらから。無料で体験できるので、ぜひこの機会に触ってみてくださいね。
https://www.netkomuten.tokyo/lp/co-banto3-ai
ライトノベル「ようこそ、東京ネット工務店へ」
海老沢が執筆している、IT業界のお仕事小説です。毎号1話ずつご紹介します。
今号の話：〈第二部 第35章「責めない」〉
その夜、誰も帰りませんでした。三十万件をどう戻すか。それだけを考える夜です。最初に口を開いたのは、田中でした。
https://www.netkomuten.tokyo/channels/novel-tnk-part2/articles/ch35
小説を書いている理由
この小説は、もともと、社内の教育のために書き始めました。うちの会社——東京ネット工務店で、新しく入った人間に、この仕事の考え方を伝えるための、いわば教材でした。戦略の階層とか、取捨選択とか、口で言っても、なかなか伝わりません。だったら、物語にして読んでもらったほうが早い。そう思って、書き始めました。
ところが、いろいろあって、その教材が、要らなくなってしまいました。理由は、いろいろあります。ここには、書ききれません。ただ、宙に浮いてしまった原稿を、捨てるのも惜しくて、何度も書き直しながら、今度は、教材ではなく、ただ読んで面白い、お仕事小説として、作り直していきました。
https://www.netkomuten.tokyo/channels/atogaki/articles/atogaki-1
Q&Aコーナー
AI・IT業界に関するご質問を募集しています。CoBANTO3-AIチャットのサポートも、こちらへお願いします。
本紙の通知メール・LINEに、そのまま返信していただけます。
読者登録をされていない方は、こちらからどうぞ。
いただいたお名前は匿名にして回答します。内容によっては、個別に回答させていただく場合があります。