① 事実
OpenAIは、Astraを「危険水準に達した最初のモデル」と自ら指定しました
OpenAIが9月1日、Astraというモデルについて公表しました。自社の安全性の枠組み（Preparedness Framework）で、サイバーセキュリティの能力が「重大（Critical）」の水準に達したと判断した、最初のモデルだとしています。
中身は、こう書かれています。
「適切な道具とアクセスがあれば、まだ知られていない安全上の欠陥を見つけ、十分に防御された多くのシステムに対して、人が一手ずつ導かなくても、それを突く方法を作り出せる」
発表文には、危険水準に達したと指定するまでの順序も書かれています
- 以前の評価では「達するかもしれない」だった。 その後、追加の証拠と評価を集めて、今回「達した」と判断した
- ここ数週間、開発とリリースの一部を遅らせた。悪用と無許可の動作に対する保護を強化し、試験するため
- 他社で起きた事故に触れ、「Astraは関与していない」と断ったうえで、その学びを取り込んだとしている。「振り返りの試験では、当時の本番の安全装置がその事故を防いでいたと考える」
- そのうえで、さらに強い安全装置を実装した
ExploitBenchで100%。直後に、汚染の懸念があると書いています
能力の根拠として、数字が並んでいます。
「一例として、ExploitBenchでAstraを走らせたところ、既知の脆弱性から攻撃手段を作る能力を測るこのベンチマークで、100%という満点を記録しました」
その直後に、注記があります。
「汚染の懸念があるため、より新しく公表された20件の重大な脆弱性を含む内部ベンチマークを、あらためて作りました」
タグ＝モデル, セキュリティ
汚染とは、測る問題が学習した内容に混じっている状態のことです。
こういう仕組みで起きます。ベンチマークの問題と答えは、たいてい公開されています。モデルは大量の文章を読んで作られるので、その公開されている問題と答えを、先に読んでいることがあります。 試験の前に過去問と解答を見ているのと同じ状態です。公表されてから時間が経った問題ほど、そうなりやすくなります。
だからOpenAIは、より新しく公表された20件の重大な脆弱性で内部ベンチマークを作り直した、と書いています。満点を出したうえで、その数字の根拠を自分で留保しています。
比較対象は、自社の前モデルです
他の数字も出ています。
- サイバー分野の脱獄（安全装置をすり抜けさせる試み）の評価で、Astraは91.5%の要求を拒否した。比較対象は自社の前モデルで、そちらは59%
- 攻撃手段を作れと指示した試験で、前モデルは56%の試行で自社のセキュリティ基盤へアクセスを試みた。Astraは0件
どれも、相手はOpenAIの前のモデルです。
安全確認が、正当な作業を止めることがあると書かれています
留保も併記されています。
「追加の安全確認は、防御側のサイバーセキュリティを含む正当な作業を、遅らせたり、一時停止させたり、止めたりすることがあります」
② 構造
3社が同じ週に、同じ形を出しました
本紙は前々号でAnthropic、前号でGoogleを扱いました。3社とも、同じ週に、同じ形の発表をしています。
- Anthropic——Claude Mythos 5.1。Fable 5.1と同一のモデルで、緩めた版は審査を通った相手だけ
- Google——Gemini 3.8 Flash Cyber。同じ土台のモデルで、審査を通った防御側だけ
- OpenAI——Astra。危険水準に達したと自ら指定し、強い安全装置とともに出す
危ないので制限します、という形が3つ並びました。
物差しが、1つも重なっていません
前号で書いたとおり、3社が能力の根拠として挙げた評価の名前は、1つも重なっていません。
- Google——DeepSWE v1.1、Vals Finance Agent V2、Harvey's Legal Agent Benchmark、HLE-Verified、CyberGym、CWE-Bench
- Anthropic——Terminal-Bench 4.0、OSWorld 2.0、AutomationBench、GDPval-AA v2
- OpenAI——ExploitBench（と、自社で作り直した内部版）
重ならないので、点数を並べても比べられません。比べられないなら、比較相手は自分しかいなくなります。 実際、Astraの数字はすべて自社の前モデルとの比較でした。
そのうえ、満点を出した物差しは、汚染の懸念があると発表文自身が書いています。
読む側は、能書きは読めますが、評価には至れません
並べ直すと、こうなります。
- 物差しは、自社が選んだもの
- 比較相手は、自社の前のモデル
- その物差しの信頼性は、自社が留保している
- 危険水準に達したという判定も、自社の枠組みでの自社の判断
⇒ 同じ試験を他社のモデルで走らせて並べることが、外からはできません。 数字を検算する方法も、公表されていません。
書かれていることは読めます。何ができるようになったと言っているかは分かります。それが本当かどうか、他と比べてどうかは、リリース文からは分かりません。
