CoBANTO3-AI

創刊準備号 Vol.98 / 正答率1位のAIモデル、使われた割合は6週間で0.6%に——企業は、何で選んでいる?

あなたの会社で使っているAIの道具は、どのモデルで動いていますか。

2026年11月20日 一般公開

データ基盤の会社Databricksが、企業がどのAIモデルを使い、いくら払っているかの実データを公開しました。コーディング(プログラムを書く作業)の正答率と、作業1件にかかる費用の比較も並べています。正答率が同じでも費用が大きく違う組み合わせがあり、正答率1位のモデルはほとんど使われていません。一方で、使われる量は費用が最も安いモデルに集まってもいません。

① 事実

Databricksは11月16日、「Databricks AI Index」を公開しました。データは二つです。一つは、企業が複数のAIをまとめて使い、まとめて支払うための同社の仕組み(Unity Gateway)を通る、1万社超の利用データ(7月20日〜11月7日)です。もう一つは、同社の社内のコードの実際の作業を、AIに解かせて採点したコーディングの評価です。Databricksは、この仕組みを売っている側です。

正答率1位のモデルは、出てから6週間で、使われる割合が0.6%まで下がりました

コーディングの評価で、正答率が最も高かったのはAnthropicのClaude Fable 5.1で、96.0%でした。作業1件にかかる費用は7.47ドルです。2位のMeta「Muse Wonder」は94.9%で、1件1.53ドルでした。1.1ポイントの差に、約5倍の費用がかかっています。

Fable 5.1が、有料モデル(中身を公開していないモデル)の処理量に占める割合は、出てから6週間で5.5%から0.6%に下がりました。Databricksは、企業も同じ見方をしているようだと書いています。

正答率と、作業1件の費用と、使われた割合(Databricks AI Index)

正答率が同じ89.1%でも、作業1件の費用は約32倍違いました

OpenAIのGPT-6 Lunaと、AnthropicのClaude Opus 5.5は、正答率がどちらも89.1%でした。作業1件の費用は、Lunaが平均0.05ドル、Opus 5.5が1.62ドルです。

採点は、Databricksの社内のコードで、AIに見せないテストを使って行っています。費用は、各社が公表している定価で計算した推定です。各モデルは、AIに作業をさせる道具(AnthropicのClaude Codeか、OpenAIのCodex)のうち、成績のよいほうで載せています。比較表のLunaは、Claude Codeの上で動かして測ったものです。

トークンの単価が安くても、作業1件の費用が安いとは限りません

作業1件の費用は、トークン(AIが読み書きする文字の単位で、料金の単位にもなる)の単価と、答えにたどり着くまでの手数で決まります。GoogleのGemini 3.8 Flashはトークンの単価が安いのに、1件の作業に平均140回のやりとりを重ね、1件11.97ドルと、比較の中で最も高い部類でした。

使われる量は、Opus 5.5が出てから6週間で、Anthropicに寄りました

Opus 5.5が有料モデルの処理量に占める割合は、6週間で7.2%から37.9%になりました。Anthropic全体の割合は、57.6%から68.8%に上がっています。Databricksは、モデルの品質が提供元の割合を強く左右している、と書いています。

提供元を2社以上使う会社は増えていますが、数え方は累計です

提供元を1社だけ使う会社は、7月の約64%から、11月2日には28%に減ったとしています。ただし、グラフの注記によると、各社が7月20日以降に使った提供元を累計して数えています。一度試しに使った提供元も、その後ずっと数に残る数え方です。

オープンウェイト(開発元が中身の数値を公開していて、自社でも動かせるモデル)の割合は、7.3%から30.9%に増えました。これは、Databricksの上で動かしているモデルの中での割合です。

Databricksは、新しいモデルを自社の作業で試してから切り替えています

Databricksは、社内のAIの利用でも、新しいモデルを数日で試す手順を持っていると書いています。Opus 4.8からOpus 5への切り替えは、自社の作業の記録を再生して比べた結果、費用に見合わないとして見送りました。

Opus 5.5は、前の版より品質が上がり、1回の作業の費用が29%下がったとして、社内のClaude Codeの既定のモデルにしました。

② 構造

Databricksの数字は、モデルを点数と費用で並べたものです。ところが、企業の使い方は点数の順にも、費用の安い順にもなっていません。正答率1位のモデルは使われず、同じ正答率で32倍安いモデルがあっても、量は高いほうのOpus 5.5に寄りました。本紙はVol.94で、作業1件あたりの費用は、使う側からは測れないと書きました。今回の数字は、その続きとして読めます。

企業は、正答率の上の数ポイントに、費用を払っていないと読めます

Fable 5.1は、正答率で1位でしたが、使われる割合は6週間で0.6%まで下がりました。Muse Wonderとの差は1.1ポイントで、費用は約5倍です。最高の点数は、その費用に見合う仕事が少ないと読めます。

使われる量は、最も安いモデルにも寄っていません

Opus 5.5とGPT-6 Lunaは、この評価では正答率が同じで、費用はOpus 5.5が約32倍高い結果でした。それでも、同じ6週間で量が集まったのはOpus 5.5です。

企業が見ているものは、この評価の正答率と費用の外にもあると読めます。Databricks自身も、ベンチマークの順位ではなく、自社の作業で試した結果で既定のモデルを決めています。

作業1件の費用は、単価だけでは分かりません

Gemini 3.8 Flashは単価が安いのに手数が多く、1件の費用は高くなりました。単価は料金表に載っていますが、手数は自社の作業で動かしてみないと分かりません。

Vol.94では、Anthropicの上場申請書が、作業1件の費用が4割下がったと書いていることを扱いました。本紙はそこで、作業1件という単位は、売る側が測っている単位だと読みました。Databricksが1件の費用を出せたのは、自社のコードで、正解の分かる作業を用意して測ったからだと読めます。

③ 自分事

当社の開発で、いま主に使っているモデルはOpus 5.5です

当社(株式会社東京ネット工務店)の開発で、いま主に使っているのはClaude Opus 5.5です。Databricksの数字でOpus 5.5に量が寄ったのと、同じ側にいます。

新しいモデルは、OEM(当社の仕組みを、お客さんの名前のサービスとして提供する形)で出しているお客さんのチャットサービスには入れています。

当社がモデルを見るのは、速さと、作業の流れのなめらかさです

当社がモデルの良し悪しを見るのは、速さとなめらかさです。なめらかさとは、AIが予想外の方向に行かないこと、細部を掘りすぎないことです。

Databricksが比べた正答率と作業1件の費用は、当社の物差しには入っていません。Vol.94で書いたとおり、当社の開発は定額で使っていて、作業1件の費用は使う側からは測れません。

当社は、品質をほぼコンテキストで押さえているので、速さを優先しています

AIの出力は、ほぼコンテキスト(AIに渡す前提、指示、資料のまとまり)で押さえられています。だから、モデルを比べるときは、速さを優先しています。

当社は、Fable 5.1は遅いと見ていましたが、Fable 5.2は実用の範囲です

正答率1位だったFable 5.1は、当社の物差しでは遅いモデルでした。Databricksは、Fable 5.1の割合が下がった理由を費用の差で説明していますが、当社が気にしたのは速さです。

11月9日に出たFable 5.2は、当社の仕事で使える速さです。Fable 5.2には、当社の定額の契約で、一定の期間ごとに使える量の上限を3回リセットできる特典が届いています。リセットの操作は画面に新しく加わり、モデルごとに設けられています。Anthropicが販促をしているように見ています。

OpenAIのモデルも使っていますが、当社での利用は月10ドルに届きません

OpenAIのモデルも少し使っていて、お客さんの選択肢にも入れています。ただ、当社での利用は、月に10ドルにも届きません。この先どうなるかは、分かりません。

明日できること

社内で使っているAIの道具の設定画面で、既定のモデルが何になっているかを見ることができます。同じ道具の名前でも、中で動いているモデルは、提供元や設定によって変わります。Databricksの比較でも、OpenAIのモデルを、AnthropicのClaude Codeの上で動かして測っています。


今月のモデル

今号は、新ネタ無しです。


CoBANTO3-AIチャットを無料体験しませんか?

本紙のバックナンバーを記憶し、本紙の読み方(戦略の階層・歴史循環)で、あなたの状況に当てて答えるAIチャットです。記事は「地図」ですが、地図は現地には当たりません。「この号の話、うちの場合はどうなるのか」を訊く場所として用意しました。

調べもの、文章の下書き、ちょっとした雑談にも使えます。 普段づかいのチャットとして、気軽にどうぞ。

2026年11月20日現在で、約20のモデルに対応しています。 新しいモデルも、出たらなるべく早く入れています。モデルの手応えを試す場所としても使えます。

ご利用は事前購入のクレジット制です(1,000円から)。月額の契約ではないので、解約の手続きはありません。使った分だけ減り、無くなれば止まります。

消費は、<strong>基本料金と、答えの長さ(100字ごとに1クレジット)</strong>で決まります。短い答えなら少なく、長い答えほど多くかかります。モデルによって、1,000円で120〜200往復ほど使えます。

読者登録をいただいた方には、無料クレジットを500クレジット、プレゼントします。 登録は、この記事のすぐ下からできます。

CoBANTO3-AIチャットは、こちらから。無料で体験できるので、ぜひこの機会に触ってみてくださいね。

https://www.netkomuten.tokyo/lp/co-banto3-ai


ライトノベル「ようこそ、東京ネット工務店へ」

海老沢が執筆している、IT業界のお仕事小説です。毎号1話ずつご紹介します。

〈第三部 第77章「話だけじゃ、分からない」〉

面接に、名前を聞けば誰もが知る大きな会社で、新しい事業のリーダーをしていたという人が来ます。話がうまく、筋が通っていて、北野は「この人いいですね」と言います。会議室がその空気になりかけたところで、桜井は一つ引っかかります。

https://www.netkomuten.tokyo/channels/novel-tnk-part3/articles/ch77

小説を書いている理由

この小説は、もともと、社内の教育のために書き始めました。うちの会社——東京ネット工務店で、新しく入った人間に、この仕事の考え方を伝えるための、いわば教材でした。戦略の階層とか、取捨選択とか、口で言っても、なかなか伝わりません。だったら、物語にして読んでもらったほうが早い。そう思って、書き始めました。

ところが、いろいろあって、その教材が、要らなくなってしまいました。理由は、いろいろあります。ここには、書ききれません。ただ、宙に浮いてしまった原稿を、捨てるのも惜しくて、何度も書き直しながら、今度は、教材ではなく、ただ読んで面白い、お仕事小説として、作り直していきました。

https://www.netkomuten.tokyo/channels/atogaki/articles/atogaki-1


Q&Aコーナー

AI・IT業界に関するご質問を募集しています。CoBANTO3-AIチャットのサポートも、こちらへお願いします。

本紙の通知メール・LINEに、そのまま返信していただけます。

5014文字 ・ 約9分

ほかの読みもの

新しい号から読む

第1号から読む

このチャンネルのポリシー

著作権
チャンネル掲載の記事・小説等の著作権は海老澤敦に帰属します。当該コンテンツの掲載および当サイトの運営・管理は株式会社東京ネット工務店が行っています。その他、当サイトのコンテンツおよびロゴ・商標等の権利は同社に帰属します。
引用
当サイトのコンテンツは、通常の「引用(出典を明記した上で、一部を転載すること)」であれば、事前の連絡なく行っていただいて構いません。ただし、当サイトの文章や画像をAIのトレーニングデータ(生成AIの学習、機械学習、データ解析等)として取り込むこと、およびスクレイピングによる自動収集は固くお断りいたします。 Prohibition of AI Training and Data MiningWhile text quotation under copyright law is permitted with proper credit, the use of any content on this website for AI training, machine learning, text/data mining, or web scraping is strictly prohibited.
リンク
リンクは自由です。事前のご連絡は不要です。