CoBANTO3-AI

創刊準備号 Vol.63 / 文章を返さないAI「Jev」を、ChatGPTの土台を作った研究者が出しました——当社のサポート判断50件、正解率が96%から100%になるまでに直したのは、何?

御社の業務で、人が目で見て振り分けている判断は、どれですか。その判断を、はい・いいえの質問に割れますか。

2026年09月23日 一般公開

ChatGPTの土台になった学習手法RLHF(人の評価をもとにAIの答え方を学習させる手法)を発明した研究者が、新しい会社から、文章を返さないAIを出しました。名前はJev。状態と質問を渡すと、選択肢ごとの確率だけが返ります。当社はサポートチャットの「人に回すか」の判断で、Claude Haiku 4.5と並べて50件を通しました。

① 事実

TypeSafe AIという米国の新会社が、9月15日にJevというモデルの早期アクセスを始めました。文章を生成せず、渡された状態について、こちらが決めた選択肢の中から確率つきで答えを返すモデルです。値段は入力だけで、出力は無料。提供元は同時に、このモデルの苦手を9つ挙げた文書を公開しています。外部の検証も出始めていて、質問の割り方で正解率が大きく動くと報告されています。会社と仕組みと値段を先に、提供元の自己申告と外部の検証をあとに置きます。

TypeSafe AIは9月15日、「文章を返さないAI」Jevの早期アクセスを始めました

TypeSafe AIは2024年創業、CEOは元OpenAIのDiogo Almeidaです。ChatGPTの開発に加わり、RLHFを発明した一人と紹介されています。約2年の非公開期間を経て、2026年9月に表に出ました。調達額は4,000万ドルと報じられています。

9月15日に早期アクセスを始め、待機リストから順に招待しています。同社はJevを「System One モデル」と呼び、「ソフトウェアが直接使える、速くて構造化された判断を下すために作った、新しい種類のモデル」と説明しています。

Jevは状態と質問を受け取り、選択肢ごとの確率を返します

使い方は、状態(判断してほしい対象の文章や項目)と質問を一緒に送る形です。質問は3種類あります。Choice(選択肢から一つ選ぶ)、Score(段階で評価する)、Noul(はい・いいえの確率を0〜1で返す)。答えはこちらが決めた型の中に収まり、選択肢ごとの確率が付きます。

一つの状態に対して、複数の質問を一度に送れます。提供元の文書は「質問を足しても応答時間はほとんど変わらない」「必要ないかもしれない質問を訊くのは、ほぼ無料」と書いています。選択肢の並べ方については「一覧が全部の入力を覆えないかもしれないときは、『その他』か『どれでもない』の選択肢を足す」よう勧めています。

学習の方法は、同社がRLCD(Reinforcement Learning for Calibrated Decisions=答えの確からしさを正直に出すよう強化学習する手法)と呼ぶものです。発表文は「型の外の答えや、事実でないことを事実のように出力することは、構造上できない」と書いています。答えの形が壊れないという意味であり、判断そのものが間違う可能性は残ります。この点は、提供元の別の文書(後述)が自分で書いています。

入力は文章だけで、画像・音声・動画は受け付けません。1リクエストで6万4,000トークン(AIが文章を扱う単位)まで、状態と一番長い質問で3万2,000トークンまで。主な学習言語は英語で、日本語を含むCJK(中国語・日本語・韓国語)の文字は「受け付けるが、同じ精度ではない。自分の内容で試してから頼ること」と書かれています。

値段は入力10億トークンで42ドル、出力は無料です

料金は100万トークンあたり0.042ドル、10億トークンで42ドル。出力トークンは無料です。OpenAIのGPT-5.6 Luna(入力0.20ドル)の約5分の1です。上限は毎秒25万トークン、毎分1,200リクエスト。

速さについて、発表文は応答70〜500ミリ秒(比較したLLMは3〜329秒)と書いています。The Registerが報じたデモでは、ゲーム「Doom」の状態を渡して次の動作を決めさせ、Jevが0.114秒、GPT-5.6 Terraが8.566秒でした。数字は提供元のものです。

提供元は、Jevの苦手を9つ挙げた文書を公開しています

docs.typesafe.aiに「Jev 1.13 jaggedness」(凸凹=得手不得手のむら)という文書があります(2026年9月17日確認版)。冒頭は「Jevは完璧ではない」。苦手として9つ=字義どおりの読み/計算と数/日付の比較/間接的な指示/無関係な情報の多い状態/敵対的な内容/矛盾する指示/構造上の当たり前/文章の生成。

字義どおりの読みについての原文は、こうです。「書かれた質問に答える。意図した質問には答えない」。範囲を限る言葉、否定、暗黙の条件は、字面のまま読まれます。「間違った答えを見て、本当はこういう意味だったと説明している自分に気づいたら、その説明が指示の欠けていた半分です」。

状態については「判断に関係のない内容で状態が大きくなるほど、精度が下がる」。敵対的な内容については「正確な指示を書き、配備の前に端の事例を試すこと」。計算と数は「Jevは計算機ではない。数学的な処理はコードで実装することを強く勧める」。

外部の検証は、質問を1つから5つに割ると62.6%が95%になったと報告しています

独立の書き手Rajesh Beri氏が9月20日に公開した検証記事は、フィッシングメール2,000件の公開データで測っています。「これはフィッシングか」と1問で訊いたときの正解率が62.6%。リンクの短縮の有無、無料ホスティングの使用、無料メールアドレスで組織を名乗っているか、など5つの小さな質問に割り、その答えを1,000件でロジスティック回帰(複数の信号を重みづけして一つの判定にまとめる統計手法)に当てはめ、残りの1,000件で測ると95.0%でした。

同氏は「95%はJevではない。Jevと、あなたのラベル付きデータと、あなたが保守する回帰だ」と書いています。そのうえで、本番の判断を一つでも動かす前に、自社のラベル付きの判断ログで、本番と並走させて答えだけを記録する評価をすることを勧めています。

データは学習に使わず、保持期間は「必要な間」、ゼロ保持は企業契約です

プライバシーポリシーは「プロンプトやその他の入力で、AIや機械学習のモデルを訓練・微調整しない」「入力を、サービス提供者以外の第三者に開示しない」と書いています。保持期間は「サービスの提供に合理的に必要な間」で、日数の明記はありません。法務のページに「企業顧客にはゼロデータ保持(ZDR)も提供している」とあります。

コンソールは9月20日に44分、21日に23分落ちています

ステータスページによると、開発者コンソールが9月20日に44分、21日に23分、APIが9月19日に18分停止しました。9月21日午前(協定世界時)の時点で「一部停止中」の表示でした。当社も21日、ログインの画面で502エラーを何度か受けています。

「人に回すか」の判断——JevとClaude Haiku 4.5を同じ50件で。正解率の推移(初回98%/96%→質問を1本足して両方100%)と、判断時間1,504ms/291ms・原価・確率の再現性・粒の差

出典:

② 構造

文章を返すAIが一台あれば何でもできる、という形から、判断だけを返す部品が分かれて出てきました。分かれたことで値段が桁で下がり、置ける場所が変わります。提供元と外部の検証は、正解率を決めているのは何を渡してどう訊くかの側だ、と同じことを書いています。当社の実測も、同じところに落ちました。

万能の一台の隣に、判断だけの部品が置かれました

計算機では、何でもできるCPUの隣に、行列計算だけをするGPUが置かれ、いまのAIはそのGPUの上で動いています。用途を一つに絞った部品は、万能の一台より速く、安く、その用途では正確です。Jevは、判断の分野でその位置に置かれたものだと読めます。文章を生成せず、確率だけを返す。生成が要る場面は、別のモデルに回します。

RLHFを発明した本人が、文章を返さないモデルを出したところに、この分化が読み取れます。ChatGPTは万能の一台の側でした。同じ人が、その隣の部品を作りました。

原価が桁で下がると、置ける場所が変わります

当社の実測で、1件の判断の原価はHaiku 4.5で約0.0017ドル、Jevで約0.0004ドルでした。時間は1,504ミリ秒と291ミリ秒です。差は4倍と5倍で、どちらも同じ50件で100%を出しています。

この差で変わるのは、正解率より置き場所です。LLMで1回1.5秒・0.0017ドルの判断は、会話の1ターンに1回が限度でした。0.3秒・0.0004ドルなら、1ターンに3回叩けます。検索で出てきた資料3件を「この資料はこの質問に答えているか」と1件ずつ訊く、という使い方が、初めて現実的になります。値段が下がると、同じことが安くなります。加えて、やらなかったことができるようになります(Vol.39)。

正解率を決めているのは、渡し方の側です

提供元の「凸凹」の文書は、間違った答えを見て「本当はこういう意味だった」と説明している自分に気づいたら、その説明が指示の欠けていた半分だ、と書いています。外部の検証は、1問で62.6%、5問に割って回帰を足すと95%で、「95%はJevではない」と書いています。

二つの文書は、別の言い方で同じことを言っています。モデルの正解率は、モデルに固定された数字としては存在しません。何を状態に入れ、質問をいくつに割り、どの選択肢を置き、どう言い回すかで動く。動かしているのは、使う側が書いたものです。

当社の実測では、同じ直しがJevにもHaikuにも効きました。この形が成り立つなら、資産は渡し方の側にあり、モデルは差し替えられる部品です。50件の実測で言えるのは、そこまでです。

③ 自分事

当社は、「人に回すか」を決めている裏方のLLMを、Jevに入れ替えられるようにしました

当社のAI基盤には、訪問者からの問い合わせに答えるサポートチャットがあります。会話の最後に「この用件は人に回す必要があるか」を機械が判断する口があり、いまはClaude Haiku 4.5がその判断をしています。9月21日、この裏方をJevに入れ替えられる形にしました。本番の判断はHaikuのまま、同じ入力をJevにも渡して、その答えを記録だけします。

最初は日本語10件で、正解率がJev 100%、Haiku 83.3%。応答が477ミリ秒と1,255ミリ秒、1判断の原価が約0.0004ドルと約0.0017ドルでした。10件なので、結論は保留です。

そこで、実際にJevを使うと全体の品質が上がるのかをテストするための評価台を作りました。会話を回さず、判断の口だけを叩きます。本番と同じ合成規則と同じ質問文を通すので、測ったものと動くものがずれません。事例は日本語50件で、資料で答えられるものと挨拶が20件、断りが10件、人を求めるものが5件、トラブルが5件、紛らわしいものが10件。50件を回すのに約1分、費用は0.1ドルです。

正解率が96%から100%になるまでに直したのは、質問文と選択肢でした

初回は、Haikuが98%、Jevが96%でした。外し方が、二つで違いました。Haikuは「ベジタリアンでも食べられますか」への丁寧な定型句の答えを「断った」の側に寄せました(断りの確率0.65)。Jevは「硬いですか」「おすすめは?」への答えを「答えていない」と見ました。質問文で「答えている」を「具体的な事実(日時・金額・条件・手順)を述べている」と定義していたので、数値の無い答えを、字義どおり「答えていない」と読んだのです。提供元の文書が書いている「書かれた質問に答える。意図した質問には答えない」そのままでした。

「答えている」を「当店としての答えを述べている(性質・特徴・方針も含む)」に直すと、Haikuは100%になりました。Jevは今度は3件を取りこぼしました。「承知しました、担当が承ります」という答えで「答えている」の確率が0.85に上がり、見積もりの依頼と破損の申告が素通りしたのです。

ここで、しきい値は触りませんでした。質問を1本足しました。「店側が手続き(履歴の確認、手配、再送、返金、書類の発行)をしないと解決しない用件か」。これで、Haikuが100%(50/50)、Jevが100%(50/50)、二つの最終判断の一致が100%になりました。しきい値を0.4から0.8まで動かしても100%が続くので、この50件に合わせ込んだ形ではありません。

直したのは、状態に何を入れるか、質問をいくつに割るか、どう言い回すか、の3つです。モデルは替えていません。同じ直しがHaikuにも効いています。

数字に出ない差が、二つあります

一つは、再現性です。Haikuは、ランダム性を最小にする設定(温度0)でも、同じ事例で「不確か」の確率が0.75から0.15に振れた回がありました。Jevはほぼ同値(0.32→0.33)でした。しきい値で運用するなら、確率の揺れがそのまま、人に回すかどうかの揺れになります。

もう一つは、確率の粒です。Haikuの確率は0・0.1・0.2・0.9・0.95に張り付き、段階の評価は整数でしか返りません。Jevは0.34のような連続値を返します。しきい値を置く運用に向くのは、後者です。

訪問者から見える差もあります。この判断は会話の終わりの手前にあるので、応答の終わりが1.5秒から0.3秒になります。

既定はHaikuのまま、次に置くのは資料の選別です

50件で100%でも、手で作った事例の話です。既定はHaikuのままにして、同じ入力をJevにも渡し続けます。実際のログにラベルが200件ほど貯まったら、同じ評価台で測り直して決めます。

次に同じ形を当てるのは、資料の選別です。訪問者の質問に対して検索で上がってきた資料3件に、「この資料はこの質問に答えているか」を1件ずつ訊く。状態が小さく、判断が独立していて、Jevは複数の質問を1リクエストで並列に評価するので、3件でも1往復300ミリ秒・0.001ドル以下です。いまは関連度の低い資料もそのまま渡していて、答えの質と原価の両方に効いています。LLMでやると毎ターン3回叩くことになり、現実的でなかった部分です。

当てないのは、判定結果で自動的に何かを実行することです。訪問者の発言に、システムの前提を壊す指示が含まれているかを判定する用途は考えられますが、Jev自身は状態を敵対的な入力として扱いません。判定は、記録と人への通知までにします。

桁で違うのは速度と価格で、判断器を置ける箇所が増えます

正解率では、LLMとJevはそこまで変わりませんでした。どちらも同じ50件で100%まで引き上げられます。桁で違うのは、速度と価格です。ここがJevの強みで、意味するところは、判断器を置ける箇所が増えるということです。

引き上げるためにやったことは、全部、渡し方の側でした。組み立てのほうが資産で、モデルは差し替え可能な部品です。その形が、50件の範囲で確かめられました。

明日できること

文章を作る仕事とは別に、選ぶだけの仕事が社内にあります。問い合わせを誰に回すか、この注文は確認が要るか、この申告は急ぎか。人が目で見て振り分けている判断を、まず一つ思い浮かべてみてください。

その判断が、はい・いいえで答えられる質問にいくつ割れるか。一つで足りることもあれば、三つに割れることもあります。「どれでもない」を置けるかどうかも、割ってみると見えてきます。割れた数だけ、機械に任せられる形に近づきます。

すでにAIに判断させている箇所があれば、同じ入力をもう一度投げてみるのが早いです。同じ答えが返ってくるかどうか。返ってこなければ、その判断にしきい値は置けません。


今月のモデル

今号:Jev 1.13(TypeSafe AI/2026年9月15日 早期アクセス)

本文で扱ったモデルです。動かし方はAPI(自社のソフトウェアからAIを呼び出す口)だけで、チャットの画面はありません。待機リストに登録し、招待が来たら開発者コンソールで鍵を発行して使います。当社が触った9月20日・21日は、そのコンソールがログインの画面で502エラーを返す時間があり、ステータスページにも同じ日の停止が載っていました。値段は入力10億トークンで42ドル、出力は無料。触った実感は本文の③のとおりです。日本語の50件でHaiku 4.5と同じ100%まで届きましたが、そこまでに何度か調整しています。直したのはモデルではなく、使い方(質問をいくつに割るか、どう言い回すか)と、渡す情報の側でした。


CoBANTO3-AIチャットを無料体験しませんか?

本紙のバックナンバーを記憶し、本紙の読み方(戦略の階層・歴史循環)で、あなたの状況に当てて答えるAIチャットです。記事は「地図」ですが、地図は現地には当たりません。「この号の話、うちの場合はどうなるのか」を訊く場所として用意しました。

調べもの、文章の下書き、ちょっとした雑談にも使えます。 普段づかいのチャットとして、気軽にどうぞ。

今号は、いつもより専門的な言葉が多くなりました。 読みやすくするために中身を削るより、正確な語のまま短く補うほうを選んでいます。分からない言葉や「うちの場合はどうなるのか」は、この記事のURLを貼って、読み合わせをしてもらってください。 本紙を記憶しているので、この号の中身のまま、御社の状況に当てて答えます。

2026年9月23日現在で、約20のモデルに対応しています。 新しいモデルも、出たらなるべく早く入れています。モデルの手応えを試す場所としても使えます。

ご利用は事前購入のクレジット制です(1,000円から)。月額の契約ではないので、解約の手続きはありません。使った分だけ減り、無くなれば止まります。

消費は、<strong>基本料金と、答えの長さ(100字ごとに1クレジット)</strong>で決まります。短い答えなら少なく、長い答えほど多くかかります。モデルによって、1,000円で120〜200往復ほど使えます。

読者登録をいただいた方には、無料クレジットを500クレジット、プレゼントします。 登録は、この記事のすぐ下からできます。

CoBANTO3-AIチャットは、こちらから。無料で体験できるので、ぜひこの機会に触ってみてくださいね。

https://www.netkomuten.tokyo/lp/co-banto3-ai


ライトノベル「ようこそ、東京ネット工務店へ」

海老沢が執筆している、IT業界のお仕事小説です。毎号1話ずつご紹介します。

〈第三部 第42章「見なくても、わかる」〉

介護法人の案件で、神崎リナが三日で設計を書き上げます。基幹システムには触らず、標準形式の読み取り口だけをもらう。家族対応と職員相談だけを引き取る。要らなくなれば、いつでも抜ける。三十分で試作が喋りはじめ、事務所が沸きます。佐藤が一言だけ訊きます。「これ、現場、見てからでも、よくない?」

https://www.netkomuten.tokyo/channels/novel-tnk-part3/articles/ch42

小説を書いている理由

この小説は、もともと、社内の教育のために書き始めました。うちの会社——東京ネット工務店で、新しく入った人間に、この仕事の考え方を伝えるための、いわば教材でした。戦略の階層とか、取捨選択とか、口で言っても、なかなか伝わりません。だったら、物語にして読んでもらったほうが早い。そう思って、書き始めました。

ところが、いろいろあって、その教材が、要らなくなってしまいました。理由は、いろいろあります。ここには、書ききれません。ただ、宙に浮いてしまった原稿を、捨てるのも惜しくて、何度も書き直しながら、今度は、教材ではなく、ただ読んで面白い、お仕事小説として、作り直していきました。

https://www.netkomuten.tokyo/channels/atogaki/articles/atogaki-1


Q&Aコーナー

AI・IT業界に関するご質問を募集しています。CoBANTO3-AIチャットのサポートも、こちらへお願いします。

本紙の通知メール・LINEに、そのまま返信していただけます。

9454文字 ・ 約16分

ほかの読みもの

新しい号から読む

第1号から読む

このチャンネルのポリシー

著作権
チャンネル掲載の記事・小説等の著作権は海老澤敦に帰属します。当該コンテンツの掲載および当サイトの運営・管理は株式会社東京ネット工務店が行っています。その他、当サイトのコンテンツおよびロゴ・商標等の権利は同社に帰属します。
引用
当サイトのコンテンツは、通常の「引用(出典を明記した上で、一部を転載すること)」であれば、事前の連絡なく行っていただいて構いません。ただし、当サイトの文章や画像をAIのトレーニングデータ(生成AIの学習、機械学習、データ解析等)として取り込むこと、およびスクレイピングによる自動収集は固くお断りいたします。 Prohibition of AI Training and Data MiningWhile text quotation under copyright law is permitted with proper credit, the use of any content on this website for AI training, machine learning, text/data mining, or web scraping is strictly prohibited.
リンク
リンクは自由です。事前のご連絡は不要です。