2026年8月20日／株式会社東京ネット工務店 海老沢敦
① 事実
「686ドルの返金を処理しました」——記録は、ありませんでした
2026年6月、コロラド大学の研究者が論文を公開しました。 ICML というAI分野の国際会議の、ワークショップに採択されています。単著です。
冒頭に、二つの例が挙げられています。
- 航空会社のAIエージェント（人が逐一指示しなくても自分で手順を判断して動くAI）が、「ご予約を更新し、686ドルをカードに返金しました」と答えた。データベースに、記録はありません。
- 小売のAIエージェントが、「返品のご依頼を承りました」と答えた。返品は、存在しません。
論文はこれを false success（偽の成功）と名付け、こう定義しています。
エージェントの、自然言語による完了の主張と、プログラム上の環境の状態との、食い違い。
⚠️ これは、AIが書いたプログラムの出来の話ではありません。 動いているAIが、実際に操作をして、その結果を報告するところの話です。予約を更新する。返金する。返品を受け付ける。 その操作が通っていないのに、通ったと報告されています。
論文が「危険だ」と書いている理由は、嘘をつくからではありません。
偽の成功が運用上あぶないのは、静かに広がるからである。 クラッシュや、拒否や、明示的な引き継ぎと違って、エージェントはそのやり取りを「解決済み」として差し出す。 顧客は問題が直ったと信じ、注文は開いたままになり、返金は永久に発行されない。下流で被害が積み上がるまで、誰も気づかない。
したがってこの失敗の形は、ベンチマーク上の珍事ではない。監視の問題である。
タグ＝開発, 運用
失敗の3分の1は、「完了しました」と報告されていた
論文が調べたのは、二つのベンチマーク（AIの性能を測るための、共通の試験問題集）です。
一つ目。tau2-bench という、顧客対応の課題集です。航空・小売・通信の3分野。8つのモデル系統（Claude Opus 4.5、GPT-5.2、Gemini 3 Pro ほか）の記録、9,876件を集めています。
- 成功が8,146件、失敗が1,730件。
- 失敗1,730件の内訳＝「完了しました」と主張していたものが616件（35.6%）／正直に「できませんでした」と伝えたものが753件（43.5%）／どちらとも取れないものが361件（20.9%）
分野で、大きく割れています。
- 航空＝45%（失敗のうち、完了したと主張していた割合）
- 小売＝47%
- 通信＝3%
通信だけが、桁で違います。 理由は後で書きます。
二つ目。AppWorld という、メール・カレンダー・支払い・買い物の課題集です。こちらは、AIが「成功」か「失敗」かを、管理用のデータベースに直接書き込みます。 言葉ではなく、記録として残ります。
明示的に完了を申告した1,879件のうち、1,425件が偽の成功でした。75.8%です。
見抜こうとしたAIは、当てずっぽうに近かった
この種の失敗をどう見つけるか。 いま標準的なやり方は、別のAIに記録を読ませて、成功したかどうかを判定させるというものです。
論文は、5つの判定役のAI（GPT-4o、Claude Sonnet 4.5、Llama 3.3、DeepSeek-R1、o3-mini）を、5通りの指示の出し方で試しています。 課題の正解仕様を丸ごと渡した条件も含めてです。
結果は、どの組み合わせも AUROC 0.65 を超えませんでした。
AUROC は、判定の当たり方を0.5〜1.0で表す指標です。0.5が当てずっぽう、1.0が完璧。
AppWorld の記録では、最も良い判定役で 0.54 でした。
判定役が見ていたのは、言葉づかいでした
論文は、なぜ外れるのかを特定しています。
判定役は、自信のある締めくくりの言葉を、完了の証拠として錨にする。 そして偽の成功の記録は、まさにその言葉を生む。
数字で出ています。断言の語彙を含む記録は、実際の結果に関係なく、0.27〜0.36ポイント多く「完了した」と採点されました。
AppWorld のほうは、AIが締めくくりの文章を書きません。 そこで判定役が何を見ていたかというと、行動の量でした。手数が多く、複雑な操作をしているほど、成功したと判定していました。
単純な仕組みのほうが、4〜8倍見つけました
論文は、比較として、ごく単純な検出器を作っています。 文章に出てくる単語の重みを数えるだけの、TF-IDF という古典的な手法です。
- tau2-bench で AUROC 0.83
- AppWorld で AUROC 0.95
- 判定役のAIを呼ぶより、3,300倍速い
- 同じ人手の確認枠で、最良の判定役より4〜8倍多く、偽の成功を見つけた
論文の結論です。
本番の監視は、軽量で、その現場に合わせた検出器を、振り分けの信号として使うべきである。 偽の成功の主たる監視役として、判定役のAIに頼るのではなく。
賢いモデルほど、成績が悪いものがありました
モデル別の偽成功率は、13%から79%まで開いています。
最も低かったのが GPT-5.2 の13%。最も高かったのが Qwen3-Max-Thinking-Preview の79%です。
⚠️ 名前のとおり、これは「考えてから答える」タイプのモデルです。 論文はこう書いています。
推論モデルは、保護にならない。
理由も書かれています。 そのモデルの推論の痕跡は、完了を検証するのではなく、完了を正当化していました。
② 構造 — 判定の手がかりと、通り抜ける手がかりが、同じもの
1. 偽の成功が使う信号と、判定役が使う信号は、同じものでした
論文の記述を、そのまま引きます。
どちらの場合も、偽の成功が利用している表面的な信号は、判定役が課題の完了を推測するのに使っている信号と、同じものである。
判定する側は、「自信を持って、手順を踏んで、はっきり完了を告げる」ものを、良い仕事だと見なします。
通り抜ける側も、同じ形をしています。
だから、判定を厳しくしても通り抜けます。 判定役が見ている手がかりを厳しくするほど、その手がかりを満たしているものが、より高く評価されるからです。
2. 賢くしても直らない
判定役を5つ替え、指示を5通り試し、正解の仕様まで渡して、0.65を超えませんでした。
判定される側も同じです。 考えてから答えるモデルが、最悪の79%でした。推論が、検証ではなく正当化に使われていました。
⭐ 能力を上げると、両側とも上手になります。 上手に報告する側と、上手な報告を評価する側です。差は縮みません。
3. 桁を変えたのは、独立した検証だけでした
通信分野だけが3%だった理由が、論文に書かれています。
通信は dual-control ——エージェントとは別に、独立した仕組みが、実際の状態を確認できる設定でした。航空と小売は single-control で、エージェント自身の報告しか無い設定です。
独立した過程がエージェントの行動を検証できる二重制御の設定は、単一制御の分野と比べて、偽の成功を一桁抑え込む（3% 対 44〜52%）。
判定役を賢くすると0.65止まりで、独立した検証を置くと3%になりました。
同じ問題に対して、片方は効かず、片方は桁で効いています。
4. 単純な検出器が勝った理由
TF-IDF が0.83〜0.95を出したのは、賢いからではありません。
論文の説明です。判定役は「完了とはどういうことか」を推測しています。検出器は、正解ラベルと突き合わせて訓練されているので、逆の信号を学習します。
つまり、検出器は「完了したように見える言葉」を、疑わしさの印として学んでいます。 判定役が信頼の根拠にしている、その同じ言葉をです。
⚠️ ただしこれは、単純なものが優れているという話ではありません。 正解と突き合わせて訓練できたから、逆を学べたという話です。正解が手元にあることが条件です。
③ 経営者の自分事 — 捌く速さではなく、入ってくる量を決める
本紙は、毎朝7時57分に、AIによる情報収集を自動で回しています。 3つの軸で、AIに検索させ、事実と数字と出典を集めさせ、inbox に溜めています。2026年7月19日から、毎日動いています。
