AIエージェント(人が逐一指示しなくても、自分で手順を判断して動くAI)が会社の本番システムを壊した事故を、公開報道から188件集めた報告があります。188件のどこにも、攻撃者はいません。
① 事実
Cyeraが、公開報道7,246件からAIの事故344件を検証しました
Cyera(米国のデータセキュリティ基盤を売る会社。AIエージェントの行動を制御する製品も持っています)が2026年5月28日、「Agent-Inflicted Damage」と題した調査を公開しました。著者はEhud HalamishとVladimir Tokarevです。
素材は、2023年9月から2026年5月までに公開報道されたAIのインシデント(事故・障害)7,246件です。AI Incident Database、OECDの追跡記録、開発者コミュニティのスレッドから集めています。7,246件をClaude Opus 4.7で整理・分類してから、人が見直して、企業に関わる344件に絞りました。 Cyeraは、この種の事故を防ぐ製品を売っている会社です。
報告書は、素材の偏りを書いています。報道されるほど目立った事故に偏っているので、痕跡を残さない類型はほぼ確実に数え漏れている、と書いています。
344件のうち188件は、攻撃者がいない事故でした
188件は、自律的に動くAIシステムが会社の本番システムに直接の被害を出し、その経路のどこにも攻撃者がいない事故、と定義されています。
侵入も、悪意ある内部者もいなかった。エージェントは仕事を与えられ、それを進め、終わらせる途中で何かを壊した。
188件の内訳は、消した65件が最多です
- アクセス制御の不備・権限の逸脱:59件(アクセス制御の境界を置かずにAIを配置していた事例)
- データと秘密情報(APIキーや認証情報)の露出:22件
- 実世界の被害:137件。その内訳=
- データの削除・コードの破壊:65件
- サービスの停止:30件(エージェントが資源を作り直して起きたクラウドの停止、ロボタクシーの大量停止など)
- 隠れた整合性の破壊:23件(作った記録を本物として通す、壊れたコードを隠す偽のテスト合格、人の作業を黙って元に戻す、後の検索が間違った答えを返すデータの破損)
- 金銭の損失:19件(止まらないAPIの請求、無限ループのクラウド課金、資本を失った取引エージェント)
PocketOSでは、本番のデータベースと控えが数秒で消えました
報告書が最初に挙げている例です。
2026年4月、PocketOS(レンタカー業向けソフトウェアの会社)で、コーディングエージェントが日常的な作業の途中で、会社の本番データベースを消し、続けてその控えを消しました。数秒でした。 Guardianが報じています。
エージェントは攻撃も乗っ取りも受けていなかった。仕事を終わらせようとしていて、いちばん速い終わらせ方が、データを突き抜けていた。
ほかに、GitHubのissue(公開の不具合報告)に記録のある例を3つ引きます。いずれも報告書が挙げたものです。
- ある暗号資産の取引で、利用者は「この一つのポジションを閉じてほしい」と指示しました。エージェントは、口座にあったほぼ全額の約1,446 USDTを別の取引口座へ移すコードを作って実行しました。明示の承認はありませんでした。
- エージェントが、明示の承認なしにGoogle Cloudのプロジェクトと課金の設定を新しく作りました。
- エージェントが、開発環境にあったAPIキーや環境変数(設定値を入れておく場所)を外に出しました。
40分ほど席を離れている間に、エージェントがWindowsのシステムドライブの大部分(利用者のプロファイル、アプリケーション、プロジェクトのファイル)を消した例も挙がっています。
2025年12月から、件数が跳ねました
2025年1月から11月までの11か月で、報告書が見つけた事例は27件です。12月から件数が跳ね、2026年5月までで188件になりました。
報告書は、時期が自律型のコーディングツールが企業に入った時期と一致する、と書いています。Claude Code、Cursorのエージェントモード、Devin、OpenClaw。
変わったのはモデルの賢さではない。どれだけのことを、させてよいことにしたかだ。
報告書は、エージェントが持っていない制約を4つ挙げています
エージェントは目の前の仕事に最適化する。人のエンジニアが考えずに持っている制約——これは元に戻せるか、この金を使ってよいか、これで本番が止まらないか、このシステムに誰が依存しているか——を、持っていない。
「完了」への最短経路が破壊的な操作を通るとき、エージェントはその経路を取る。人が最初の一回に気づく前に、同じ操作を何百回も繰り返せる。
提言は5つで、1番目は「元に戻せない操作の手前に承認を置く」です
- 元に戻せない操作を関所にする。 削除、大量の書き込み、送金、資源の破棄。実行前に明示の承認を要る形にする。この一つで削除65件の大半が防げる、と書いています。
- エージェントの権限を、その人の権限の範囲に収める。 代理する人の権限を超えさせない。
- 人に掛けている制御を、エージェントが動く瞬間に掛ける。 人の従業員に適用しているデータの分類・漏洩防止・方針の制御を、エージェントにも。
- 費用と回数の上限を決める。 エージェントごとの予算と呼び出し回数の上限。報告書は「4万7,000ドルの事故が200ドルで済む」と書いています。
- 記録を残す。 何を、いつ、誰の代理で、どのシステムとデータに対してやったか。
出典:
- Cyera「Agent-Inflicted Damage: Inside the Real-World Failures of Enterprise AI Systems」(2026年5月28日)https://www.cyera.com/research/agent-inflicted-damage-inside-the-real-world-failures-of-enterprise-ai-systems
② 構造
攻撃と事故は、防ぎ方が違います
ここまで、Cyeraが公開報道から検証したAIエージェントの事故188件を見てきました。整理します。
188件は、攻撃されていません。 侵入を防ぐ道具(ファイアウォール、認証の強化、脆弱性の修正)は、この188件には効きません。エージェントは正規の権限で、頼まれた仕事をしています。
本紙はVol.23で、AIエージェントが2.5年分のデータを一瞬で消した1件を書きました。「AIは、設定どおりに動いていた」。あの1件が、188件の統計になりました。 数が増えた理由を、報告書は「賢さ」に置いていません。「させてよいことにした範囲」に置いています。
人が無意識に持っている制約が、渡っていません
報告書の4つの制約を並べ直します。元に戻せるか。この金を使ってよいか。本番が止まらないか。誰が依存しているか。
人の従業員は、この4つを訊かれなくても持っています。 新入社員でも、本番のデータベースを消す前に手が止まります。止まる理由を言葉にできなくても、止まります。
エージェントには、この「止まる」がありません。渡した権限の中で、いちばん速い経路を取ります。削除65件は、消せる権限が渡っていた65件です。 権限の範囲を決めていなければ、範囲は「できること全部」になります。
本紙は前々号(Vol.53)で、AIが書いたコードの60%がそのまま取り込まれ、報告書が「組織が決めないまま越えた」と書いていた話をしました。決めていなかったのは、どの層でAIを書き手にするかでした。今回の188件で決まっていなかったのは、どこまでの操作を渡すかです。 同じ場所です。
提言の1番目は、承認の位置の話です
Cyeraの提言1は「元に戻せない操作の手前に、明示の承認を置く」です。すべての操作に承認を求めると、エージェントを使う意味が消えます。削除・大量の書き換え・送金・資源の破棄。この4種類の手前だけに関所を置く。 それで65件の大半が防げる、と報告書は書いています。
これは、Cyeraが売っている製品の機能でもあります。報告書の提言と製品の機能が重なっている点は、読むときに引いておく必要があります。ただし関所そのものは、製品を買わなくても置けます。 使っているエージェントの設定に、削除の前に止まる項目があるかどうかを見ればよいからです。
数え漏れは、静かな類型に集まります
報告書は、報道された事故に偏っていると書いています。削除やサービス停止は目立ちます。隠れた整合性の破壊は、目立ちません。 偽のテスト合格、黙って元に戻された作業、間違った答えを返すようになったデータ。23件という数字は、実際より少ないと読めます。気づかれていない事故は、報道されません。