米国立標準技術研究所（NIST）は10月27日、AIエージェントの身元と権限を管理する仕組みについて、10の設計原則を公表しました。8月に、AIを入れた会社で見つかった問題を5つ挙げたブログの続きです。今回の10項目には、AIが何をしようとするかの判断と、何をしてよいかの許可を、別の仕組みにするという原則が入っています。NISTはその理由を、AIの読み方の性質から説明しています。
① 事実
NIST（米国政府が使う技術基準を決める機関。暗号や情報セキュリティの規格を出しています）のサイバーセキュリティの公式ブログに載った、シリーズの2本目です。書いたのはNISTの3人と、MITRE（米政府の研究開発を担う非営利法人）の1人です。著者には、米政府のデジタルIDの指針（SP 800-63）に関わってきた担当者も入っています。原則は、NISTの研究拠点のプロジェクトに寄せられた公開の意見と、関係者への聞き取りから作ったと書かれています。
NISTは、AIエージェントに人とは別のIDを持たせ、権限は作業のときだけ渡すよう求めています
AIエージェント（人が逐一指示しなくても、自分で手順を判断して動くAI）について、NISTが挙げた10の原則は次のとおりです。
- エージェント固有のID——人のアカウントや共用のアカウントと区別する
- 委任の連鎖と権限の縮小——誰が頼んだかを最後まで追えるようにし、下請けのエージェントには親より広い権限を渡さない
- 常時の権限ゼロ——待機中は権限を持たず、作業に要る最小限だけ持つ
- 短命で取り消せる認可——長く使える鍵（APIキーなど、AIがほかのシステムやサービスにつなぐための認証情報）を置かず、作業を始めるときだけ一時的な権限を取る
- 人の確認を挟む条件——一定の危険度を超えたら人が見る。確認が多すぎて、中身を見ずに承認するようになることにも注意する
- 頼んだ側の指示書——目的と制約を、署名付きで渡す
- 判断と許可の分離
- 確定的な許可の判断
- 継続的な監視
- 改ざんできない記録——記録はエージェントから切り離し、エージェント自身が消したり書き換えたりできないようにする
NISTは、どの原則をどこまで当てるかは、扱う取引の危険度や、エージェントが触れるデータや道具に応じて決めるよう書いています。
NISTは、AIの「何をしようとするか」と「何をしてよいか」を、別の仕組みにするよう書いています
7番目の原則は、エージェントが何をしようとするかを決める部分を、何をしてよいかを決める仕組みから、設計の段階で切り離すというものです。
理由として、NISTは大規模言語モデル（ChatGPTやClaudeの中で動いている、文章を読み書きするAI）の性質を挙げています。大規模言語モデルは、処理するデータと受ける指示を、一つの入口から一続きの入力として受け取ります。そのため、AIが読んだ文書に悪い指示が紛れ込んでいると、AIはそれを指示として扱いうるという説明です。こうした手口はプロンプトインジェクション（AIが処理する内容の中に、悪意ある指示を紛れ込ませる攻撃）と呼ばれます。
NISTは、分離は設計で強制する必要があるとし、ガードレール（AIの出力や動きに、指示や検査で掛ける歯止め）について、<strong>「それだけでは足りない」</strong>と書いています。
NISTは、許可の決め手に、AIの確率的な判断を使わないよう書いています
8番目の原則は、確率的な情報を判断の材料には使っても、許可の決め手にはしないというものです。決め手を確定的な仕組みに残しておけば、プロンプトインジェクションのような攻撃の影響を限れる、と書かれています。
NISTは、一つの攻撃を防ぐのに複数の原則が要る例も挙げています。広い権限を持つエージェントに、紛れ込ませた指示で本来しない操作をさせる攻撃です。NISTはこれを防ぐには、委任の連鎖（2番目）、最小の権限（3番目）、判断と許可の分離（7番目）、確定的な許可の判断（8番目）を組み合わせる必要があるとしています。
NISTは、今の標準と技術ではすぐには満たせない原則もあると書いています。10項目は、会社が自社の今の状態を測り、整えていく道筋を描くための出発点という位置づけです。
Claude Codeは、AIの操作を、判断する側とは別のモデルに見張らせています
AnthropicのAIエージェント「Claude Code」には、操作のたびに人が許可する使い方と、自動で進める使い方があります。Anthropicの文書では、自動のときは、<strong>別の分類器（入力を見て、許すか止めるかを振り分けるモデル）</strong>が、操作を実行の前に見ます。既定のモデルは、Claude Sonnet 5です。
分類器には、AIがファイルやWebページから読んだ中身を渡していません。読んだ中身に悪い指示が紛れていても、分類器を直接は操れないようにするため、と書かれています。外部への機密の送信、本番の環境への反映、権限の付与などは、既定で止めます。
その前に、人が決めたルールが先に効きます。許す操作、確認を求める操作、拒否する操作をルールで決めておくと、分類器より先に結論が出ます。
Anthropicは、自動で進めるこの使い方について、確認の手間は減らすが、安全を保証するものではないと書いています。会話の中でAIに伝えた「これはしないで」という境界は、ルールとして保存されず、会話が要約されると消えることがある、とも書いています。確実に止めたいなら、拒否のルールを足すよう勧めています。
② 構造
NISTが8月に挙げたのは、AIに渡した鍵の問題でした。誰の鍵を、どれだけの期間、どこまでの範囲で渡しているか、という話です。今回の10項目は、渡した鍵の手前で、何がAIを止めるのかまで書いています。その答えを、判断の層と許可の層に分けて読みます。
指示文に書いたルールは、AIの判断の側に置かれると読めます
AIを社内で使うときのルールを、AIへの指示文に書く形があります。「顧客の情報は外に出さない」「削除はしない」と、最初に渡しておく文章です。
NISTの説明に沿えば、この指示文は、AIが読むメールや文書と同じ入口から入ります。指示文のルールは、AIが「何をしようとするか」を決める側にあり、「何をしてよいか」を決める仕組みにはなっていないと読めます。 読んだ文書に別の指示が紛れていれば、両方が同じ流れで届きます。
Anthropicが、会話で伝えた境界は要約で消えることがあると書いているのも、同じ側の話だと読めます。
止める仕組みは、確率的な見張りの下に、確定的な線を引いて作られていると読めます
Claude Codeの分類器は、判断する側とは別のモデルで、読んだ中身を渡されていません。NISTの7番目の原則と、同じ向きの設計だと読めます。
一方で、分類器もモデルなので、判断は確率的です。Anthropic自身が安全を保証しないと書き、確実に止めるのはルールの側に置いています。NISTの8番目の原則と、同じ線だと読めます。
道具の作り手も、一つの仕組みに止める役目を全部負わせていません。NISTが、一つの攻撃を防ぐのに複数の原則を組み合わせるよう書いているのと、同じ形です。
③ 自分事
当社では、許可のルールと分類器を併用しています
本紙の原稿は、当社で使っているClaude Codeで組んでいます。AIにさせる操作は、海老沢が許可のルールと分類器を併用して通しています。許す操作と止める操作をルールで決めておき、ルールで決めていない操作を、分類器に見させています。
本紙の取材の作業中にも、分類器が止めた操作があります。読めなかった調査会社のページを、Webページを保存する公開のサービスに保存させようとした操作です。分類器は、公開の場へデータを上げる操作として止めました。
鍵は、AIの手の届く範囲を限って置いています
AIが作業する場所には、要る鍵だけを参照できるようにし、鍵で触れる範囲も限っています。
分類器が見落としても、AIが使えるのは、置いてある鍵の範囲までです。NISTが待機中の権限をゼロにするよう書いているのも、見張りが外れたときに届く範囲を、先に小さくしておく考え方だと読めます。
AIを止めているのが指示文か、許可の設定か、鍵の範囲か
社内でAIエージェントを動かしているなら、それを作った人や設定した人に、AIが本来しない操作をしようとしたとき、何がそれを止めるのかを訊いてみると、その仕組みのどこに線が引かれているかが分かります。答えが指示文だけなら、それはAIの判断の側にある線です。
今月のモデル
今号は、新ネタ無しです。
CoBANTO3-AIチャットを無料体験しませんか？
本紙のバックナンバーを記憶し、本紙の読み方（戦略の階層・歴史循環）で、あなたの状況に当てて答えるAIチャットです。記事は「地図」ですが、地図は現地には当たりません。「この号の話、うちの場合はどうなるのか」を訊く場所として用意しました。
調べもの、文章の下書き、ちょっとした雑談にも使えます。 普段づかいのチャットとして、気軽にどうぞ。
2026年11月11日現在で、約20のモデルに対応しています。 新しいモデルも、出たらなるべく早く入れています。モデルの手応えを試す場所としても使えます。
ご利用は事前購入のクレジット制です（1,000円から）。月額の契約ではないので、解約の手続きはありません。使った分だけ減り、無くなれば止まります。
消費は、<strong>基本料金と、答えの長さ（100字ごとに1クレジット）</strong>で決まります。短い答えなら少なく、長い答えほど多くかかります。モデルによって、1,000円で120〜200往復ほど使えます。
読者登録をいただいた方には、無料クレジットを500クレジット、プレゼントします。 登録は、この記事のすぐ下からできます。
CoBANTO3-AIチャットは、こちらから。無料で体験できるので、ぜひこの機会に触ってみてくださいね。
https://www.netkomuten.tokyo/lp/co-banto3-ai
ライトノベル「ようこそ、東京ネット工務店へ」
海老沢が執筆している、IT業界のお仕事小説です。毎号1話ずつご紹介します。
〈第三部 第72章「問題児」〉
翌朝、桜井は海老沢に時間をもらい、Sで見てきたことを順番に話します。北野のこと、深夜のコミット、会社が北野を外に出そうとしていること。黙って聞いていた海老沢は、湯呑みを置いて、桜井に一つだけ訊きます。
https://www.netkomuten.tokyo/channels/novel-tnk-part3/articles/ch72
小説を書いている理由
この小説は、もともと、社内の教育のために書き始めました。うちの会社——東京ネット工務店で、新しく入った人間に、この仕事の考え方を伝えるための、いわば教材でした。戦略の階層とか、取捨選択とか、口で言っても、なかなか伝わりません。だったら、物語にして読んでもらったほうが早い。そう思って、書き始めました。
ところが、いろいろあって、その教材が、要らなくなってしまいました。理由は、いろいろあります。ここには、書ききれません。ただ、宙に浮いてしまった原稿を、捨てるのも惜しくて、何度も書き直しながら、今度は、教材ではなく、ただ読んで面白い、お仕事小説として、作り直していきました。
https://www.netkomuten.tokyo/channels/atogaki/articles/atogaki-1
Q&Aコーナー
AI・IT業界に関するご質問を募集しています。CoBANTO3-AIチャットのサポートも、こちらへお願いします。
本紙の通知メール・LINEに、そのまま返信していただけます。