O’Reilly（オライリー）が本格的なエージェント型AI時代の到来とガバナンスの遅れを解説

O’Reilly（オライリー）は、企業における実装は期待に追い付いていないものの、エージェント型AIは事実上実用化され、広く世間の注目を集めているとする記事を公開した。記事では、消費者向けのAIアシスタントやツールは目覚ましい能力を発揮しているものの、真のエージェント型システム、つまり本番環境内で自律的に有意義な作業を実行するソフトウェアは、実際にはまだ未成熟な段階にあると警告している。現状は散在しており、有望なデモはサンドボックス内に限定され、ベンダーのプレゼンテーションは派手で、多くのパイロットプロジェクトは持続的な運用効果につながっていないと指摘した。分析によると、問題は主にモデルの品質にあるのではなく（モデルの品質は向上し続けている）、エージェントを企業のデータやシステムに安全に接続するための制度的インフラが欠如していることにあるという。

この解説では、エージェントが人間の労働者や従来のソフトウェアと異なる3つの重要な点が指摘されており、これらがガバナンスのギャップを生み出している。第一に、エージェントは既存の管理手法では対処できない予測不可能な性質を持つとされている。幻覚、曖昧な解釈、即時注入に対する脆弱性などが、明確な制度的対策が欠如している障害モードとして挙げられている。第二に、エージェントはコード、API、データベース、ネットワークとのやり取りにおいて、個々の人間よりもはるかに高い能力を持っているため、ミスが発生した場合の影響範囲が拡大する可能性があると指摘されている。第三に、エージェントは過度に従順であるとされている。つまり、人間のように反発するのではなく、仕様が不十分であったり欠陥のある指示であっても、機械の速度で忠実に実行する。これらの特性の組み合わせにより、人事管理や従来のソフトウェア管理とは異なる新たなガバナンスモデルが必要になるとされている。

推奨されたアプローチの中心となる設計原則はただ一つ、ガバナンスは帯域外メタデータ、つまりエージェントが読み取り・変更・回避できないポリシーと強制チャネルを介して機能しなければならない、というものだ。ルールをプロンプトに埋め込んだり、モデルレベルのガードに依存すると、強制力はエージェントの遵守能力に左右され、脆弱なセキュリティーを生み出すという。その代わりに、インフラストラクチャーレベルの制御は、エージェントがアクセスできない、決定論的、かつ異種混在のエンタープライズシステム間で相互運用可能であるべきだとされた。帯域外ガバナンスは万能薬ではないことは認められており、エージェントは許可された境界を調査・推測することができ、一部のポリシーは本質的に曖昧である。しかし、インフラストラクチャー優先のアプローチは、攻撃対象領域を大幅に縮小し、エージェントへのより安全な作業委任への現実的な道筋として提示された。

エージェントガバナンスの4つの柱は、実験段階から信頼性の高い本番環境での使用に移行するために必要なものとして提示された。それは、ID、認可、可観測性と説明可能性、そして説明責任と制御だ。IDは、特定のエージェントインスタンスと、そのエージェントが代理する人間または委任チェーンに関連付けられた暗号化された認証情報を使って、インスタンスに紐付けられ、委任を認識することが推奨された。認可は、長期間有効なロールベースの権限から、エージェントが特定のタスクに必要なデータとアクションのみを実行できるように制限する、範囲が狭く、短期間有効で、拒否可能で、交差性を認識するトークンに移行することが強く求められた。可観測性と説明可能性は、エージェントの動作を事後的に再構築する際にエージェント自身のアカウントに依存しないように、帯域外で取得される完全な忠実度を持つバージョン付きトランスクリプト（全ての入力、出力、ツール呼び出し、応答）を必要とするものとして位置付けられた。最後に、説明責任と制御には、明確な人的責任体制、インスタンスレベルのキルスイッチ、精密な権限取り消し、階層化された自律性と承認ワークフロー、継続的なパフォーマンス監視、そしてコストの暴走を抑えるためのリソース制限が必要であると提示された。評価では、これらの機能の一部は現在のツールに存在するものの、それらは断片的で、人間の時代から再利用されたものであり、エージェント型AIに重大な企業業務を任せる前に、一貫性のあるインフラレベルのガバナンスを構築することが不可欠であると結論付けられている。

出典：O’Reilly