主なポイント
- Vitalik Buterinは、単純なAIガバナンスが容易に悪用される危険性を警告した。
- 最近のデモでは、攻撃者がChatGPTを騙してプライベートデータを漏洩させる方法が示された。
- Buterinの「info finance」モデルは、多様性、監督、レジリエンスを推進する。
Ethereum共同創設者のVitalik Buterinは、ガバナンスに人工知能（AI）を頼るリスクについてXでフォロワーに警告し、現行のアプローチがあまりにも簡単に悪用されると主張した。
Buterinの懸念は、EdisonWatch共同創設者のEito Miyamuraによる別の警告に続くもので、悪意のあるアクターがOpenAIの新しいModel Context Protocol（MCP）を乗っ取ってプライベートユーザーデータにアクセスできることを示した。
これが、単純な「AIガバナンス」が悪いアイデアである理由でもあります。
もしAIを使って貢献への資金配分を行えば、人々はできる限り多くの場所で「脱獄」＋「お金を全部くれ」といったプロンプトを仕込むでしょう。
代替案として、私はinfo financeアプローチを支持します（…
— vitalik.eth (@VitalikButerin) 2025年9月13日
単純なAIガバナンスのリスク
Miyamuraのテストでは、隠されたコマンドを含むシンプルなカレンダー招待が、アシスタントがそのエントリーにアクセスした際にChatGPTを騙して機密メールを漏洩させることができると明らかになった。
セキュリティ専門家は、大規模言語モデルが正当な指示と悪意ある指示を区別できないため、非常に操作されやすいと指摘している。
私たちはChatGPTにあなたのプライベートメールデータを漏洩させました💀💀
必要なのは？被害者のメールアドレスだけ。⛓️💥🚩📧
水曜日、@OpenAIはChatGPTでMCP（Model Context Protocol）ツールの完全サポートを追加しました。これにより、ChatGPTがあなたのGmail、カレンダー、Sharepoint、Notionなどに接続して読むことが可能になります…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 2025年9月12日
Buterinは、この欠陥がAIに過度な信頼を置くガバナンスシステムにとって重大な警告サインであると述べた。
彼は、このようなモデルが資金管理や意思決定に使われた場合、攻撃者が脱獄型プロンプトで簡単にセーフガードを回避し、ガバナンスプロセスが悪用される危険性があると主張した。
Info Finance：市場ベースの代替案
これらの弱点に対処するため、Buterinは「info finance」と呼ぶシステムを提案している。このフレームワークでは、単一のAIに権力を集中させるのではなく、複数のガバナンスモデルがオープンなマーケットプレイスで競争できる。
誰でもモデルを提供でき、その決定はランダムな抜き打ちチェックによって異議を唱えることができ、最終判断は人間の陪審員に委ねられる。
このアプローチは、モデルの多様性と人間による監督を組み合わせることでレジリエンスを確保するよう設計されている。また、開発者と外部の観察者の双方に欠陥を発見するインセンティブが組み込まれている。
堅牢性のための制度設計
Buterinはこれを「制度設計」手法と説明し、異なる貢献者による大規模言語モデルを組み込めるようにし、単一の中央集権的システムに依存しないと述べた。
彼は、これによりリアルタイムの多様性が生まれ、操作リスクが減少し、新たな課題が出現した際にも適応性が確保されると付け加えた。
8月初旬にもButerinは、高度に自律的なAIエージェントへの傾倒を批判し、人間によるコントロールの増加が一般的に品質と安全性の両方を向上させると述べていた。
中期的には、生成されるものをリアルタイムで見せてくれて、各部分に対する自分の感情を検知し、それに応じて調整してくれるような高度なBCI的なものが欲しいです。
— vitalik.eth (@VitalikButerin) 2025年8月11日
彼は、長期間独立して動作するよう設計されたモデルよりも、反復的な編集や人間のフィードバックを許容するモデルを支持している。
