半年後に「巨額の損害」、Anthropicトップが示す“最悪のシナリオ” AI開発減速にOpenAIも“異例の同調”のワケ（2/3 ページ）

米Anthropic（アンソロピック）のダリオ・アモデイ（Dario Amodei）CEOが9月12日、自身のWebサイトに「We Must Pace the Frontier」（フロンティアのペースを調整せねばならない）と題したエッセイを公開した。

[湯川鶴章、エクサウィザーズ AI新聞編集長]

常駐評価者に「入館証と社用PC」　Anthropic「3段階の安全計画」

　示された3段階のうち、第1段階が外部評価者の常駐である。METRのような第三者機関のチームに社員同様の継続的なアクセスを与え、安全対策の順守状況の検証、事案の報告、完成したモデルだけでなく訓練の工程そのものの評価まで担わせる。アモデイ氏は銀行業界の例を引き、監督当局の検査官が行員と机を並べて常駐する形に近いと説明した。

　Anthropicが招くとしている外部レビューチームには、オフィスの机、入館証、社用PCが与えられ、社内のリスク評価チームとほぼ同等の権限が付与される。注目すべきは公表の扱いで、リスク水準や事案、実務慣行、そして自分たちが与えられたアクセスと与えられなかったアクセスについて、Anthropicの編集権を経ずに公表する権利を持つ。

　Anthropic側が非公開にできるのは、国家の安全や法律、企業秘密に関わる重要データのみだ。「会社にとって都合が悪いから」という理由で、調査結果を隠すことは許されない。もし黒塗り（非公開）によって大切な結論が見えなくなっていれば、外部の評価者が「会社が都合の悪い事実を隠そうとしている」と指摘できる仕組みになっている。

　アモデイ氏は「外部の監視役を会社に常駐させる対策は、一見すると地味で小さく思えるかもしれない。だが、一見退屈に見えるルール作りや手続きこそが、実は最も重要な手立てになる」と主張する。また、AIの発達スピードに上限を設ける国際的なルール作りについて「実現は極めて難しいものの、ギリギリ達成できるかもしれないラインだ」と評価した。

　第2段階は、民主主義国のフロンティア企業による共通安全基準とペース制限の取り決めで、米政府による独占禁止法の適用除外が前提になる。第3段階が権威主義国を含む国際協調で、アモデイ氏は難易度順に4つの水準を挙げた。

　生物兵器への利用禁止のような限定的合意は十分に可能とする一方、再帰的自己改善の速度に上限を課す案については、ミサイル数を制限したSALT（戦略兵器制限交渉）になぞらえ「困難だが可能性の縁にある」と評価した。

　重要なのは、これが訓練停止の提案ではないと本人が明言している点である。ペース調整とはモデルの訓練や技術的進歩を止めることではなく、企業が調整と安全確保に十分な時間をかけ、第三者評価者がそれを確認できるようにすることだと定義した。