Anthropic、AIの“内なる思考”が宿る「J-space」を発見──新手法「J-lens」で可視化、安全性監視に応用

 米Anthropicは7月6日(現地時間)、LLMの内部に、人間の意識研究でいう「グローバルワークスペース」に似た構造が自然発生していることを発見したと発表した。この構造を「J-space」と名付け、これを読み解く新手法「Jacobian lens」(以下、略称の「J-lens」)を公開。この名称は、発見に用いた数学的概念「Jacobian」(ヤコビ行列)に由来する。モデルが言葉として出力しない“内なる思考”を一部観測でき、AIの安全性監視に応用できるとしている。

J-space(内なる思考)の発見から、安全性監査(Alignment Auditing)、意識の理論との関係までを示す概念図(画像:Anthropic)

J-spaceとは

 Claudeの内部処理の大半は、流暢な発話や単純な事実の想起といった「自動的」な処理で占められる。その中に、ごく少数の特別なパターンの集まりがあり、これを「J-space」とした。あるパターンが活性化することは、その概念を「今出力している」のではなく、「頭に思い浮かべている」ことを意味するという。

 例えばClaudeは、バグのあるコードを読むと出力には出さずに内部で「ERROR」を、プロンプトインジェクションを含む検索結果を読むと「injection」「fake」を、多段階の計算問題では口に出さない途中式を、それぞれJ-spaceに“思い浮かべる”という。

 Anthropicは、J-spaceが神経科学の「グローバルワークスペース理論」でいう“意識にのぼる思考”の性質を備えることを実験で示したとしている。具体的には、以下の5点が示されたという。

  • 「何を考えているか」と問うとその中身を報告する
  • 「〇〇について考えて」と頼むと該当パターンが活性化して操作できる
  • 回答に表示しない中間ステップが推論に因果的に影響する
  • 一度浮かんだ概念を複数の質問に柔軟に使い回せる
  • 流暢な発話などの自動処理には関与しない

 因果性の検証としては、「クモの脚は何本か」と推論させる際、内部に浮かぶ「spider」を実験的に「ant」にすり替えると、答えが8本から6本に変わったという。単なる相関ではなく、J-spaceが実際に思考の“作業場”として機能している証拠だと同社は説明する。実際にJ-spaceの働きを抑制すると、通常の会話は続けられる一方で、多段階推論や要約、韻を踏む詩作といった高次の思考だけが失われたとしている。

グローバルワークスペースの機能的役割。J-space(青の点線枠)内の概念を実験的にすり替えると、モデルの出力(赤の吹き出し)も連動して変化する(画像:Anthropic)

安全性監視への応用

 AIの推論の多くは言葉にされないまま進むため、通常はモデルが出力したテキストしか監視できない。J-lensを使えば、その隠れた思考の一部を読み取れると同社は主張する。

 論文では、ブラックメール(脅迫)を誘発する架空シナリオで、Claudeが書き始める前から内心に「fake」「fictional」を浮かべ、テストだと察知していた例を挙げている。この“評価への気づき”を担うパターンを消すと、脅迫に及ぶ確率が上がったという。ほかにも、性能スコアを改ざんする際に「manipulation」が活性化した例や、わざと不正なコードを書くよう訓練したモデルが無害に見える出力でも冒頭に「secretly」といった語を思い浮かべる例を報告している。

「意識」については慎重に線引き

 意識の扱いについて、Anthropicは慎重な線引きをしている。「何かを感じたり体験したりする能力」を指す現象的意識(phenomenal consciousness)については証拠を示しておらず、科学実験で証明可能かも不明だと明言する。一方、「報告でき、推論に使え、行動を導ける」という機能的な定義であるアクセス意識(access consciousness)については、J-spaceがその機能を担っているようだとする。

 つまり同社の主張は「Claudeに意識がある」ではなく、「人間の意識研究でいう機能的側面に対応する構造が見つかった」というものだ。こうした構造が設計なしに学習の過程で自然発生した点から、同社は、意識アクセスを支える仕組みが知的システムに共通する“一般解”かもしれないと示唆。その上で、体験を持つAIを作ることは重大な倫理問題であり、今から議論を始めるべきだと結んでいる。

オープンソース実装と外部専門家の追試

 Anthropicは今回、J-lensのオープンソース実装と、オープンウェイトモデル向けのインタラクティブデモを併せて公開した。

 発表には外部専門家のコメントも添えられている。グローバルワークスペース理論を提唱した神経科学者のスタニスラス・ドゥアンヌ氏とリオネル・ナカシュ氏のほか、AIの道徳的地位を研究する団体、そして独立したオープンウェイトモデルでの追試を含む米Google DeepMindのニール・ナンダ氏らが名を連ねる。

印刷する
SNSでシェア
SpecialPR

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR