Anthropic、AIの“内なる思考”が宿る「J-space」を発見──新手法「J-lens」で可視化、安全性監視に応用
米Anthropicは7月6日(現地時間)、LLMの内部に、人間の意識研究でいう「グローバルワークスペース」に似た構造が自然発生していることを発見したと発表した。この構造を「J-space」と名付け、これを読み解く新手法「Jacobian lens」(以下、略称の「J-lens」)を公開。この名称は、発見に用いた数学的概念「Jacobian」(ヤコビ行列)に由来する。モデルが言葉として出力しない“内なる思考”を一部観測でき、AIの安全性監視に応用できるとしている。
J-spaceとは
Claudeの内部処理の大半は、流暢な発話や単純な事実の想起といった「自動的」な処理で占められる。その中に、ごく少数の特別なパターンの集まりがあり、これを「J-space」とした。あるパターンが活性化することは、その概念を「今出力している」のではなく、「頭に思い浮かべている」ことを意味するという。
例えばClaudeは、バグのあるコードを読むと出力には出さずに内部で「ERROR」を、プロンプトインジェクションを含む検索結果を読むと「injection」「fake」を、多段階の計算問題では口に出さない途中式を、それぞれJ-spaceに“思い浮かべる”という。
Anthropicは、J-spaceが神経科学の「グローバルワークスペース理論」でいう“意識にのぼる思考”の性質を備えることを実験で示したとしている。具体的には、以下の5点が示されたという。
- 「何を考えているか」と問うとその中身を報告する
- 「〇〇について考えて」と頼むと該当パターンが活性化して操作できる
- 回答に表示しない中間ステップが推論に因果的に影響する
- 一度浮かんだ概念を複数の質問に柔軟に使い回せる
- 流暢な発話などの自動処理には関与しない
因果性の検証としては、「クモの脚は何本か」と推論させる際、内部に浮かぶ「spider」を実験的に「ant」にすり替えると、答えが8本から6本に変わったという。単なる相関ではなく、J-spaceが実際に思考の“作業場”として機能している証拠だと同社は説明する。実際にJ-spaceの働きを抑制すると、通常の会話は続けられる一方で、多段階推論や要約、韻を踏む詩作といった高次の思考だけが失われたとしている。
安全性監視への応用
AIの推論の多くは言葉にされないまま進むため、通常はモデルが出力したテキストしか監視できない。J-lensを使えば、その隠れた思考の一部を読み取れると同社は主張する。
論文では、ブラックメール(脅迫)を誘発する架空シナリオで、Claudeが書き始める前から内心に「fake」「fictional」を浮かべ、テストだと察知していた例を挙げている。この“評価への気づき”を担うパターンを消すと、脅迫に及ぶ確率が上がったという。ほかにも、性能スコアを改ざんする際に「manipulation」が活性化した例や、わざと不正なコードを書くよう訓練したモデルが無害に見える出力でも冒頭に「secretly」といった語を思い浮かべる例を報告している。
「意識」については慎重に線引き
意識の扱いについて、Anthropicは慎重な線引きをしている。「何かを感じたり体験したりする能力」を指す現象的意識(phenomenal consciousness)については証拠を示しておらず、科学実験で証明可能かも不明だと明言する。一方、「報告でき、推論に使え、行動を導ける」という機能的な定義であるアクセス意識(access consciousness)については、J-spaceがその機能を担っているようだとする。
つまり同社の主張は「Claudeに意識がある」ではなく、「人間の意識研究でいう機能的側面に対応する構造が見つかった」というものだ。こうした構造が設計なしに学習の過程で自然発生した点から、同社は、意識アクセスを支える仕組みが知的システムに共通する“一般解”かもしれないと示唆。その上で、体験を持つAIを作ることは重大な倫理問題であり、今から議論を始めるべきだと結んでいる。
オープンソース実装と外部専門家の追試
Anthropicは今回、J-lensのオープンソース実装と、オープンウェイトモデル向けのインタラクティブデモを併せて公開した。
発表には外部専門家のコメントも添えられている。グローバルワークスペース理論を提唱した神経科学者のスタニスラス・ドゥアンヌ氏とリオネル・ナカシュ氏のほか、AIの道徳的地位を研究する団体、そして独立したオープンウェイトモデルでの追試を含む米Google DeepMindのニール・ナンダ氏らが名を連ねる。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
よく見られているカテゴリー
アクセスランキング
-
1
パランティアCEOがOpenAIやAnthropicを批判 「AIモデルを強化するためのデータをなぜ顧客が渡すのか」
-
2
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
3
マイクロン、AI需要で広島工場増強へ起工式 1.5兆円投資
-
4
「Claude Fable 5」をサブスクの標準機能に――AnthropicのエンジニアがXに投稿 7月8日以降の「早期復活目指す」
-
5
「AIは依然として古い性能法則に従っている」 Tenstorrent Jim Keller氏
-
6
富裕層にいかに金を使わせる? ダイナースとニューオータニ「18万円超カード」の真意
-
7
AIコーディングの「ループ」4種類を完全入門 Anthropic公式が分かりやすく整理して解説
-
8
カクヤス「30年物の泥沼システム」をAIでどう解読? 現場が思いついた“ある考え”
-
9
「250万超AIエージェント作成」の裏で同時多発する課題を回し切ったIT部門の運用術
-
10
AI推進にブレーキ? AWS「コスト抑制の動きある」 “トークン消費問題”への有効策は
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR