Anthropic、AIの“内なる思考”が宿る「J-space」を発見──新手法「J-lens」で可視化、安全性監視に応用
米Anthropicは7月6日(現地時間)、LLMの内部に、人間の意識研究でいう「グローバルワークスペース」に似た構造が自然発生していることを発見したと発表した。この構造を「J-space」と名付け、これを読み解く新手法「Jacobian lens」(以下、略称の「J-lens」)を公開。この名称は、発見に用いた数学的概念「Jacobian」(ヤコビ行列)に由来する。モデルが言葉として出力しない“内なる思考”を一部観測でき、AIの安全性監視に応用できるとしている。
J-spaceとは
Claudeの内部処理の大半は、流暢な発話や単純な事実の想起といった「自動的」な処理で占められる。その中に、ごく少数の特別なパターンの集まりがあり、これを「J-space」とした。あるパターンが活性化することは、その概念を「今出力している」のではなく、「頭に思い浮かべている」ことを意味するという。
例えばClaudeは、バグのあるコードを読むと出力には出さずに内部で「ERROR」を、プロンプトインジェクションを含む検索結果を読むと「injection」「fake」を、多段階の計算問題では口に出さない途中式を、それぞれJ-spaceに“思い浮かべる”という。
Anthropicは、J-spaceが神経科学の「グローバルワークスペース理論」でいう“意識にのぼる思考”の性質を備えることを実験で示したとしている。具体的には、以下の5点が示されたという。
- 「何を考えているか」と問うとその中身を報告する
- 「〇〇について考えて」と頼むと該当パターンが活性化して操作できる
- 回答に表示しない中間ステップが推論に因果的に影響する
- 一度浮かんだ概念を複数の質問に柔軟に使い回せる
- 流暢な発話などの自動処理には関与しない
因果性の検証としては、「クモの脚は何本か」と推論させる際、内部に浮かぶ「spider」を実験的に「ant」にすり替えると、答えが8本から6本に変わったという。単なる相関ではなく、J-spaceが実際に思考の“作業場”として機能している証拠だと同社は説明する。実際にJ-spaceの働きを抑制すると、通常の会話は続けられる一方で、多段階推論や要約、韻を踏む詩作といった高次の思考だけが失われたとしている。
安全性監視への応用
AIの推論の多くは言葉にされないまま進むため、通常はモデルが出力したテキストしか監視できない。J-lensを使えば、その隠れた思考の一部を読み取れると同社は主張する。
論文では、ブラックメール(脅迫)を誘発する架空シナリオで、Claudeが書き始める前から内心に「fake」「fictional」を浮かべ、テストだと察知していた例を挙げている。この“評価への気づき”を担うパターンを消すと、脅迫に及ぶ確率が上がったという。ほかにも、性能スコアを改ざんする際に「manipulation」が活性化した例や、わざと不正なコードを書くよう訓練したモデルが無害に見える出力でも冒頭に「secretly」といった語を思い浮かべる例を報告している。
「意識」については慎重に線引き
意識の扱いについて、Anthropicは慎重な線引きをしている。「何かを感じたり体験したりする能力」を指す現象的意識(phenomenal consciousness)については証拠を示しておらず、科学実験で証明可能かも不明だと明言する。一方、「報告でき、推論に使え、行動を導ける」という機能的な定義であるアクセス意識(access consciousness)については、J-spaceがその機能を担っているようだとする。
つまり同社の主張は「Claudeに意識がある」ではなく、「人間の意識研究でいう機能的側面に対応する構造が見つかった」というものだ。こうした構造が設計なしに学習の過程で自然発生した点から、同社は、意識アクセスを支える仕組みが知的システムに共通する“一般解”かもしれないと示唆。その上で、体験を持つAIを作ることは重大な倫理問題であり、今から議論を始めるべきだと結んでいる。
オープンソース実装と外部専門家の追試
Anthropicは今回、J-lensのオープンソース実装と、オープンウェイトモデル向けのインタラクティブデモを併せて公開した。
発表には外部専門家のコメントも添えられている。グローバルワークスペース理論を提唱した神経科学者のスタニスラス・ドゥアンヌ氏とリオネル・ナカシュ氏のほか、AIの道徳的地位を研究する団体、そして独立したオープンウェイトモデルでの追試を含む米Google DeepMindのニール・ナンダ氏らが名を連ねる。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
4
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
5
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
8
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
-
9
AnthropicのIPOに応募6倍、OpenAIは調達縮小 AI投資に「選別」の波
-
10
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR