“人間には簡単なパズル”、AIが解ければ賞金 総額約1億7700万円 「AGI」を目指すコンテスト開催中：Innovative Tech（AI+）

人間には簡単だがAIには難しいテスト「ARC」を用いたコンテスト「ARC Prize 2024」が開催中だ。このコンテストでは総額110万ドル（約1億7780万円、1ドル＝161円換算）以上の賞金を用意している。

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　人工知能（AI）の分野において、汎用人工知能（AGI: Artificial General Intelligence）の進歩が停滞しているという認識が広がっている。現在のAI研究は、大規模言語モデル（LLM）に代表されるように、膨大なデータを用いた訓練に重点が置かれている。しかし、これらのモデルは訓練されていない単純な問題への適応や基本的な新しい発明を行うことができず、真の意味での知能とはいえない状況にある。

左の3つからパターンを見つけ、右端の「？」を埋めるという問題　人間には簡単だが、AIには難しい問題

　この問題に対処するため、Webアプリケーション「Zapier」を手掛ける米Zapier社の共同創設者マイク・クヌープさんと、 Pythonライブラリ「Keras」の開発者で、米Googleの研究者であるフランソワ・ショレさんが提案する「ARC」（Abstraction and Reasoning Corpus）というベンチマークテストが注目を集めている。

　ARCは、AGIを測定するベンチマークで、人間には簡単だがAIには難しいテストとなっている。これまでの競争では、人間が平均84％の正解率を示す一方、AIの最高スコアは30％程度にとどまっている。

　テスト内容は、カラフルなタイルが表現されたグリッド図形（3×3や4×4、5×5、7×7、9×9など）から、パターン（規則性）を見つけ、問題用のグリッド図形にその規則性に基づいたカラフルなタイルを表現するというもの。以下にテストのサンプルを6つ紹介。どちらも左の2〜4つのサンプルを提示し、それらからパターンを見つけ、そのパターンに応じて右のアウトプットに答えを表現する。

テスト例（1）

テスト例（2）

テスト例（3）

テスト例（4）

テスト例（5）

テスト例（6）

　このテストは、こちらのページからWebブラウザ上で体験できる。

賞金総額110万ドルのコンテスト「ARC Prize 2024」

　現在、ARCを用いたコンテスト「ARC Prize 2024」が開催中だ。ARC Prize 2024は、AGIに向けた新しいアイデアの探求を奨励し、その進歩をオープンソース化することを重視している。

　ARC Prize 2024は、総額110万ドル（約1億7780万円、1ドル＝161円換算）以上の賞金が用意され、グランプリの50万ドル（約8081万円）は、ARC-AGIの非公開評価セットで85％以上のスコアを達成した最大5チームに授与される（人間の正解率が平均84％なため）。

　2024年の進歩賞として、トップスコア賞と論文賞がそれぞれ5万ドル（約808万円）を用意。トップスコア賞は、24年の競争期間中に最高スコアを記録した上位5チームに分配される。1位が2.5万ドル（約404万円）、2位が1万ドル（約161万円）、3〜5位がそれぞれ5000ドル（約80万円）を受け取る。

　論文賞は、ARC-AGIでの強力な性能を実現する方法についての理解を最も進展させた論文に授与。優勝者には4.5万ドル（約727万円）、次点には5000ドルを贈る。

　参加者は、提出物のコードと手法をパブリックドメインのオープンソースライセンスの下で公開する必要がある。また、参加者が作成していない第三者のコードや手法も、少なくとも公開共有を許可するオープンソースライセンスの下で利用可能でなければならない。

　ARC Prize 2024は24年6月11日に開始し、11月10日に提出締切、12月3日に賞の発表が予定されている。なお、追加の50万ドルの賞金が後日発表される予定だ。

　ARCの歴史は19年に始まり、20年のKaggleでの最初の競争、21年の米ニューヨーク大学の研究、22〜23年に開催したコンテスト「ARCathon」を経て、現在のARC Prize 2024に至っている。

Source: Francois Chollet、Mike Knoop、Bryan Landers、Greg Kamradt、Hansueli Jud、Walter Reade、Addison Howard（2024）. ARC Prize 2024. Kaggle. https://kaggle.com/competitions/arc-prize-2024