GoogleのChatGPT競合「Bard」のデモ回答に誤り──天文学者らが指摘

[ITmedia]

　米Googleが2月6日に会話型AIサービス「Bard」を発表した際に披露したBardの回答例に誤りがあると、複数の天文学者や科学者がツイートで指摘した。

　問題になっているのは、公式ブログで公開されたGIF動画。「ジェームズ・ウェッブ宇宙望遠鏡（JWST）による新発見の中で、9歳の子供に教えられることは何？」という質問に対する回答の中の「JWSTは、太陽系外の惑星の写真を初めて撮影した」という部分。

指摘された部分

　米カリフォルニア大学天文台所長で天文学者のブルース・マッキントッシュ博士はGoogleの発表ツイートに「JWST打ち上げの14年前に太陽系外惑星の画像を捉えた人間として言わせてもらえば、（Bardの回答として）もう少し良い例を示すべきだったのでは？」とリプライした。

　スミソニアン天体物理学センターの天体物理学者、グラント・トレンブレイ博士は2004年に大型望遠鏡VLTが画像化した褐色矮星2M1207の画像に「Bardはすごいものになると確信しているが、念のために指摘すると、太陽系外の惑星を画像化したのはJWSTが最初ではない」と添えてツイートした。

　トレンブレイ氏はまた、「（Googleのような）大企業が自社のLLM（大規模言語モデル）の宣伝にJWSTの探査を使っているのはとてもいいことだと思うし、感謝する。だが、ChatGPTなど（のチャットbot）は不気味なほど素晴らしいが、非常に自信を持って間違えることがよくある。LLMが将来自己エラーチェックを行えるようになるのが楽しみだ」とツイートした。

　7日に次世代LLM採用の新しいBingとEdgeを発表した米Microsoftは、「AIは間違いを犯す可能性があり」「説得力があるように聞こえるが、不完全、不正確、または不適切な応答が表示される場合がある」と認め、Bingの示す回答をそのまま信じずに、「Bingの対応に基づいて決定を下したり行動したりする前に、あなた自身の判断を使用し、事実を再確認してください」としている。

　Googleは、Bardをまずは「信頼できるテスター」に限定公開し、改善していく計画だ。

　この件について報じた米New Scientistは、オックスフォード大学のAI倫理研究所哲学部准教授、カリッサ・ヴェリス氏の「これは、統計システムの最も重要な弱点を完全に示している。こうしたシステムは、統計分析に基づいてもっともらしい答えを出すように設計されているが、真実の答えを出すようには設計されていない」というコメントを紹介した。

　Googleは同メディアに対し、「外部からのフィードバックを内部テストと組み合わせ、Bardの回答が現実世界の情報の品質、安全性、高水準を満たすよう確認していく」と語った。