ChatGPTがレントゲン画像を分かりやすく説明 中国の研究者ら「ChatCAD」開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　中国の上海科技大学、上海交通大学、United Imaging Intelligenceに所属する研究者らが発表した論文「ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models」は、レントゲンなどの医療画像から自動診断した症状をChatGPTがチャット形式で教えてくれるシステムを提案した研究報告である。

　例えば、次の図では、肺炎の有無と左肺下葉の感染範囲を強調した、患者の状態を簡潔で分かりやすくまとめたチャットのやりとりが作成されている。

医療画像からユーザーがチャットで質問（灰色の吹き出し）し、ChatGPTが答えている（ピンクの吹き出し）一連の様子

　ユーザーは取得したレントゲン画像とともに「これが私のレントゲン画像です。診断報告を書いてください」などと入力し始め、「この濃い影は何ですか？」「薬は何を飲めばよいですか？」「1週間以上臭いがしなくなったのですが、なぜですか？」などといった疑問をチャット入力すると、その都度ChatGPTが簡潔にテキストで答えてくれる。

　OpenAIのChatGPTのような対話型の大規模言語モデルは、自然言語処理において目覚ましい成果を上げている。医療分野では、医療に関する知識やアドバイスを提供するための貴重なツールとしてその可能性を示している。最近では、ChatGPTが米国の医師免許試験の一部に合格した結果も報告されている。

　X線、CTスキャン、MRIなどの医療画像は、患者の状態に関する重要な洞察をもたらす情報を豊富に含んでいる。

　一方、コンピュータ検出／診断支援（Computer-Aided Detection/Diagnosis、CAD）ネットワークは、深層学習アルゴリズムを用いて臨床判断を支援し、医療分野で大きな成功を収めている。これらのネットワークは、大量の医療画像データで学習されており、医療分野に特有の視覚情報の複雑なパターンや関係を認識するための学習が可能である。

　この研究では、対話型の大規模言語モデルとCADネットワークの長所を組み合わせた方式を提供する「ChatCAD」を提案する。ChatCADでは、まず医療画像を3つのネットワーク（画像分類ネットワーク、病変セグメンテーションネットワーク、報告書生成ネットワーク）に送り込む。

　画像分類ネットワークと病変セグメンテーションネットワークが診断した結果をもとに、レポート生成ネットワークが診断報告書を作成する。その結果をChatGPTが分かりやすくチャットベースに編集する。

研究手法のパイプライン

　このように、大規模言語モデルはCADネットワークからの結果に基づいて、生成したレポートの誤りを修正することを可能にする。結果、この手法の診断性能は従来の報告書生成手法の診断性能を16.42％向上できた。

　研究手法の大きな利点は、チャットベースで説明や医療アドバイスを提供できるため、専門的な知識がないユーザーでも理解しやすいところである。

　例えば、「胸水は重要な病気ですか？」などと意味が分からない専門用語が登場しても、ピックアップして質問できる。「胸腔にはどれくらいの液体がたまっとけばいいのですか？」などと深く掘り下げた質問も遠慮なく聞ける。人間の医者だと遠慮してしまうところ、気を遣わず聞けるのが利点といえる。

灰色の吹き出しがユーザー入力の質問、ピンクの吹き出しがChatGPTの回答

　もう1つの利点は、複数のモデルから得られるさまざまな判断を組み合わせることである。例えば、COVID-19のような緊急事態が発生した場合、他のモデルに影響を与えず、ごく少ない症例数で肺炎とCOVID-19を区別する分類モデルなどを追加することができる。

Source and Image Credits: Wang, Sheng, et al. “ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models.” arXiv preprint arXiv:2302.07257（2023）.