「こんなのやっても」と拒んだ患者が夢中になったAIメガネ　声を失っても“話せる”仕組みとは

　「こんなのやっても」。沖縄県浦添市の嶺井第一病院で意思疎通支援の実証が始まったとき、参加を拒む患者は少なくなかった。脳梗塞などの脳血管疾患や気管切開で声を出せなくなり、伝えることを諦めてきた人たちだ。ところが一度メガネをかけて試すと、多くの患者が夢中で操作を続けるようになったという。

　かけた先に何があったのか。視界には50音表が浮かび、2文字入力するとAIが先回りして候補を差し出す。カメラを向ければ、目の前の物からも言葉を引き出せる。数分かかっていた意思伝達は、数十秒から数秒になった。

　このシステム「CommunicationBoard+AI」を開発したのは、札幌のゲーム開発会社ロケットスタジオだ。手を動かしたのは、プログラマー1人とディレクター1人だった。

50音表をスマートグラスの中に

　これまで、意識は保たれたまま発話だけが困難になった患者との意思疎通では、スタッフがアクリル製の50音表を手に、1文字ずつ示しては患者の反応を待っていた。短い訴えの聞き取りにも数分かかり、時間が取れなければ、会話は「はい」「いいえ」で答えられる質問に絞られてしまう。

　CommunicationBoard+AIは、その50音表をメガネの中に移した。1月から4月に行われた嶺井第一病院での実証には延べ25人の患者が参加し、5月29日から正式提供されている。組み上がった文は合成音声になり、家族やスタッフの耳に届く。

　機材はNTTコノキューデバイスのスマートグラス「MiRZA」、ペアリングしたスマートフォン、ジョイスティック型のコントローラー「XBOX Adaptive ジョイスティック」の3点だ。

　患者は頭の動きか親指のジョイスティック操作でカーソルを動かす。入力方式は1文字ずつ選ぶ50音表型と、「あ行」「か行」などを選んでから絞り込むフリック風の2系統があり、身体条件に応じて使い分けられている。

AIで“伝えたいことを先読み”　画像認識も搭載

　AIで解消したのは、1文字ずつの入力に時間がかかることと、伝えたいものの名前がとっさに出てこないという2つの課題だ。

　文字を2文字ほど入力すると、米Microsoftのクラウドサービス「Microsoft Azure」（以下、Azure）上で使える米OpenAIのAIモデルが続く言葉を予測して候補を提示する。

　50音表のカメラアイコンを押すと、MiRZAのカメラで撮影した画像をAzureの画像認識機能で解析し、カーテン、ベッド、テレビといった物体名を候補に加える。物体を選べば「つけて」「消して」のような動作の候補が続く。確定した文は「Text to Speech」に送られ、返ってきた音声データをスピーカーから出力する。

　認識の対象は室内の備品に限らず、差し入れの本や果物も読み取れる。以前、取材で訪れた撮影クルーが視界に入った際には「取材」という候補が返ってきたという。

　ロケットスタジオ取締役副社長の中嶋知彦氏は「独自の技術を活用しているかと言ったら、正直なところそれはない」と明かす。

　注力したのは、50音表の配色や文字サイズ、入力ステップといったUIの作り込みだ。マニュアルを読まなくても操作できる画面設計には、ゲーム開発で培った知見を生かした。中嶋氏によれば、そもそもゲームとシステムを分けて考えたことがなく、どちらも同じプログラムの延長と捉えているという。

　開発着手は2022年11月。2人だけの体制で作り続け、26年5月の正式版まで3年半をかけた。AIの機能を自製せず既製サービスの組み合わせで賄ったからこそ、この体制で医療現場に納入できる水準に到達できた。

患者ごとの調整はプロンプトで

　患者ごとのパーソナライズはプロンプトで実現している。目への刺激を避けるべき患者であれば、その予備知識を文章であらかじめ与えておく。すると照明やカーテンに関する言い回しが前に並ぶようになる。電子カルテをそのまま読み込ませるのではなく、扱う情報を必要な範囲に絞った設計だ。

　なお、生成AIの出力を患者の声として読み上げるため、不適切な文言が混ざる懸念はあるものの、Azure側の機能で、入出力に有害な内容を自動的に除くフィルターがかかる。

開発中にデバイスの変更も

　AI機能を全てクラウド側に置いた構成により、開発中のデバイスの変更にも対応できた。もともとはMicrosoftのヘッドマウントディスプレイ「HoloLens 2」で開発を進めていた。視線で文字を選べるアイトラッキング機能が、ALS（筋萎縮性側索硬化症）のように進行すると視線しか動かせなくなる患者に適していたためだ。

　ところが2024年にHoloLens 2の生産が終了し、代替機の選定を迫られる。移植先に選んだのが、同年にNTTコノキュー（現、NTTコノキューデバイス）が発表したMiRZAだった。作り替えたのは端末側の入力と表示だけで、予測も音声合成もクラウドにあるため中核は無傷で残った。

　操作はヘッドトラッキングとジョイスティックに変わったが、ジョイスティックは移植の時点からあったわけではない。頭の動きによる操作は車いすのリハビリ患者には首の負担が大きく、疲れを訴える人が出た。病院の指摘を受け、わずか1日でジョイスティックを搭載できるようにした。

　MicrosoftはAzureを提供するだけでなく、開発にも伴走してきた。同社のサービスをアプリに組み込むため、どの機能をどう使えばよいかアドバイスしてきたという。

　それだけに、日本マイクロソフト執行役員常務で最高技術責任者の野嵜弘倫氏は、自社のHoloLensから他社のMiRZAへの移行にもこだわりを見せない。「デバイスが何であれ、われわれの基礎技術を使っていただく限りは全く問題ない。むしろ広めたい」と話す。

「自分の声」で話せる機能も視野に

　一方で、ALSの症状が進み視線しか動かせなくなった患者には、現状の操作方式では届かない。頭や指が動くうちに使い始める形になる。ロケットスタジオはハードウェアにこだわりはなく、アイトラッキングを備えた安価なメガネ型デバイスが登場すれば移植する考えだという。

　出力の側にも拡張の余地がある。合成音声による「本人の声の再現」だ。定型文を読み上げて登録すれば、その声質で合成できる機能がMicrosoft側にすでに用意されており、プログラムを書かずに組み込める状況だという。声を失う前に登録すれば、自分の声で話し続けられる。

　嶺井第一病院が導入を決めたほか、ALS患者による個人利用も始まっている。ライセンス契約での提供となり、価格は問い合わせに応じて個別に示される。ロケットスタジオは機能を絞った在宅リハビリ向けの安価版も構想しており、大学病院への提案なども含めて販路を広げていく方針だ。

この記事の著者

関連記事

• 

  AIが医療データを基に健康アドバイス――SMBC、富士通、ソフトバンク共同で「国産ヘルスケア基盤」開発へ

• 

  「tsuzumi 2」活用、純国産の医療AI情報プラットフォーム開発へ　医学書院とNTTグループが協業

• 

  AIが外科手術を支援、術中画像を見て“アドバイス”　慶應医学部発のスタートアップ

• 

  “医療特化”の日本語LLM開発、東大松尾研やさくらなど　研究者に無償提供

• 

  なぜPFNは「国産AI」をゼロから開発するのか　担当者に聞く“自家製ならではの利点”