WWDC24で見えたAppleのもくろむ未来 “5＋1”の視点で読み解く：ソフトウェア開発、新時代の幕開け（2/4 ページ）

[林信行，ITmedia]

デジタル時代の新しい所作“新ジェスチャー操作”

　まずは「新ジェスチャー操作」について掘り下げよう。操作方法を1個加えることは、OSを使う上で覚えることが1つ増えるということであり、初心者にとって「難しさ」のレベルが上がることになる。それだけにAppleは新しい操作方法を加えることには常に慎重だった。

　より多くの人が恩恵を受けそうなのは「AirPods Pro」（第2世代以降）の新ジェスチャーだ。AirPods ProをiPhoneにつないでいると、メッセージなどを受信した際に「○○さんからメッセージが届きました。読み上げますか？」といったことをSiriが尋ねてくる。

　ただ、聞かれたタイミングでエレベーターや静かな電車に乗っていることもあり、声が出せるとは限らない。そこで首を縦に振れば「イエス」、横に振れば「ノー」と、Siriに身振りで返信できるようになった。

AirPods Proの第2世代以降では、Siriからの問い合わせに首を縦または横に振って答えられるようになる

　もう1つ、重要な操作の追加が行われたのが、ついに日本でも発売になったApple Vision Proだ。現在はアプリのアイコンが並ぶホームビューを呼び出すのに、本体右上のDigital Crownを物理的に右手で押し込む操作を行う。

　これに対し、今秋に登場するvisionOS 2では、手のひらのジェスチャーだけでホームビューを呼び出せるようになる。手のひらを自分に向けた状態でそこに目線を向けると、その上にiPhoneのホームボタンのようなマークが浮かび上がる（目線を外すと消えるが、再び目線を向けると再表示される）。

visionOSでは、よく使うホームビューやコントロールセンターの呼び出し用に新しいジェスチャーが加わっている。手の操作だけでは反応せず。手のひらに視線を向けることで初めて操作できる。このため、視線さえ向けなければ手のひらが上に向いたままでも従来のタップ操作が可能だ

　これはOSの基本機能を呼び出せる状態の印なので、それが表示された状態で親指と人差し指をくっつけるタップ動作を行うと、ホームビューの表示／非表示が行える。さらにそれが表示された状態で手のひらを返して下向きにすると時計やバッテリー残量などが表示される。

　この状態で指をタップすればコントロールセンターを表示、左右にドラッグすれば音量調整ができる。これらは、手のひらの向きだけでなく視線の向きを組み合わせることで誤操作を防ぐよくデザインされたジェスチャーになっている。

　新たなジェスチャーと言えば、2023年に発売されたApple Watchから親指と人差し指をくっつけるタップを2度繰り返すダブルタップでアプリの操作が可能になったが、今回のWWDCではこの操作を他社製アプリでも利用可能にするという発表が行われた。

　今後は街中でApple Vision Proを装着して変わった手の動きをしている人に加え、つけていない人でも突然、首を縦横に振ったり、ダブルタップの操作をしたりする人が増えるかもしれないが寛大に見守ってあげよう。

ワクワクが止まらない「知性を持ったメモ」

　2つ目の特徴は「知性を持ったメモ」の機能だ。その代表格はiPadで使う「MathNote」である。既に他のWWDC24の速報記事を読んで、手書きの数式をiPadが解いてくれる魔法のような技術に心を躍らせている人も多いだろう。だが、魔法のようなメモ機能はこれだけではない。

　MathNoteは、iPadに新たに加わった「計算機」アプリの一機能だ。数式を手書きして「＝」（イコール）を描くと、その横に手書き風の字で答えを表示してくれる。xとyの2つの変数を持つ二次方程式を書くと、それをグラフ化してくれる機能もある。答えを表示してしまっては、授業では使えないのではないかと心配する声もあるが、iPadをモバイルデバイス管理（MDM）で管理している学校なら先生の側の操作で計算機能をオフにすることもできる。

iPadに新たに追加された「計算機」アプリでは、数式を手描きで「＝」と書くと答えが手書き風の文字で表示される「MathNote」という機能が追加される。授業などで使われるiPadなどでは、機器管理機能を使って学校側がこの機能をオフにできる

MathNoteでは2次方程式のグラフを描く機能もある（3次以上の方程式には対応していない）

　MathNoteに書いた数式は、自動的にAppleのOS共通の「メモ」アプリにも同期される（「MathNote」というフォルダーに同期される）。そしてiOS 18やmacOS Sequoiaでも、メモアプリを通してキーボード操作でMathNoteの機能が利用できる

MathNoteに書き込んだ数式はiCloudを通して他のデバイスの「メモ」アプリにも表示され、「MathNotes」フォルダーに同期される。この「メモ」版MathNoteでも数式をタイプして計算させられる

　魔法のようなメモ機能の2つ目は、あなたの手書き文字の癖を学習し再現する「Smart Script」という、当面は英語だけに対応する技術だ。

　iPadにApple Pencilを使って手書きのメモを書いている人は多いが、Smart Scriptは、その手書き文字の風合いを残しながら、カット／コピー／ペースト、挿入や部分削除など、キーボードから入力した文字と同じくらい柔軟な文章編集を可能にする。手書き文字はもちろん、検索もできるしテキストデータとしてコピーもできる。

　さらに面白いのが、字を清書してくれる機能だ。急いでメモをしていると後で読み返せなくなるくらい字が汚くなるのが人間の常だが、それを自動的に察知してあなたの癖をマネした、もう少し読みやすい文字に清書して直してくれる機能もある。実はMathNoteの計算結果も、あなたの癖をマネしたSmart Scriptで表示されている。

iPadOS 18には、Apple Pencilで手書きした文字を自動的に清書したり、キーボード入力のテキストと同じくらい柔軟に編集できるようにする「Smart Script」という技術が搭載される。当面は英語のみの対応になる

　魔法のようなメモ機能の3つ目は、こちらも当面は英語のみ対応だが、音声を録音しながら、すぐに文字起こししてくれる「Live Audio Transcription」という機能だ。iOS 18／iPadOS 18／macOS Sequoiaで利用できる。特にiPhoneでは通話の録音と文字起こしも可能になる。

　AppleのAI技術は、ただ情報提供や判断に使われるだけでなく、あなたらしいパーソナルな情報の記録にもうまく活用されるということだ。

　インテリジェント機能のアップデートと言えばもう1つ、Apple Watchの「翻訳」アプリであらかじめ利用したい言語をダウンロードしておけば、iPhoneに頼らずにApple Watch単体で利用可能になる。