シャープが考える“5Gスマホのあるべき姿”とは？ 開発陣に聞く「AQUOS R5G」（2/4 ページ）

[石野純也，ITmedia]

3つのカメラがシームレスにズームする

――　ここまでは動画のお話中心でしたが、静止画についてはいかがでしょうか。

超広角を起点にしてシームレスにズームできるカメラを搭載

小野氏　まずカメラシステムの構成として、上から12メガピクセルのズームカメラ、次が48メガピクセルのスーパーワイドで、その下が標準カメラ、最後が3D ToFという並びになっています。

　（3D ToFを搭載しているものの）静止画は、望遠カメラと広角カメラを組み合わせて背景ボカシの撮影を可能にしています。望遠カメラ側で写真を撮り、広角カメラは深度情報を取ったり、切り出しの精度を上げたりするのに使っています。デュアルピクセルの標準カメラを使った方が、よりボカシた写真が撮れることが分かったからです。逆に、ポートレートビデオには3D ToFを使っています。動画だと被写体が常に動くので、常にそれを追尾して深度を取る必要があったからです。

　望遠、超広角、広角の3眼は、シームレスにズームするようにしました。48メガピクセル（の超広角カメラ）も、4つのピクセルを1つにして、12メガ相当になります。ズームしたとたんに解像度が落ちたりすることがないよう、画素数を一律にして、違和感が出ないようにしました。

――　動画を撮りながら静止画を撮るAIライブシャッターには、何か新機能が加わっているのでしょうか。

小野氏　今までのAQUOS Rシリーズでは、動画専用カメラと静止画専用カメラという形で役割分担がはっきりしていましたが、今回は（カメラの数が増えたので）どのカメラにどちらを割り当てるかが非常に難しかったですね。結果として、写真として一番きれいに撮れるということで、広角カメラで撮るようにしています。動く被写体を撮るので、オートフォーカスが瞬時に効くことを重要視しました。そのため、超広角で動画を撮るときにはAIライブシャッターが効くのですが、広角に切り替えるとそれがオフになります。

1回の再生で2度楽しめる「フォーカス再生」の仕組み

商品企画部の中川氏（写真提供：シャープ）

――　先ほどフォーカス再生のお話がありましたが、この仕組みを少し詳しく教えてください。

中川氏　8Kフォーカスワイドで臨場感ある動画を撮れますが、一方で狙った被写体にフォーカスしたいというニーズもあります。1回で2度楽しめることをご提供したいと考え、フォーカス再生を実現しました。静止画はあらかじめズームしてから撮影という流れになることが多いと思いますが、動画は被写体が動くため、撮影中にもズームします。この、ズーム操作の難易度が違うところに注目しました。

　難しい理由は3つあって、1つ目は静止画と異なり、動き続けるので操作が難しいということです。本当なら自分の目で見たいのに、ファインダーを追いかけ続けてもったいない思いをしていることもあります。そのため、画角の中に入れておいていただければ、被写体を追い続けなくてもいいようにしています。2つ目の理由は、画面内に大きく被写体を収めようとすると、被写体がすぐにフレームアウトしてしまうということです。3点目は手ブレで、広角で撮っていたら気にならないブレも、ズームだとかなり気になります。こういったところをフォーカス再生で救っていきたいと考えました。超広角で撮っておけば、被写体をAIが自動で追い、ブレも目立ちません。

　ただ、フォーカス再生を提供するにあたり、静止画のズームとは違う点もありました。小さい動きに追随し続けると、見づらくなるのです。社内では「お父さんズーム」と呼んでいますが、こういったところにAIを使い、フレームアウトを避けるため、小さいに動きにはなるべくズームを合わせないようにしています。全身、上半身、顔とうまく寄っていくようなチューニングもしています。こうしたところには、プロの動画編集マンからアドバイスもいただきました。

人物や動物などの被写体を自動でズームアップして再生する「フォーカス再生」。アップデートにより、フルHD動画として保存可能になる予定

――　例えばどんなところに、そのアドバイスが生きているのでしょうか。

中川氏　例えば、顔と言っても、顔だけがどアップになるのは避けるようにしています。動画編集業界では「生首」というらしいのですが、バストアップで胸から上を狙っていくなど、そういったところにプロの監修を入れて仕上げています。

　また、フォーカス再生はリアルタイムに再生しながら、映像を解析しています。8Kの超高解像度などで、ズーム倍率も高めにできます。一方で、遠くの被写体にズームする際に、途中で被写体が動いてしまい、変なところを拡大してしまうということがありました。ここでは、「カット」と呼ばれる手法を使って、映像を飛ばして被写体に寄るようにしています。

――　なるほど。プロが体系化している編集手法を取り入れているということですね。

中川氏　ただ、発売時点ではフォーカス再生した映像を保存することができません。開発時点では、フォーカス再生ができればいいかなと思っていたのですが、しっかりフォーカス再生ができると、他の人に共有したいというニーズも出てきます。発売時点には間に合いませんでしたが、この機能も、今後のアップデートで対応していこうと考えています。

――　再生と言いつつ編集に近いわけですが、編集機能としては、AIライブストーリーという機能もあったかと思います。こちらについてはいかがですか。

中川氏　洗練させて、人に見せたくなるよう「AIライブストーリーPro」に強化しています。プロが編集したような動画にすることで、よりシェアがしやすくなります。こちらも、プロの編集マンに、どんな手法でもいいからやってみてほしいと言い、アイデアを出してもらいました。1つ目がズームで、ここで見た目を大きく変えることができました。マルチフレームも、編集手法として映像にインパクトを与えることができるということで取り組みました。

ズームアップやマルチフレームに対応した「AIライブストーリーPro」

　これは、カメラやチップセットがハイパフォーマンスだからこそできることです。AQUOS R3のときは、いいシーンだけを抽出して15秒にまとめていましたが、AQUOS R5Gでは、いいシーンの中で被写体に寄ったり、マルチフレームをしたりするところまでやっています。