「他社ではなかなか真似できない」――BRAVIAのノウハウを注入した「X-Reality for mobile」：開発陣に聞く「Xperia Z Ultra」（2）

[田中聡，ITmedia]

　厚さ6.5ミリのボディに6.4インチのディスプレイを搭載した、ソニーモバイルコミュニケーションズ製スマートフォン「Xperia Z Ultra」の開発陣に話を聞いていくシリーズの第2回では、スマートフォン向けには初めて搭載した「トリルミナスディスプレイ for mobile」と「X-Reality for mobile」の秘密に迫る。

• →実は“知っているサイズ”なんです――「Xperia Z Ultra」が6.4インチである理由
• →ソニーモバイル、6.4インチディスプレイ搭載の「Xperia Z Ultra」を発表
• →ちょっとだけ写真で見る「Xperia Z Ultra」

6.4インチディスプレイ搭載の「Xperia Z Ultra」。ボディカラーはBlack、White、Purpleの3色

ディスプレイ＋信号処理の合わせ技で美しく再生

　トリルミナスディスプレイとX-Realityは、いずれもソニーの液晶テレビ「BRAVIA」に搭載されており、これらをスマートフォン向けに応用してXperia Z Ultraに搭載した。トリルミナスディスプレイ for mobileでは色再現領域を大幅に拡大し、より自然で色彩豊かな表現が可能になる。ソニーの超解像技術を活用したX-Reality for mobileでは、映像を分析して失われた画素を復元することで、動画をより美しく再現できる。

　トリルミナスディスプレイ for mobileはハードウェアとして実装したが、X-Reality for mobileはソフトウェアで実装したもので、従来のXperiaシリーズに搭載されていた「モバイルブラビアエンジン2」の後継にあたる。ソニーモバイルは、これまでもソニーと連携して静止画や動画の画質向上に努めてきたが、Xperia Z Ultraでは、さらに進化を果たしたわけだ。

静かな話し口とは対照的に、話す内容は熱かった、X-Reality for mobile担当エンジニアの小坂氏。「画像処理屋からすると、（X-Reality for mobileで）かなりステップアップできました。お客様に見せることで『ワオ！』と言っていただけるので、これが当たり前になることを目指しました」

　これら2つの技術を搭載した背景はどこにあるのか。X-Reality for mobile担当エンジニアの小坂氏は「（Z Ultraの）大画面を生かせるよう、ソニーが持つ一番優れた技術を移植したいと思い、BRAVIAでうたっているトリルミナスディスプレイを入れようと検討しました」と話す。ただ、画面が大きくなるほど映像のアラが目立つので、信号処理でさらにきれいに見せられるよう、X-Realityも取り入れた。

　Xperia Z Ultraのディスプレイ解像度は1080×1920ピクセルなので、1080pの映像なら十分きれいに再生できるのでは？　と思ってしまうが、「1080pの映像でも、圧縮などの影響でリアリティが失われています」と小坂氏。「X-Realityの超解像技術では、データーベースを使っています。解像度のデータを何千パターンも持っていて、1フレームずつ解析をして置き換えるということを、ミリセカンドで実行しています」と続ける。同氏はディスプレイと信号処理を合わせて初めて、美しい映像を再生できると考える。「いくらディスプレイを頑張っても信号処理がおろそかだと、画質はいまひとつです。（水が流れる映像を見せて）水の質感は明らかに違いますよね。今までのモバイルブラビアエンジン2でも、しゃっきりさせる効果はありましたけど、超解像技術を使うことで、よりリアルに見せられます」

X-Reality for mobileオン／オフじの動画を同時に再生するデモアプリ。左がオン、右がオフ。左の方がくっきりかつ色鮮やかに再生されていることが分かる

ソニーモバイルのWebサイトから。映像を解析して、解像感、質感、輪郭、色、コントラスト、ノイズを最適化している

動画が取得できませんでした

チップの性能向上により、低消費電力で実現

　動画を1フレームごとに解析して復元するという処理は、内部には相当の負荷がかかるはずだが、消費電力は問題ないのだろうか。小坂氏によると、X-Reality for mobileの消費電力は、モバイルブラビアエンジン2と同等かそれよりも低くなることを絶対条件にしたそうだ。低消費電力に貢献したのが、新たに搭載したQualcommのチップセット「Snapdragon 800」だ。この新チップでは、X-Reality for mobileの超解像処理、コントラストエンハンスメント、カラーマネジメント、ノイズリダクションといった処理を、GPUで実現しているという。「GPUとCPUのコンビネーションで、最適にアルゴリズムを書き換えています」と小坂氏は補足する。

　従来のチップセットでもX-Reality for mobileは実現できるが、やはり消費電力が上がってしまうとのこと。このようにチップの性能が上がったことで、端末への負荷も抑えることができる。また、「ゲームをプレイして（本体が）熱くなるようなことは想定していません」（小坂氏）とのことで、熱処理も問題ないようだ。

X-Reality for mobileが有効になる動画の最大サイズは？

　X-Reality for mobileが有効になるのは動画再生時のみで、「ビデオ」アプリからの再生や、YouTubeなど一般的な動画再生アプリも対象になる。ただ、「動画を自らデコードするサードパーティ製のアプリは対象外」（小坂氏）とのこと。ちなみに、Snapdragon 800搭載デバイスでは、UHDの4K動画も再生可能だが、Xperia Z UltraのX-Reality for mobileが有効になる解像度はフルHD動画まで。「今回は（4Kには）対応していませんが、同じアルゴリズムをかけることができれば、同様にきれいになります。今後の未来は明るいと思っています（笑）」（小坂氏）

　静止画の再生に超解像技術を使わなかったのは、8メガピクセルや13メガピクセルなど、ディスプレイよりも大きな解像度のものを表示することが多いため。こうした画像は「縮小していてディテールはそれほど失われないので、今までのシャープネスフィルター（モバイルブラビアエンジン2）でも十分きれい」（小坂氏）と判断した。

　「アルバム」アプリから表示した静止画には、従来どおりモバイルブラビアエンジン2相当の処理がかかり、これに加えて、トリルミナスディスプレイ for mobileで色域が広がった。「今回はディスプレイが違うので、色域を広げるという社内の基準に合うように、絵作りを変えています。BRAVIAのチームと画質をチェックしていて、より多くの“マイスター（専門家）”が関わっています」（小坂氏）

One Sonyの実力を一気に見せつけてぶっちぎる

　X-Reality for mobileは、ソニーがBRAVIAで培ってきたノウハウと、ソニーモバイルがソニー・エリクソン時代から培ってきたノウハウが融合したことで実現。ソニーの技術を結集させた“One Sony”を体現した形だ。小坂氏は「BRAVIAのX-Realityのアルゴリズムを開発したチームと、画質関係のチームとの共同作業でした」と振り返る。画面サイズ、画面と視聴者との距離（テレビは数メートル離れているが、携帯電話は近い）など、テレビと携帯電話では再生環境がまったく違うので、テレビ用の技術をスマートフォンにそのまま入れることはできない。コンテンツも「テレビ番組、映画、YouTubeなど、あらるゆものを視聴することを想定した上で調整し、ゼロから始めた」（小坂氏）という。

　こうした苦労を経て完成したX-Reality for mobileの超解像技術は「他社さんではなかなか真似できないこと」と小坂氏は言い切る。「他社比較はしたくありませんが、絶対的な自信があります。ここまで違うんだよと。携帯電話は10年くらいしか歴史がありませんが、それよりも長く培ってきたBRAVIAのノウハウがあります。ノウハウだけを聞いて入れればいい……では到底できない技術。One Sonyの実力を一気に見せつけてぶっちぎりたいですね」と力強く語った。

　今後はモバイルブラビアエンジンのように、X-Reality for mobileもXperiaで標準的な機能になっていくのだろうか。小坂氏は「どの機種で、というのはまだはっきりしていませんが、位置付けとしては、モバイルブラビアエンジン、モバイルブラビアエンジン2、X-Reality for mobileと世代が変わっていくイメージです」と話す。プロダクトプランナーの市野氏は、「ベースのパフォーマンスも必要ですが、効果も高くて消費電力を抑えているので、モデルに合わせて入れられるところには、積極的に入れていきたい」と続ける。今後発売されるハイエンドなXperiaには、X-Reality for mobileが標準搭載される、と考えてよさそうだ。

---

　取材中にXperia Z Ultraのデモアプリで、X-Reality for mobileオン／オフの映像を1画面に再生したものを見せてもらったが、その違いは一目瞭然だった。Xperia Zなどに搭載されているモバイルブラビアエンジン2をオンにして表示した画像も、ほかの機種よりも明らかに色鮮やかで、見る楽しみを感じさせてくれた。Xperia Z Ultraでは、動画のユーザー体験をもう一段上げてくれることは間違いない。

（続く）

　※次回は機構設計の秘密を聞きます。

• →Zより薄い“6.5ミリ”を実現できた理由――「Xperia Z Ultra」の機構設計を聞く