ネイティブ超えの新DLSSを追加――NVIDIAが「GeForce Experience」をアップデート Radeonでも使える超解像技術も公開（2/2 ページ）

[西川善司，ITmedia]

DLSS 2.3は何が変わった？

　今回の発表では、GeForce RTXシリーズ向けの「DLSS 2.3」も発表されている。

　DLSSは、NVIDIAが2018年から提供しているGeForce RTXシリーズ専用の超解像技術だ。GeForce RTXシリーズに内包された推論アクセラレータ「Tensorコア」を活用し、深層学習型AIを使って映像の超解像処理を行っていることが特徴だ。

DLSSに対応する大型ゲームタイトルは多い

DLSS対応ゲームタイトルが増えた背景には、「Unity」「Unreal Engine」といったゲームエンジンが対応していることもありそうである

　先述の通り、DLSSは深層学習型AIを用いるため「学習データ」が欠かせない。このデータは、NVIDIAのGPUサーバを用いて膨大な数の典型的なゲーム映像の「基準解像度版フレーム」と「高解像度版フレーム」の相関性を学習させることで生成されている。この学習データを使って、DLSSは動作中のゲームに対してリアルタイムにフレーム単位で映像の超解像処理を行っていく。

　超解像処理では、解像度を復元する際に手がかりとなる映像フレームの解析が欠かせない。先述のISSやFSRでは、解析するフレームが「現在の1枚のみ」なのに対して、DLSSでは過去のフレームもさかのぼって参照する。これにより、非常に高品位な超解像処理を実現している。

　DLSSによる超解像処理は、市販されている最新ハイエンドTVのそれと同等かそれ以上の技術レベルのものだ。「ゲームの映像に特化した学習データを持っていること」と「学習データや処理アルゴリズムを随時アップデートしていること」という2点はDLSS固有の強みで、高品位な超解像処理に直結している。

DLSSの超解像処理（上）とISSやFSRの超解像処理（下）の概念を模式的に表したスライド。過去のフレームも参照していることと、深層学習型AIを用いていることがDLSSの高画質を支えている

　今回のDLSSのバージョンアップについて、NVIDIAの担当者は学習データをアップデートしたかどうかには言及していない。一方で、大きな改善点として「速度ベクトルに基づいた過去フレームの参照方法を改善した」と述べている。このあたりを解説するには、前提となる基本情報を整理する必要がある。

　そもそも超解像処理とは「現在の画像において失われてしまった解像度を復元する」という視点（立場）で画像処理を行っている。先に触れた通り、ISSやFSRでは単一のフレームから、DLSSは過去のフレームまでさかのぼって「失われた解像度の情報」を見いだす。

　「過去のフレームまでさかのぼって」と口にするのは簡単だ。しかし、画面全体のピクセル（画素）の移動方向と移動量（すなわち「移動ベクトル」）を演算するのはたやすいことではない。

　画面上のピクセル単位の変移分布は、近代のゲームグラフィックス描画パイプラインでは「ベロシティーマップ」と呼ばれ、モーションブラーの生成などに用いられることが多い。で、このベロシティーマップを生成するためには、画面に描画される1つ1つの3Dオブジェクトのポリゴン単位の変移（形状の変化や移動など）を追跡する必要がある。この追跡は、ゲームプログラムから見て完全な“外様”となるGeForceのグラフィックスドライバーでは把握できない。よって、ベロシティーマップはゲーム側で生成してもらう必要がある。DLSSがGeForce Experienceから利用できず、ゲーム側に機能を統合する必要があるのは、この辺りが理由だ。

　「ベロシティーマップはゲーム側で生成してもらう」という点にも、実は課題がある。DLSSがゲームから受け取ったベロシティーマップが必ずしも正確とは限らないのだ。一部のDLSS対応ゲームにおいて、特に速く動く動体の周辺で残像……というか分身のような描画が行われる問題が発生しているが、その原因は不正確なベロシティーマップにあるのだ。

　「え、何で不正確なベロシティーマップを作ってしまうの？」と思う人もいるはずなので少し解説すると、一部のゲームでは、処理負荷を軽減する観点からゲーム性（ゲームメカニクス）に関係しない“にぎやかし”のオブジェクト（破片や火の粉など）をベロシティーマップに含めなかったり、含めたとしてもマッピングを“大ざっぱ”にしてしまったりすることがあるのだ。

　さらに、遮蔽（しゃへい）物から突然飛び出す動体や、逆に遮蔽物に突然隠される動体（壁裏から飛び出たり飛び入ったりするボールなど）もベロシティーマップ上は厄介な存在である。これらの動体は、連続したベロシティーマップ上では断続的な移動ベクトルとなって現れる。そのため、DLSSの特徴である過去フレームの参照を妨げてしまうことがあるのだ。

　少し長くなったが、今回バージョンアップされたDLSS 2.3では、ゲーム側から渡されるベロシティーマップの参照アルゴリズムを変更し、ワーストケース（不正確なデータが渡されること）を想定した柔軟性を持たせたということである。

「サイバーパンク2077」に対しDLSSを適用した際のひとコマ。DLSS 2.1（旧バージョン）では、高速に移動する車のサイドミラーに残像が出現してしまっているが、DLSS 2.3（新バージョン）ではこれが改善していることが分かる

「DOOM ETERNAL」に対しDLSSを適用した際のひとコマ。DLSS 2.1では高速に舞い上がる火の粉に残像が出てしまっているが、DLSS 2.3ではこれが改善している

　ここまでの話を踏まえた上で、下の画面ショットを見ていただきたい。左からネイティブ4K映像、FSRの「Ultra」モードによる4K化映像、ISSの「Ultra」モードによる4K化映像、DLSSによる4K化映像である。

　原理が近しいこともあり、FSRとISSの品質はほぼ同等という印象を受ける。ネイティブ4K映像にはかなわないが「よく頑張ってるな」といえる結果だろう。

　それを踏まえて、右端のDLSSの結果を見てほしい。ネイティブ4Kですら読めなかった文字が、DLSSの超解像映像では何とか読めるレベルになっているのだ。適切な解像度修復情報がより多く集められることで実現された性能というわけだ。

　DLSS 2.3のクオリティーは、「藤井聡太のAI超え」ならぬ、「DLSS（AI）によるネイティブ超え」といったところである。

「Necromunda: Hired Gun」の画面ショットの抜粋

今回の発表でNVIDIAは何を伝えたかったのか？

　今回の発表における主役は、どちらかといえばNVIDIA ISSであったはずである。しかし同社の担当者はDLSSはISSやFSRよりも技術レベルが高く、超解像処理の品質もはるかに上であるという旨を強調していた。

　事実、同社が用意したサンプル（比較）映像の多くはFSRとDLSS 2.3を比較したものだった。下に挙げる映像は、そのほんの一部である。

Necromunda: Hired Gun（FSR、Ultra、1440p）

Necromunda: Hired Gun（DLSS 2.3、Performance、1440p）

Chernobylite（FSR、Ultra、1440p）

Chernobylite（DLSS 2.3、Performance、1440p）

　DLSSでは、ISSやFSRのように単一フレームに対する空間方向への探査アルゴリズムに留まらず、過去フレーム（時間方向）にまで画像解析を行った上で、AIベースの推論処理を加えて超解像処理を行う。画質面で差が出ることは、ある意味でやむを得ないことである。

「DEATHLOOP」の映像。左はネイティブ4K、中央がISSによる超解像4K、右はDLSS 2.3による超解像4Kだが、中央付近にある球体が一番きめ細かく見えるのはDLSS 2.3による映像である

ISSのUltraモードとDLSSのPerformanceモードの比較。DLSSの方が品質も高く、フレームレートも優秀だ

　DLSS 2.3推しが見え隠れする中で、それでもNVIDIAがISSをGeForce Experienceに実装し、さらにはクロスプラットフォーム利用を前提とする単体SDKをわざわざリリースしてきたのは、競合であるAMDが6月にFSRを発表したことを意識したものと思われる。「NVIDIAにもクロスプラットフォーム対応の“典型的な”超解像処理技術はありますよ」とアピールしたかったのだろう。

　今回の発表に合わせて、NVIDIAはDLSSやISSの品質を検証できる「Image Comparision & Analysis Tool（ICAT)」という独自ツールをリリースした。このツールを使った画質の検証は、別記事で紹介したい。楽しみにしていてほしい。

NVIDIAが開発した画質比較ツール「Image Comparision & Analysis Tool」を使った検証は後日実施する