同社は2018年に、ニューラルネットワークでレンダリングされた基本的な世界をデモした。
DLSSの将来のバージョンには、完全なニューラル・レンダリングが含まれる可能性が高いと、Nvidiaの応用ディープラーニング研究担当副社長であるブライアン・カタンザロは示唆した。
Digital Foundryが主催したラウンドテーブル・ディスカッション（動画）では、さまざまなゲーム業界の専門家がビジネスにおけるAIの将来について語った。
ディスカッションの中で、Nvidiaのカタンサロは、仮想の "DLSS 10 "のいくつかの重要な特徴を予測することをオープンにし、いくつかの眉をひそめた。
NvidiaのDLSSテクノロジーは、ここ数年で大きく発展してきた。RTX 20シリーズGPUで初めて発表されたとき、多くの人がTensorコアのような技術がゲーム用GPUに搭載されることの真価を疑問視した。
最初のレイトレーシング・ゲームとDLSSの最初のバージョンは、その価値が疑わしいものでした。
しかし、DLSS 2.Xでは技術が改善され、より有用になったため、より広く利用されるようになり、最初はFSR2、後にXeSSでコピーされるようになった。
DLSS 3はRTX 40シリーズグラフィックスカードでデビューし、フレームジェネレーションテクノロジーを追加した。
4倍のアップスケーリングとフレーム生成により、ニューラルレンダリングは、ゲームがピクセルの1/8（12.5%）だけを完全にレンダリングすることを可能にする可能性があります。
最近では、DLSS 3.5がRay Reconstructionテクノロジーを導入し、レイトレーシング・ゲーム用のノイズ除去アルゴリズムを改善しました。
上記のタイムラインは、NvidiaがDLSSの将来のバージョンで次に進むかもしれない場所についての疑問を提起している。
そしてもちろん、「ディープラーニング・スーパーサンプリング」は、過去2回の追加がレンダリングの他の側面をターゲットにしているため、もはや実際には当てはまらない。
Digital Foundryはグループに対してこのように質問した： 「DLSSの将来はどうなると思いますか？機械学習が良い方法で取り組める他の問題領域は？"
ブライアン・カタンザロはすぐに、フルニューラルレンダリングの話題を持ち出した。
このアイデアは、見た目ほど突飛なものではない。
Catanzaro氏は、2018年のNeurIPSカンファレンスで、Nvidiaの研究者がニューラルネットワークを使ってリアルタイムでレンダリングされるオープンワールドのデモをパネルで披露したことを思い出した。
そのデモでは、UE4ゲームエンジンがシーンにどのようなオブジェクトがあるか、どこにあるかなどのデータを提供し、ニューラルレンダリングが画面上のグラフィックスをすべて提供した。
2018年当時のグラフィックはかなり基本的なもので、「サイバーパンクに近いものではありませんでした」とカタンザロ氏は認めた。
とはいえ、この間のAI画像生成の進歩は目を見張るものがあった。
例えば、昨年のAI画像ジェネレーターのクオリティの飛躍を見てほしい。
Catanzaro氏は、2018年のデモがゲームにおける（ジェネレーティブ）AIの大きな成長分野を覗くものであることを示唆した。
「DLSS 10は（はるか遠い未来には）完全にニューラルレンダリングシステムになるだろう」と彼は推測する。
その結果、現在想像もつかないような「より没入感のある、より美しい」ゲームが生まれるだろう。
現在からDLSS 10までの間に、開発者がコントロール可能で、首尾一貫した、段階的なプロセスが見られるだろうとカタンサロは考えている。
開発者は現在、従来のゲームエンジンや2D/3Dレンダリング技術を使って、自分のビジョンを操縦できるツールの経験を積んでいる。
Nvidiaの副社長は、ジェネレーティブAIに対応した、きめ細かく制御された同様のツールが必要だと指摘した。
ゲームにおけるAIの未来に関するもうひとつの興味深い視点は、CD Projekt REDのアート担当副社長兼グローバル・アート・ディレクターであるJakub Knapikによって提供された。
Knapik氏は、Catanzaro氏が容易に信じられるジェネレーティブAIグラフィックスのビジョンについて、「私はめちゃくちゃ怖い」と率直に語った。
しかし彼は、グラフィックだけでなく、ゲームを楽しくするインタラクティブで没入感のある世界をAIが強化することに、より興奮しているようだった。
CDPRのシニア開発者は、現在、ゲームの90％は規定的なものだと指摘した。
これとは対照的に、彼はNvidiaの「Cyberpunky」のデモで、AIを搭載したインタラクティブなNPCが、AIを強化したより深いゲームへの窓を提供しているとして言及した。
Knapik氏はさらに、CDPRにとってストーリーは王道であり、今後AIを最大限に活用できるのはそこだと述べた。
カタンサロとクナピックの両氏は、開発者が創造的なビジョンを実現するためには、AIを広範囲にコントロールする必要があるという点で意見が一致したようだ。
Nvidiaの副社長は、「人々は、チャットのプロンプトからAAAゲームを思いつくことはできないだろう」とジョークを飛ばした。
私たちは今、それを見ることができます： 「想像してみてください： 企業に支配された暴力的な世界で、RPGの要素を取り入れたディストピア的な未来の一人称視点ゲームです」。
DLSS 10がリリースされる頃には、AIが生成するビジュアルを駆使したゲームエンジンが、より優れたリアルタイムのグラフィックス品質とパフォーマンスを実現し、AIによって強化されたキャラクター、ストーリー、環境が、まったく新しいカテゴリのメディアになる可能性がある。
解説：
「DLSS10」はニューラルレンダリング」となる。
ここで言う「DLSS10」は本当にバージョン10ではなく、「遠い未来」くらいの意味だと思います。
「ニューラル・レンダリング」がどのようなものなのかちょっと想像がつきませんが、「ラスタライズとレイトレーシングを置き換える」とあるので、本当にGPUの演算コアやレンダリングパイプラインを必要としないのもかしれません。
だとすると、もう本当にある時点を境にTensorコアのみを強化して、従来のGPUコアの必要性はほとんどなくなるということになります。
GPUが無くてもTensorコア、ニューラルエンジンだけあればレンダリングの出力結果を得られる世界と言うのは全く想像がつきませんが、これが本当の未来だとすると、GPUの概念は全く変わってしまうかもしれませんね。
私もROCmのセットアップスクリプトを通じてAI/MLプログラムの進化の速さを痛感しています。
初期には使い物にならなかったようなプログラムでも半年ほどで全く変わってしまいました。
AI/ML用途では一世代変わると性能が全く変わってきます。
例えば、ROCmで言えばRDNA2とRDNA3の性能は全く違います。
RX6950XTとRX7900XTXと言うフラッグシップ同士で比較すると倍違うと思います。
そうした技術の進歩が速い世界ですから、将来的にはnVIDIAの技術者の言うとおりにレンダリングするのにGPUコアが必要ないという世界がやってくるのかもしれません。
とりあえず、Switch2にフレームジェネレーションが実装されれば、それを通じて多くの人が未来を体感できるかもしれません。
nVidia RTX4000SUPER
nVidia RTX4000
nVidia RTX3000シリーズGPU
RTX3060 12GB GDDR6
RTX3050 6GB
