プロセスの改善は、過去10年間のGPU推論性能の1,000倍向上よりもはるかに重要ではないと主張されている。
ムーアの法則が減速しているのか、適用可能なままなのか、あるいは2020年代には死んでいるのか生きているのかが議論される中、エヌビディアの科学者たちは、黄の法則の背後にある素晴らしい勢いを予告している。
過去10年間で、Nvidia GPUのAI処理能力は1000倍に成長したと言われている。
ファンの法則は、「シングルチップの推論性能」において見られるスピードアップが、現在も衰えることなく続くことを意味している。
Nvidiaは金曜日にファンの法則に関するブログ記事を発表し、その信念と背後にある作業方法の概要を説明した。
Nvidiaのチーフ・サイエンティストであるビル・ダリーは、「ポスト・ムーアの法則の時代におけるコンピューター性能の提供方法における地殻変動」と表現しているが、興味深いことに、これは主に人間の創意工夫に基づいている。
この特性は、法則を確立するにはやや予測不可能に思えるが、ダリーは、以下の印象的なチャートは、ファンの法則の始まりに過ぎないと考えている。
ダリーの最近のHot Chips 2023カンファレンスの講演によると、上のグラフは過去10年間でGPUのAI推論性能が1000倍になったことを示している。
興味深いことに、ムーアの法則とは異なり、プロセスの微細化はフアンの法則の進展にほとんど影響を与えていない、とNvidiaのチーフ・サイエンティストは述べた。
ダリーは、Nvidia GPUの基礎となる数値処理を変更することで16倍の利得が得られたことを回想する。
トランスフォーマー・エンジンを搭載したNvidia Hopperアーキテクチャの登場によって、さらに大きなブーストがもたらされた。
Hopperは、8ビットと16ビットの浮動小数点演算と整数演算をダイナミックに組み合わせて使用することで、12.5倍の性能向上を実現し、エネルギーも節約できるとしている。
以前、Nvidia Ampereは構造的なスパース性を導入し、2倍の性能向上を実現したと科学者は述べた。
NVLinkやNvidiaのネットワーキング技術などの進歩が、これらの目覚ましい向上をさらに後押ししている。
ダリーの主張の中で最も眉唾ものだったのは、AI推論性能の1000倍を超える複合的な向上は、プロセスの改善に起因する向上とは対照的だということだ。
過去10年間、Nvidia GPUが28nmプロセスから5nmプロセスへと移行する中で、半導体プロセスの改善は「総利益の2.5倍しか占めていない」とHot ChipsのDally氏は主張した。
新鮮な食材を発明し、検証する創意工夫と努力」といったコンセプトを背景に、黄の法則はどのように前進していくのだろうか？
ありがたいことに、ダリー氏と彼のチームは、AIの推論処理を加速させるための「いくつかの機会」をまだ見出している。
探索すべき手段としては、「数値の表現方法をさらに単純化すること、AIモデルにさらなるスパース性を持たせること、より優れたメモリと通信回路を設計すること」などが挙げられる。
ソース：Tom's Hardware - Nvidia Outlines Jensen 'Huang's Law' of Computing
解説：
イタタ・・・ついに社長の名前の法則を作ってしまいました。
PC業界の法則で有名なものは「ムーアの法則」がありますが、あれは、もっとアカデミックなものでちゃんとした論文が元になっています。
また、論文はムーア氏がIntelを立ち上げる前のもので、肩書が無くても実力で注目されていたということです。
ブログ記事を元にして社長の名前の法則を付けるのは自己顕示欲が強すぎてちょっと痛い感じですね。
EUでも反トラスト法の調査が始まり、amazonは米国のFTCに目を付けられています。
最近テック大手に関する各国の潮目が変わってきたように思います。
それを知ってか知らずかnVIDIAは今日も絶好調ですね。
内容に関しては、主張の通りと私も思います。
もともと初代DLSSがロンチされた時、RTX2080Tiの13.6TFLOPSがDLSSとレイトレーシングによって44.8TFLOPS相当の演算性能に匹敵するとnVIDIAは主張していました。
DLSSは出始めだったので、私は「昔ベンチマークで不正を行ったnVIDIAがまーたフカシこいてやがる」と思ったものです。
その後、AI/MLをフル活用すると理論演算値を超える処理が出来るというのは当たり前になり、私は認識を改めました。
苦い思い出ですね(苦笑。
さて、ここまでは批判的に書いてきましたが、内容に関しては私もnVIDIAが主張している通りで、AI/MLの世界においてはある一定レベルの学習を行うと推論の精度が一気に上がり、トランジスタ数から絞り出せる理論演算値を完全に超える処理を行うことが出来ると思います。
決め手になるのはAI処理性能と学習データ+推論の精度だと思います。
ソフトウェアの力が入っていますので、トランジスタ数から絞り出せる理論演算値を超えることが出来るのはそれが理由だと思います。
ゲーマーにとって重要なのはここからで、今後は一定レベルのAI性能があれば、スマホの内蔵GPUのような小規模のGPUであっても今のAAAタイトルのようなゲームをプレイ可能になるということです。
DLSSは仕組みとしてスーパーコンピューターで作成したモーションベクターを利用してアップスケールしますので同じAI補完しているアップスケーラーのXeSSよりもオーバーヘッドが小さく、このような処理に非常に向いています。
今後は、GPUの性能でどんなゲームが動作させられるかを語る時代は終わる可能性が非常に高いということです。
特にフレームジェネレーションはフレームを生成するのに従来のようなGPU処理を行っていないので、AMDもフレームジェネレーションを実装した今、その傾向はどんどん強くなっていくと思います。
22から23年にかけてがゲーム性能がAI性能に依存する時代の始まりになると思います。
※ 正しくはDLSSがロンチされた2018年だと思いますが、決め手になったのはフレームジェネレーションだと私は思います。
ゲーム系のインフルエンサーや情報発信をされている方は、自分の認識を時代に合わせてアップデートされたほうが良いと思います。
nVidia RTX4000SUPER
nVidia RTX4000
nVidia RTX3000シリーズGPU
RTX3060 12GB GDDR6
RTX3050 6GB
