NVIDIA、GPT-3 175B 大規模言語モデルにおける次世代GPU「B100 Blackwell」の性能を予告

次世代HPCアクセラレータの最初の「グラフ」を公開。

B100とGB200 GPUは標準的なグラフィックス・プロセッサーではなく、従来のグラフィックス機能の領域を超えています。

これらのデータセンター・アクセラレータは、現在、複雑なタスクを引き受け、特に大規模言語モデルに関する技術革新に拍車をかけています。

エヌビディアは、勢いが増すと予想しており、2024年に正当な市場シェアを確保することを目指している。

同社は、B100 GPUが来年発売されることを確認している。SuperComputing 2023 Special Addressの最新のスライドでは、以前は明確に確認されていなかったものの、Blackwellが本当に来年デビューすることが確認されている。

なお、Blackwell HPCのニュースは、このアーキテクチャのゲーミングバージョンの可能性には移らないはずだ。

これは、このアーキテクチャの初期世代であるGB100のみを指している。

NVIDIAは、B100がGPT-3モデルの推論を大幅に向上させ、1,780億のパラメータを提供することを明らかにしている。

この改善は、既存のH200アーキテクチャがすでに提供しているものより、2倍以上になる可能性があります。

しかし、このグラフが明示的にラージ・ランゲージ・モデル（LLM）性能を強調している一方で、コアと電力効率が大幅に向上しない限り、これは必ずしも同レベルの生の計算能力にはならないことを明確にすることが重要です。

さらにNVIDIAは、B100ではメモリ帯域幅がさらに向上すると断言している。

現在のHopper GPUはすでにHBM3eテクノロジーを採用しており、最大4.8TB/秒の帯域幅を提供している。

今後登場するBlackwellチップは、この技術を引き続き採用し、場合によってはスタックを追加して帯域幅を向上させると予想される。

NVIDIAは、今年のGH200 GPUにHBM3eを統合することで示したように、将来のメモリ技術サポートを念頭に置いてアーキテクチャを設計するというコミットメントを強調している。

NVIDIAは、潜在的なゲーミングBlackwellアーキテクチャに関する詳細について沈黙を守っている。

しかし、RTX 5000シリーズ用のGB20xチップの新シリーズの可能性を示唆する憶測もありますが、正確なリリース時期はまだ明らかにされていません。

「Blackwell」という名称は、ゲーム理論、確率論、情報理論への貢献で知られるアメリカの統計学者・数学者であるDavid Harold Blackwellに由来することは注目に値する。

ブラックウェル・アーキテクチャーの後継者はまだ決まっていない。

NVIDIA GPUアーキテクチャ

解説：

Blackwellアーキテクチャーの大規模言語モデルにおける性能を予告

アーキテクチャーが同一とはいえ、今世代ではHopperに相当するモデルで純粋にゲームの性能が比例するわけではないと思います。

AMDもMi300Xが好調で、nVIDIAもHopperが好調ですので、特にゲーム用に関しては力を入れなくても問題ないと思っているのではないでしょうか。

私の気になるところとしては表を見るとAD104に相当するチップが無くなっています

つまりRTX5000は

・RTX5090

越えられない壁

・RTX5080

越えられない壁

・RTX5070

・RTX5060Ti

・RTX5060

上のようになるのではないかと思います。

RTX4090とRTX4080の間には越えられない位の壁がありましたが、RTX4070に相当するモデルが無くなり、RTX4060Ti=RTX5070になり一つずつ下にスライドしていくと考えた方がよいでしょう。

下位のモデルになればなるほど旧モデルからの性能向上率は下がっていき、RTX5060(本来はRTX5050に相当する)はラスタライズ性能はイーブンでDLSSで差をつけるというような感じになると思われます。

AD104に相当するGB104が存在しないというのはそう言う意味だと思います。

AIによるゲームの革新や未来像が示されていない中、ゲームにおける性能のウェイトは未だにラスタライズ性能によっています。

今の状態だと、下位のモデルの性能が底上げされてしまえば上位のモデルの意義が失われてしまうこともあって、nVIDIAにとって安価なモデルの性能を上げる意味と言うのは全くありません。

DLSSは新製品と旧製品の性能差をつけるために使われていますが、本来アップスケーラーと言うのは旧モデルが陳腐化していくことを防ぐためにも使えます。

実際AMDのFSR1/2はそのように使われてもいます。

しかし、それでは新製品が売れなくなってしまいますので、DLSSは今後も新製品のアドバンテージを広げるために使われていくのでしょう。

AI性能がゲームエンジンに取り入れられ、決め手になるのには今しばらく時間がかかると思います。

それまでは下位のGPUに性能向上の恩恵は小さくなるものと思われます。