GPU情報

NVIDIA Hopper GH100 GPUを発表。世界初・最速の4nmデータセンターチップ、最大4000TFLOPsの演算性能、HBM3 3TB/sのメモリを実現

更新日:

NVIDIAは、全く新しい4nmプロセスノードを採用した次世代データセンター用パワーハウス、Hopper GH100 GPUを正式に発表しました。このGPUは、800億個のトランジスタを持つ絶対的なモンスターであり、市場のあらゆるGPUの中で最速のAIおよびコンピュート馬力を提供します。

NVIDIA Hopper GH100 GPUの公式発表。初の4nm&HBM3搭載データセンターチップ、800億トランジスタ、最大4000TFLOPsの馬力を持つ地球上で最速のAI/Compute製品

HopperアーキテクチャをベースにしたHopperは、最先端のTSMC 4nmプロセスノードで生産される工学的な驚異のGPUです

GPUです。

Hopper GH100は、これまでのデータセンター向けGPUと同様に、人工知能(AI)、機械学習(ML)、深層ニューラルネットワーキング(DNN)、およびHPCに焦点を当てた様々なコンピューティングワークロードをターゲットにしています。

※ 画像をクリックすると、別Window・タブで拡大します。

 

GPUは、すべてのHPC要件に対するワンゴー・ソリューションであり、そのサイズと性能の数字を見れば、1つのモンスター・チップと言えます。

新しいストリーミング・マルチプロセッサ(SM)は、多くのパフォーマンスと効率性を改善しました。主な新機能は以下の通りです。

 

  • 新しい第4世代のTensor Coreは、SM単位の高速化、SM数の追加、H100の高クロックを含め、A100と比較してチップ間が最大で6倍高速化されています。SM単位では、前世代の16ビット浮動小数点オプションと比較して、同等のデータ型でA100 SMの2倍のMMA(Matrix MultiplyAccumulate)演算レート、新しいFP8データ型を用いたA100の4倍のレートをTensor Coresは実現しています。Sparsity機能は、深層学習ネットワークにおけるきめ細かい構造化されたスパース性を利用し、標準的なTensor Core演算の性能を2倍に向上させることができます。
  • 新しいDPX命令は、ダイナミックプログラミングアルゴリズムをA100 GPUに比べて最大7倍高速化します。その例として、ゲノム処理のためのSmith-Watermanアルゴリズムと、動的な倉庫環境におけるロボット群の最適経路を見つけるために使用されるFloyd-Warshallアルゴリズムが挙げられます。
    IEEE FP64 および FP32 の処理速度が、A100 と比較してチップ間比で 3 倍高速化。
  • 新機能スレッド・ブロック・クラスターにより、1つのSM上の1つのスレッド・ブロックよりも大きな粒度で局所性をプログラムにより制御することができます。これは、CUDA プログラミング モデルを拡張するもので、プログラミング階層にもう 1 つのレベルを追加し、スレッド、スレッド ブロック、スレッド ブロック クラスタ、およびグリッドを含むようにします。クラスターでは、複数の SM で同時に実行される複数のスレッドブロックを同期させ、共同でデータをフェッチおよび交換することができます。
  • 新しい非同期実行機能として、グローバルメモリと共有メモリ間で大きなデータブロックを非常に効率的に転送できる新しい Tensor Memory Accelerator (TMA) ユニットが含まれています。TMA は、クラスタ内のスレッドブロック間の非同期コピーもサポートします。また、アトミックなデータ移動と同期を行うための新しい非同期トランザクションバリアも用意されています。
  • 新しいTransformer Engineは、Transformerモデルの学習と推論を高速化するために特別に設計されたソフトウェアとカスタムHopper Tensor Coreテクノロジーの組み合わせを使用します。Transformer Engineは、FP8と16ビットの計算をインテリジェントに管理し、動的に選択することで、各レイヤーにおけるFP8と16ビット間のリキャストとスケーリングを自動的に行い、最大9倍のAIトレーニングと最大30倍の高速化を達成します。大規模言語モデルにおけるAI推論を前世代のA100と比較して高速化。
  • HBM3メモリサブシステムにより、前世代と比較して約2倍の帯域幅を実現。H100 SXM5 GPUは、クラス最高レベルの3TB/秒のメモリ帯域幅を実現するHBM3メモリを搭載した世界初のGPUです。
  • 50 MBのL2キャッシュ・アーキテクチャは、モデルやデータセットの大部分をキャッシュして繰り返しアクセスできるようにし、HBM3へのトリップを低減します。
  • NVIDIA H100 Tensor Core GPU アーキテクチャを A100 と比較。MIGレベルのTrusted Execution Environments (TEE)によるConfidential Computing機能が初めて提供されるようになった。最大7つのGPUインスタンスがサポートされ、それぞれが専用のNVDECとNVJPGユニットを備えています。各インスタンスには、NVIDIA開発者ツールで動作する独自のパフォーマンスモニタのセットが含まれるようになりました。
    新しいコンフィデンシャル・コンピューティングのサポートは、ユーザデータの保護、ハードウェアおよびソフトウェア攻撃からの防御、仮想化およびMIG環境におけるVM同士の分離と保護を強化します。H100は、世界初のネイティブConfidential Computing GPUを実装し、Trusted Execution EnvironmentをPCIeフルラインレートのCPUで拡張します。
  • 第4世代のNVIDIA NVLink®は、PCIe Gen 5の7倍の帯域幅で動作するマルチGPU IO用の900GB/秒の総帯域幅で、前世代のNVLinkに比べて、all-reduceオペレーションで3倍の帯域幅の増加、一般帯域幅で50%の増加を実現しています。
    第3世代のNVSwitchテクノロジーには、サーバー、クラスタ、およびデータセンター環境において複数のGPUを接続するために、ノードの内側と外側の両方に存在するスイッチが含まれています。ノード内の各NVSwitchは、第4世代NVLinkリンクを64ポート提供し、マルチGPU接続を加速させます。スイッチの総スループットは、前世代の7.2 Tbits/secから13.6 Tbits/secに向上しています。新しい第3世代のNVSwitch技術は、マルチキャストとNVIDIA SHARPのインネットワーク削減による集団操作のためのハードウェアアクセラレーションも提供します。
  • 新しいNVLinkスイッチシステムの相互接続技術と第3世代NVSwitch技術に基づく新しい第2レベルNVLinkスイッチは、アドレス空間の分離と保護を導入し、最大32ノードまたは256GPUを、2対1のテーパーファットツリートポロジーでNVLink上に接続できるようにします。これらの接続されたノードは、57.6TB/秒の全帯域幅を実現し、FP8スパースAIコンピュートで1エクサフロップという驚異的な処理能力を提供することができます。
  • PCIe Gen5は、Gen4 PCIeの64GB/秒の総帯域幅(各方向32GB/秒)に対し、128GB/秒の総帯域幅(各方向64GB/秒)を提供します。PCIe Gen 5により、H100は最高性能のx86 CPUおよびSmartNIC/DPU(データ処理ユニット)とのインターフェイスが可能になります。

だから仕様に来る、NVIDIA Hopper GH100 GPU は、大規模な 144 SM (ストリーミング マルチプロセッサ) チップ レイアウトで構成されています、合計 8 GPC で紹介されていることです。これらの GPC は、さらに各 2 SM ユニットで構成されている 9 TPC の合計を揺する。

これにより、1GPCあたり18個のSMを搭載し、8GPC構成全体では144個となります。

各 SM は最大 128 個の FP32 ユニットで構成され、合計 18,432 個の CUDA コアを提供することになります。以下は、H100チップに期待される構成の一部です。

GH100 GPUのフル実装には、以下のユニットが含まれます:

  • 8GPC、72TPC(9TPC/GPC)、2SMs/TPC、144SMs/フルGPU
  • 128 FP32 CUDA コア/SM、18432 FP32 CUDA コア/フル GPU
  • 第4世代Tensorコア(SMあたり4個、フルGPUあたり576個
  • 6個のHBM3またはHBM2eスタック、12個の512ビットメモリコントローラ
  • 60MB L2キャッシュ
  • 第4世代のNVLinkとPCIe Gen 5

SXM5ボードフォームファクタのNVIDIA H100 GPUは、以下のユニットを搭載しています:

  • 8 GPC、66 TPC、2 SMs/TPC、132 SMs/GPU。
  • 128 FP32 CUDAコア/SM、16896 FP32 CUDAコア/GPU
  • 第4世代Tensorコア 4個/SM、528個/GPU
  • 80 GB HBM3、5 HBM3スタック、10 512ビットメモリコントローラ
  • 50MB L2キャッシュ
  • 第4世代のNVLinkとPCIe Gen 5

PCIe Gen 5ボードのフォームファクタを持つNVIDIA H100 GPUには、以下のユニットが含まれています:

  • GPUあたり7または8のGPC、57のTPC、2 SMs/TPC、114 SMs
  • 128 FP32 CUDA コア/SM, 14592 FP32 CUDA コア/GPU
  • 第4世代Tensorコア(SMあたり4個)、GPUあたり456個
  • 80 GB HBM2e、5 HBM2eスタック、10 512ビットメモリコントローラ
  • 50MB L2キャッシュ
  • 第4世代のNVLinkとPCIe Gen 5

これはGA100 GPUのフル構成と比較して2.25倍の増加です。NVIDIAは、Hopper GPUのFP64、FP16、Tensorコアの数を増やして、性能を大幅に向上させることも考えている。

また、IntelのPonte Vecchioも1:1のFP64を搭載すると見られており、これに対抗するためには必要不可欠なものとなっている。

※ 画像をクリックすると、別Window・タブで拡大します。

 

キャッシュもNVIDIAが力を入れている部分であり、Hopper GH100GPUでは48MBに増強されています。

これは、Ampere GA100 GPUに搭載された50MBキャッシュの20%増で、AMDのフラッグシップMCM GPUであるAldebaranのMI250Xの3倍のサイズとなる。

NVIDIA の GH100 Hopper GPU は、FP8 で 4000TFLOPs、FP16 で 2000TFLOPs、TF32 で 1000TFLOPs、FP64 で 60 TFLOPs の演算性能を提供する予定です。

この記録的な数値は、それ以前のすべてのHPCアクセラレータを凌駕するものです。

ちなみに、FP64演算では、NVIDIA社の自社製GPU「A100」の3.3倍、AMD社の「Instinct MI250X」の28%に相当する高速化を実現しています。

FP16では、A100の3倍、MI250Xの5.2倍と、文字通り桁違いの速さです。

NVIDIA GH100 GPUのブロック図:

※ 画像をクリックすると、別Window・タブで拡大します。

 

第4世代NVIDIA Hopper GH100 GPU SM(Streaming Multiprocessor)の主な特徴は以下の通りです:

  • SM単位の高速化、SM数の追加、H100の高クロックを含め、A100と比較してチップ間が最大6倍高速化されています。
  • Tensor Cores は、SM 毎に、同等のデータ型において A100 SM の 2 倍の MMA (Matrix Multiply-Accumulate) 計算速度、新しい FP8 データ型を使用して、前世代の 16 ビット浮動小数点オプションと比較して、A100 の 4 倍の計算速度を実現しています。
  • Sparsity機能は、深層学習ネットワークにおけるきめ細かい構造化されたスパース性を利用し、標準的なTensorコア演算の性能を2倍に向上させる。
  • 新しいDPX命令は、ダイナミックプログラミングアルゴリズムをA100 GPUに比べて最大7倍高速化します。その例として、ゲノム処理のためのSmith-Watermanアルゴリズムと、動的な倉庫環境におけるロボット群の最適経路を見つけるために使用されるFloyd-Warshallアルゴリズムが挙げられます。
  • IEEE FP64およびFP32の処理速度がA100比でチップ間3倍速い。これは、SMあたりのクロックが2倍速いことに加え、H100ではSM数が増え、クロックが高くなったためである。
  • 共有メモリとL1データキャッシュを合わせて256KB、A100の1.33倍。
  • 新しい非同期実行機能には、グローバルメモリと共有メモリ間で大きなデータブロックを効率的に転送できる新しいTensor Memory Accelerator(TMA)ユニットが含まれています。TMAは、クラスタ内のスレッドブロック間の非同期コピーもサポートしています。また、アトミックなデータ移動と同期を行うための新しい非同期トランザクションバリアも用意されています。
  • 新しいスレッドブロッククラスター機能は、複数のSMにまたがるローカリティの制御を公開します。
  • Distributed Shared Memoryは、複数のSMの共有メモリブロックにまたがるロード、ストア、アトミックについて、SM間の直接通信を可能にする。

NVIDIA GH100 SMブロック図:

※ 画像をクリックすると、別Window・タブで拡大します。

 

メモリについては、NVIDIA Hopper GH100 GPUは、6144ビットのバスインターフェイスで動作し、A100のHBM2eメモリサブシステムに比べて50%増となる最大3TB/sの帯域幅を提供する全く新しいHBM3メモリを搭載しています。

各H100アクセラレータは80GBのメモリを搭載しますが、将来的にはA100 80GBのように2倍のメモリ容量構成になることが予想されます。

※ 画像をクリックすると、別Window・タブで拡大します。

 

このGPUは、最大128GB/秒の転送速度を持つPCIe Gen 5準拠と、900GB/秒のGPU間相互接続帯域幅を提供するNVLINKインターフェイスも備えています。

Hopper H100チップ全体では、4.9 TB/秒という驚異的な外部帯域幅を実現しています。

このモンスター性能のすべてが、700W(SXM)パッケージで提供されています。

PCIeバージョンは、最新のPCIe Gen 5コネクタを装備し、最大600Wの電力を可能にしますが、実際のPCIeバージョンは、TDP 350Wで動作します。

NVIDIA Hopper GH100コンピュート

GPUKepler
GK110
Maxwell
GM200
Pascal
GP100
Volta
GV100
Ampere
GA100
Hopper
GH100
実行環境
デバイス世代
456789/0
ワープ辺りの
スレッド数
323232323232
最大ワープ数 / マルチプロセッサー646464646464
最大スレッド数 / マルチプロセッサー2,0482,0482,0482,0482,0482,048
最大スレッド
ブロック数 / マルチプロセッサー
163232323232
大罪32bit
レジスタ数 / SM
65,53665,53665,53665,53665,53665,536
最大レジスタ数
/ ブロック
65,53632,76865,53665,53665,53665,536
最大レジスタ数
/ スレッド
255255255255255255
最大スレッド
ブックサイズ
1,0241,0241,0241,0241,0241,024
CUDAコア数
/ SM
192128646464128
共有メモリサイズ /
SM 構成 (bytes)
16K/32K/48K96K64K96K164K228K

NVIDIA Ampere GA100 GPUベースのA100のスペック:

NVIDIA Tesla
グラフィック
カード
NVIDIA H100
(SMX5)
NVIDIA H100
(PCIe)
NVIDIA A100
(SXM4)
NVIDIA A100
(PCIe4)
Tesla V100S
(PCIe)
Tesla V100
(SXM2)
Tesla P100
(SXM2)
Tesla P100
(PCI-Express)
Tesla M40
(PCI-Express)
Tesla K40
(PCI-Express)
GPUGH100
(Hopper)
GH100
(Hopper)
GA100
(Ampere)
GA100
(Ampere)
GV100 (Volta)GV100 (Volta)GP100
(Pascal)
GP100
(Pascal)
GM200 (Maxwell)GK110
(Kepler)
製造プロセス4nm4nm7nm7nm12nm12nm16nm16nm28nm28nm
トランジスタ数800億800億542億542億211億211億153億153億80億71億
GPUダイサイズ814mm2814mm2826mm2826mm2815mm2815mm2610 mm2610 mm2601 mm2551 mm2
SM数132114108108808056562415
TPC数66575454404028282415
SM当りのFP32
CUDA コア数
128128646464646464128192
FP64 CUDA
コア数 / SM
128128323232323232464
FP32 CUDA
コア数
16,89614,5926,9126,9125,1205,1203,5843,5843,0722,880
FP64 CUDA
コア数
16,89614,5923,4563,4562,5602,5601,7921,79296960
Tensorコア数528456432432640640N/AN/AN/AN/A
テクスチャ
ユニット数
528456432432320320224224192240
ブースト
クロック
不明不明1410 MHz1410 MHz1601 MHz1530 MHz1480 MHz1329MHz1114 MHz875 MHz
TOP数
(DNN/AI)
2000 TOPs
4000 TOPs
1600 TOPs
3200 TOPs
1248 TOPs
2496 TOPs with Sparsity
1248 TOPs
2496 TOPs with Sparsity
130 TOPs125 TOPsN/AN/AN/AN/A
FP16演算性能2000 TFLOPs1600 TFLOPs312 TFLOPs
624 TFLOPs with Sparsity
312 TFLOPs
624 TFLOPs with Sparsity
32.8 TFLOPs30.4 TFLOPs21.2 TFLOPs18.7 TFLOPsN/AN/A
FP32演算性能1000 TFLOPs800 TFLOPs156 TFLOPs
(19.5 TFLOPs standard)
156 TFLOPs
(19.5 TFLOPs standard)
16.4 TFLOPs15.7 TFLOPs10.6 TFLOPs10.0 TFLOPs6.8 TFLOPs5.04 TFLOPs
FP64演算性能60 TFLOPs48 TFLOPs19.5 TFLOPs
(9.7 TFLOPs standard)
19.5 TFLOPs
(9.7 TFLOPs standard)
8.2 TFLOPs7.80 TFLOPs5.30 TFLOPs4.7 TFLOPs0.2 TFLOPs1.68 TFLOPs
メモリインター
フェイス
5120-bit HBM2e5120-bit HBM36144-bit HBM2e6144-bit HBM2e4096-bit HBM24096-bit HBM24096-bit HBM24096-bit HBM2384-bit GDDR5384-bit GDDR5
メモリ容量最大80 GB HBM3 @ 3.0 Gbps最大80 GB HBM2e @ 2.0 Gbps最大 40 GB HBM2 @ 1.6 TB/s
最大80 GB HBM2 @ 1.6 TB/s
最大 40 GB HBM2 @ 1.6 TB/s
最大 80 GB HBM2 @ 2.0 TB/s
16 GB HBM2 @ 1134 GB/s16 GB HBM2 @ 900 GB/s16 GB HBM2 @ 732 GB/s16 GB HBM2 @ 732 GB/s
12 GB HBM2 @ 549 GB/s
24 GB GDDR5 @ 288 GB/s12 GB GDDR5 @ 288 GB/s
L2 キャッシュ51200 KB51200 KB40960 KB40960 KB6144 KB6144 KB4096 KB4096 KB3072 KB1536 KB
TDP700W350W400W250W250W300W300W250W250W235W

ソース:wccftech - NVIDIA Hopper GH100 GPU Unveiled: The World’s First & Fastest 4nm Data Center Chip, Up To 4000 TFLOPs Compute, HBM3 3 TB/s Memory

 

 

 

解説:

Hopperは5nmではなく、4nmだそうです。

GTC2022が開催され、どこもこの話題で持ち切りですので、サーバー向けのGPUは興味がないのですが、一応nVidiaの次世代だし、取り上げてみます。

ただし、あまりやる気はないです。

HopperはLovelaceがRDNA3にどうしても勝てなかった場合、MCMを採用するチップ(GH102?)をGeforceとして出すというような話が出ています。

しかし、今回の仕様を見るとゲーム向けとしては無駄が多く、恐らく、AD102を徹底的にOCして何とかするのではないかと思います。

RTX4090Ti(?)は800W以上とも言われていますし、そこまでやるからにはHopperの出番はないのかなと思います。

IntelのGaudi 2 HL 2080はHopperと互角と言われていますが、今回TSMCの4nmを採用すると聞いてホントかな?と思いました。

GH100にはMCMを採用せず、巨大なモノリシックで行くのはnVidiaはMCMにあまり肯定的ではないのかなと感じました。

AppleのM1 UltraもM1を2つくっつけて単純に2倍の性能になっているわけではありませんし、やはり、チップ間の通信がボトルネックになる可能性を考えると、サーバー向けのフラッグシップは巨大なモノリシックにした方が良いと思ったのかもしれませんね。

早々にMCMを採用するAMDと様子見しながらと言うnVidia、両社のスタンスがはっきりしているところですね。

Voltaはゲーム向けとして出ましたが、性能は今一つでPascalのTITANと同程度の性能でした。

Hopperもゲーマーには関係のない製品になるのかなと思います。

 

-GPU情報
-

Copyright© 自作ユーザーが解説するゲーミングPCガイド , 2022 All Rights Reserved.