NVIDIAは、最新のR555ドライバリリースにより、GeForce RTX GPUおよびRTX AI PCプラットフォームのAI性能をさらに向上させました。
NVIDIAのGeForce RTX GPUとRTX PCは、すべてのセグメントで最速のAI性能を提供し、最新のドライバによって3倍に向上しました。
本日のMicrosoft Buildにおいて、NVIDIAは、GeForce RTX GPU、ワークステーション、PCを含むRTXプラットフォームで利用可能になった、さまざまな新しいAIパフォーマンスの最適化を発表しました。
この新しい最適化は、特に、最新のジェネレーティブAI体験の原動力となるさまざまなLLM（大規模言語モデル）を対象としています。
最新のR555ドライバを使用することで、NVIDIAのRTX GPUとAI PCプラットフォームは、ONNX Runtime（ORT）とDirectMLで最大3倍高速なAIパフォーマンスを提供します。
これら2つのツールは、Windows PC上でローカルにAIモデルを実行するために使用されます。
それに加えて、WebNNはDirectMLを介してRTXで高速化されている。これは、ウェブ開発者が新しいAIモデルを展開するためのアプリケーション・プログラミング・インターフェースである。
MicrosoftはNVIDIAと協力し、PyTorchでDirectMLサポートを追加する一方で、RTX GPU性能をさらに加速させる。
以下は、新しいR555ドライバがGeForce RTX GPUおよびRTX PCに提供する機能の全リストです：
- LLM用のINT4重みのみの量子化を扱うDQ-GEMMメタコマンドのサポート
- Llama 2、Llama 3、MistralおよびPhi-3モデル用の新しいRMSNorm正規化メソッド
- Mistralをサポートするためのグループおよびマルチクエリーアテンションメカニズムとスライディングウィンドウアテンション
- インプレースKV更新によるアテンション性能の向上
- 非8重TensorのGEMMをサポートし、コンテキストフェーズの性能を向上。
MicrosoftがリリースしたジェネレーティブAI拡張機能であるORTの性能ベンチマークにおいて、NVIDIAはINT4とFP16の両データ型で軒並み向上を示しています。
この性能向上は、Phi-3、Llama 3、Gemma、MistralなどのLLM用にこれらの拡張機能内に追加された最適化技術のおかげで、最大3倍となっています。
これらの機能強化に加え、NVIDIAは強力なTensorRTとTensorRT-LLMスイートでコンシューマー向けAI PC分野をリードしてきた。
NVIDIAはまた、TensorコアなどのGPUに組み込まれたAIハードウェアを動力源とする多様なソリューションも提供している。
これらのソリューションには、画期的なDLSS超解像技術、NVIDIA ACE、RTX Remix、Omniverse、Broadcast、RTX Video、その他いくつかの技術が含まれる。
NVIDIAのGPUは、最大1300TOPSのAIコンピューティングを提供し、100TOPSにとどまると予想される今年発売される最速のチップをはるかに凌駕する。
さらに、これらのPCには最新のNVIDIA RTX GPUが搭載され、RTX AI PCプラットフォームがさらに強化され、コンシューマー分野におけるAI分野がさらに推進されることになる。
解説：
NVIDIA R555ドライバーでONNX-DirectMLのパフォーマンスを3倍へ
AI性能が3倍という話が出ていたので注目していたのですが、ONNX-DirectMLという文字を見て、解散!という気分になりました。
元記事では主にローカルLLMの性能が向上するようなことが書いてあります。
昨日Copilot+PCというマイクロソフトが提唱するAI PCの基準が発表されましたが、NVIDIA製のGPUでこれらの規格をクリアできるのですかねえ。
NPUのAI性能が40TOPS以上無いとダメらしいです。
このようにどうもAI PCはLLMをローカルで実行できるということを基準にするようです。
NPUだけでなく、dGPUのAI性能でも代替できるのかどうかは不明です。
NPUの代わりができるようになるのかどうかは不明ですが、NVIDIAのAIに対する対応は非常に早く、AMDやIntelよりもかなり先をいっていることは確かでしょう。
AMDもRadeonで早急に生成AIが使える環境を整えないとどんどん引き離れさてしまいます。
APUにNPUを内蔵する一方でdGPUのAI対応は一向に進んでいないのが気になるところです。
NVIDIAは自前のNPUをPC向けには持っていませんが、このような情報を見ると、万全な体制なのかなと思います。