NVIDIAのTensorRT AIアクセラレーションがGeForce RTX GPUで利用可能になり、DirectMLを2倍上回るパフォーマンスを提供します。
NVIDIA、TensorRTでDirectMLを2倍上回るAIアクセラレーションを提供、すべてのRTX GPUで利用可能
本日、NVIDIAは、RTXプラットフォームにTensorRTを導入することを発表しました。
TensorRTにより、RTX GPUを実行している一般消費者は、最適化された推論バックエンドを通じて、より高速なパフォーマンスを得ることができるようになります。
TensorRTを使用することで、ユーザーは、DirectMLと比較して、AIアプリケーションで最大2倍の向上を見ることができる。
TensorRTは、Windows MLでもネイティブにサポートされており、TensorRT-LLMがすでにWindowsで利用可能であることにも留意されたい。
今日のAI PCソフトウェアスタックでは、開発者は、幅広いハードウェアをサポートするが性能の低いフレームワークか、特定のハードウェアやモデルタイプのみをカバーし、開発者が複数のパスを維持する必要のある最適化されたパスのどちらかを選択する必要がある。
新しいWindows ML推論フレームワークは、これらの課題を解決するために構築された。
Windows MLはONNX Runtimeの上に構築され、各ハードウェアメーカーが提供・保守する最適化されたAI実行レイヤーにシームレスに接続します。
GeForce RTX GPUの場合、Windows MLは自動的にTensorRT for RTXを使用します。
TensorRTは、高いパフォーマンスと迅速な展開のために最適化された推論ライブラリです。
DirectMLと比較して、TensorRTはPC上のAIワークロードに対して50%以上高速なパフォーマンスを提供します。
Windows MLは、開発者の生活の質にもメリットをもたらす。
各AI機能を実行するのに適したハードウェアを自動的に選択し、そのハードウェア用の実行プロバイダをダウンロードすることができるため、それらのファイルをアプリにパッケージする必要がなくなる。
これにより、NVIDIAは、最新のTensorRTパフォーマンス最適化の準備ができ次第、ユーザーに提供することができます。
また、ONNX Runtime上に構築されているため、Windows MLはどのONNXモデルでも動作する。
しかし、TensorRT for RTXの最大の特徴はパフォーマンスだけではない。
新しいバックエンドは、8倍小さいライブラリファイルサイズを可能にし、GPUごとのJust-in-time最適化も備えています。
TensorRT for RTXは、すべてのNVIDIA GeForce RTX GPUにおいて、6月にdeveloper.nvidia.comで入手可能になります。
性能スライドの1つで、NVIDIAはTensorRTとDirectMLの比較によるAI性能の向上を紹介しています。
ComfyUIでは2倍の性能向上が得られ、DaVinci ResolveとVegas Proでは60％の性能向上が得られる。
これにより、AIのランタイムとワークフローが高速化され、RTX GPUとRTX PCがその潜在能力を十分に発揮できるようになります。
エヌビディアによるソフトウェア革新はこれだけにとどまらず、150を超えるAI SDKに力を注いでおり、今月には5つの新しいISV統合が登場する。
これらには以下が含まれる：
- LM Studio (最新のCUDAで30%のパフォーマンス向上)
- Topaz Video AI（GenAIビデオアクセラレーションCUDA）
- Bilibili (NVIDIA Broadcast Effects)
- AutoDesk VRED (DLSS 4)
- Chaos Enscape（DLSS 4）
NVIDIAはまた、Discord、Gemini、IFTTT、Twitch、Spotify、SignalRGBの統合など、Project G-Assistのための新しいプラグインを含む新しいNIMとAIブループリントも紹介している。
もちろん、ユーザーはgithub.com/NVIDIA/G-Assistにアクセスして、Project G-Assist用のプラグインを構築することもできる。
解説：
TensorRTがWindowsMLに対応。
WindwosMLはWindows用の推論フレームワークのことですね。
元の基盤になっている技術はONNXです。
この時点で画像生成AIerは「解散」という判断を下すでしょう。
ONNXはとても優れた技術だと思いますが、豊富な3rd Partyの資源が使えるStable Diffusion WebUIやComfyUIなどの生成AIでは標準ではないです。
TensorRTは画像生成AIの世界ではかなり前に出た技術で速いことは速いですが、Controlnetが使えない、LORAの適用に難があるので画像生成AIerの世界ではすでに終わった技術という評価です。
今は圧倒的にComfyUIで、クロスアテンション+wavespeedのあと、torch compile +xformersが速いということなので、画像生成AIerにとっては「TensorRT？ああ懐かしいね」という感じではないでしょうか。
というわけで、画像生成AI以外での話になるのでしょう。
日進月歩の世界ではやはり最新の技術はGeforceでなければ恩恵を受けられないということですね。
AMDもIntelももう少し頑張ってほしいところです。
[st_af id="7964"]