業界グレードのStable Diffusionテスト。
3DMarkやPCMarkを開発するUL Solutionsは、AIに特化したベンチマークソフトウェアProcyon向けに、近日公開予定のAI Image Generationベンチマークを発表した。
Stable Diffusionをベースにしたこのベンチマークは、ディスクリートグラフィックスカードのAI性能をテストすることを目的としている。
Stable Diffusionでの性能テストは以前から不可能ではなかったが、ULの新しいベンチマークは、自分のGPUがAI画像生成においてどの程度速いかを知りたいユーザーにとって、より簡単で利用しやすくなるはずだ。
2023年に発表されたProcyonは、ゲーム中心の3DMarkソフトウェアやPCに特化したPCMarkアプリとトリオを組む、ULのAIテスト用ベンチマークスーツだ。
チャットボットの作成から、動くかどうかわからないコードの作成まで、ユーザーがAIを使ってできることはたくさんある。
しかし、Procyonに欠けていた不思議なベンチマークは、画像生成のテストである。
そう考えると、Stable Diffusionをテストするための標準的なベンチマークが今になって登場したのは、少し奇妙なことだ。
25日に登場するAI Image Generationベンチマークは、そのギャップを埋めようとしている。
このベンチマークは、2つの異なるモデル（1つはミッドレンジGPU用、もう1つはハイエンドGPU用）に基づいてStable Diffusionのパフォーマンスをテストする。
技術的には、ユーザーがこのベンチマークを弱いディスクリートGPUや、おそらく統合型グラフィックスで実行することを妨げるものはないだろうが、スコアはかなり低くなるだろう。
現在、ProcyonのStable Diffusionテストでは、3つの異なるエンジンを提供している： IntelのOpenVINO、NvidiaのTensorRT、そしてDirectMLを使用したMicrosoftのONNXランタイムだ。
AMD固有のオプションはないが、ユーザーはDirectMLを使ってAMDハードウェアをテストできるはずだ。
AMDが独自のエンジンを提供しないことで、パフォーマンスを置き去りにしているのかどうかは不明だが、Microsoft Oliveは明らかにAMD GPU（およびIntelのArcカード）でのDirectMLパフォーマンスを向上させている。
Stable Diffusionを通常通り使用することで、ユーザー自身がAIのパフォーマンスをテストすることを止めることはできませんが、Procyon AI Image Generationテストは、標準であり、他のハードウェアと比較できるスコアを提供するという大きな利点があります。
私たちは12月にStable Diffusionで多くのGPUをベンチマークしましたが、一般的なULベンチマークほど単純ではありませんでした。
解説：
Stable diffusionのベンチマークをULが発表
2024/3/25に「ProcyonAI画像生成ベンチマーク」という名前で発表されるようです。
- Intel ARCはOpenVINO
- nVIDIA GeforceはTensorRT
- AMD RadeonはDirectML+Microsoft Olive
を使用するようです。
現実にイラスト生成AIのユーザー視点で言わせてもらえるなら、正直、現実的ではないと思います。
Intel ARCのテストはいいと思いますが、TensorRTとDirectML+Microsoft Oliveは現実的ではないでしょう。
TensorRTだけ別環境を作って使っている人というのはいるのかもしれませんが、出たときに少しだけ話題になってそのあとほとんど話を聞かなくなったので、ほとんど使われていないのではないかと思います。
DirectML+Microsoft Oliveもデータの変換が必要であり、データの変換に失敗することもあるようですので、実際に使えるかと言ったら使えないと思います。
※ わたくしはコマンドライン版でテストしましたが、BRAもChilloutmixも変換に失敗しました。こういった人気のあるモデルデータを使いたい人にとっては致命的な不具合だと思います。
イラスト生成AIの性能とは現在流通しているデータを使用して生成しないと本当の実力がわからないと思います。
ぶっちゃけプロンプトノウハウを捨てるなら、今ならLCM LoRAもあるわけで、わざわざControlnetなどのエクステンションも含めたデータの互換性を捨てて画像生成の性能を測るのに何の意味があるのかなあと思います。
そういう意味で言えば、ZLUDAが出るまではRadeonはWindowsで画像生成AIが実質使えない状態だったのでなかなか厳しい意見だとは思います。
DirectML extensionはありますが、不具合の報告にも対応してませんし、この記事を書いている時点でもう1年近くアップデートされていません。
また非常に遅いので現実的ではないですね。
基準というのは必要だと思います。
しかし、拘りが強ければ強いほど、ProcyonAIベンチマークでの性能テストには不満があるのではないでしょうか。
あくまでも一つの目安と考えるべきなのでしょうね。
元記事にもありますが、Intel、nVIDIA、AMDの中でAMDだけが独自のエンジンを公開していません。
早急にWindows版のROCmを公開してほしいところですね。
ZLUDAを使用すればWindowsでもROCmの6-7割ほどの生成速度で生成できます。
RDNA2/3世代のRadeonをお持ちの方でまだ試していない方はこちらの記事でセットアップスクリプトを公開していますので、ぜひ試してみてください。
結構AMDに厳しい書き方になってしまいましたが、当サイトではROCmやZLUDAのセットアップスクリプトを公開してRadeonのイラストAI使用を推進している関係上、やはり現実的な視点からの発言を行うと厳しい意見になってしまいます。
特にAMD製品を貶す意図はありませんのでお断りさせていただきます。
IntelのGPUは性能上の問題を抱えていますので、現時点で本気でイラストAIに取り組むならnVIDIAのGeforce RTX3000/4000以外にはありえないのかなと思います。
ROCm6.1のWindows版が出ればこの状況は改善されると思います。(そう信じたいです。)