AMDのRyzen AI CPUが、LLMとGenAIのワークロードを紹介する新しいAIベンチマークで、インテルのCore Ultraチップを上回る。
AMDが新しいAI（LLM）ベンチマークを発表、Ryzen AI CPUがインテルのCore Ultraチップを凌駕、消費電力は大幅に低下
AMDは昨年、コードネーム「Phoenix」と呼ばれる第1世代のRyzen AI CPUを発表し、AI PC分野に初めて参入した。
その後、同社は「Hawk Point」として知られるリフレッシュ版Ryzen AIラインナップを発表し、強化された「XDNA」NPUを提供することで、AI TOPSを60%向上させた。
AMDは、同社が発表した新しいベンチマークで実証されているように、クライアントサイドおよびローカライズされたAIワークロードのためのソフトウェア最適化に多くの労力を費やしたようだ。
新しいテストでは、AMDは、LLama 2、Mistral AI_、code llama、およびRAGを含むさまざまなモデルで可能になる、ローカルCPU上でLLMを実行することを強調している。
ローカライズされたAIモデルをPC上で動作させるということは、オンラインのクラウドプラットフォーム上のモデルよりもプライバシーが守られ、オンライン接続を必要とせずにサブスクリプション料金を節約できることを意味する。
同社は最近、NVIDIA Chat with RTXチャットボットに匹敵する独自のローカルAIチャットボットをセットアップする方法に関するガイドを発表し、この分野にさらに力を入れている。
性能テストでは、AMDは15WのRyzen 7 7840U APUを使用し、28WのインテルCore Ultra 7 155Hと比較している。
両チップとも16GBのLPDDR5-6400メモリと最新のドライバ・パッケージで動作している。
まず、Mistral Instruct 7B LLMでは、AMD Ryzen 7 7840U CPUが、インテル製と比較してわずか61%の時間でAI処理を完了し、Llama 2 7Bチャットでは、Ryzen AIチップが54%の時間でタスクを完了し、さらに高速となっている。
単純化すると、AMD Ryzen 7 7840U (15W) CPUは、LLama v2 Chat 7B (Q4 K M)で最大14％、Mistral Instruct 7b (Q4 K M)で17％高速なパフォーマンスを提供できる。
最初のトークンまでの速度は、LLama v2 Chatで79％、Mistral Instruct 7B LLMで41％それぞれ高速化した。
ここで注目すべき点が2つある。AMD Ryzen AI CPUは、よりワット数の高いインテルCore Ultra CPUよりも高速であるだけでなく、インテルのCore Ultraチップが11 TOPsのSKUを搭載しているのに対して、10 TOPsとやや遅いNPUを搭載していることだ。
これは、28WのSKUや、最大16TOPsのAI Computeを搭載するHawk Pointチップを比較したものでもない。
AMDはまた、インテルのCore Ultra 155Hチップの999ドル（SEP）に対して、約899ドル（SEP）からと低価格で提供されるAI PCプラットフォームのコスト優位性も強調している。
AMD Ryzen AI PCプラットフォームは、市場に投入されてからしばらくの時間が経過しているため、レッド・チームは既存および次世代CPUのAI最適化を迅速に進めている。
これらのAIワークロードは、今年後半に発売が予定されているZen 5搭載のStrix Pointファミリーに向けて、今後さらにチューニングされる見込みだ。
インテルのCore Ultraプラットフォームも発売から数カ月が経過しており、同社はこの分野で大胆なAI戦略を打ち出している。
解説：
NPUの性能を3年で5倍するというIntelが圧倒的に強いのかと思いきやベンチマークではAMDのほうが高速という結果に
これ皮肉ですね。
最近IntelはFabが復活の兆しを見せ、かなりイケイケの状態です。
次世代からいよいよデスクトップもCore Ultraになり、新世代に入ります。
おそらく、デスクトップにもNPUがやってくるでしょう。
NPU勝負はIntelのほうが強いのかと思いきや、AMDのほうが省電力で高性能という結果になったようです。
NPUが志向するものは最終的には省電力性や効率だと思いますので、省電力で勝っているというのはかなり大きなポイントではないかと思います。
わたくしが考える最終的なAIワーキングの姿というのはNPUと内臓GPU、外付けGPUを連動させて性能を稼ぐというものなので、この点ではAPUである程度の規模の処理を完結してしまえるAMDが圧倒的に有利ではないかと考えています。
もちろんですが、これはハード的な話で、AMDにはソフトウェアのサポート力が欠けているのは事実ですから、この辺りをどう解消していくのかが今後AMDがIntelやnVIDIAにコンシュマー製品のAI/ML用途で互角以上に渡り合っていく鍵なのかなと思います。
イラスト生成AIの動作環境を見てみるととやはりAMDがIntelやnVIDIAより2-3歩ほど劣っているのを実感します。
nVIDIAはすでにGPU-PVを実現していますし、Intelはipexで何ら障害なくpytorchをインストールして利用することができます。
3社で唯一AMDはまだWindowsのサポートがなされていません。
この辺りをどのように、いつ頃解消していくのかが今後の一つのポイントになると思います。
NPUだけ先行してもソフトウェアから利用できなければ意味がありませんので。
この結果は非常に明るいニュースだと思いますので、今後に期待したいところです。