AMDはエッジAIを全く新しいレベルへと引き上げました。最近のドライバーアップデートにより、PCユーザーに大規模LLMのサポートを提供しました。
AMDのStrix Haloプラットフォームは、ハイエンドAIパワーをコンシューマーマシンにもたらし、新たな基準を確立しました。
Team Redは、XDNAエンジンを通じてコンシューマーマシンに大規模なAIコンピューティングを提供してきたリーディングカンパニーの一つです。
Strix PointやStrix HaloシリーズをはじめとするAMDのAPUは、市場最高クラスのAIパフォーマンスを誇りますが、AMDは今、エッジAIを新たなレベルへと引き上げました。
最新のAdrenalin Edition 25.8.1ドライバーは、最大128BパラメータのLLMモデルをサポートし、これによりコンシューマーデバイスでMetaのLlama 4 Scoutのようなモデルをサポートできるようになります。これは他に類を見ない成果です。
興味深いことに、AMDの可変グラフィックスメモリ（VGM）を利用することで、iGPUで最大96GBのグラフィックスメモリを利用できるようになり、大規模モデルをローカルで実行できるようになります。
前述のLlamaモデルはMoEベースの実装であるため、実行時に使用するパラメータは17Bのみですが、それでも十分なTPSを実現でき、LLMを高性能なAIアシスタントとして活用できます。
さらに重要なのは、AMDがモデルコンテキストサイズにおいて飛躍的な進歩を遂げたことです。
コンシューマー向けプロセッサの業界標準は通常4096トークン程度でしたが、AMDはそれを数倍に増やし、コンテキスト長を256,000トークンにまで引き上げました。
これにより、ワークフローをより細かく制御できるようになり、パフォーマンスを気にする必要がなくなりました。
AMDによるこれらの数値は驚異的であり、「AIコンピューティング」ブームがコンシューマー向けPCにも確実に広がっていることを示しています。
現時点では、Strix Haloプラットフォームは限られたデバイスでのみ利用可能で、容易に入手できるものではありません。
中には2,000ドルを超える価格のものもあります。
しかし、AMDのAIコンピューティングにおける進歩は実に有望であり、「AIパワー」を誰もが利用できるようになります。
ただし、現在利用可能なデバイスを入手するには多額の資金が必要です。
解説：
まずローカルLLMについて簡単に説明しておきます。
Llamaの405BというFP16で810GB、INT4で203GBのデータ容量になるモデルを使ってGPT4や4oを性能でやや上回るくらいといわれています。
もちろん比較する項目によっては劣ることも当然あります。
そのくらいだと思ってください。
クラウドLLMは気が遠くなるくらいの台数のAIアクセラレーターで動かしているサーバーをシェアリングしています。
AIサーバーシステムはラックスケールになってもはや個人で所有するPCとは隔絶した性能になっています。
これがローカルLLMとクラウドLLMで性能差が大きくなっている理由です。
LLMはパラメーター数が多くなる(賢くする)とデータ量が跳ね上がり途端に負荷が大きくなります。
ローカルで高性能化するのは現状かなり厳しいと思います。
わたくしもChatGPTの安い奴を契約していますが、無理してローカルLLMを使うよりはクラウドLLMをサブスクした方が幸せになれると思います。
一番安い契約でも最高性能のモードを回数制限ありで使うことが出来、よほどのヘビーユーザーでない限りはそれで満足できます。
それを前提に聞いてください。
Strix Haloで128BのLLMが動作させられたとのこと。
画像の説明にもありますが、128Bでもデータ容量68GBです。
AMD内臓グラフィックスの可変メモリを使用すると動作させられるということのようですね。
実用性はともかく、非常に素晴らしいことだと思います。
やはりローカルAIでものを言うのはメモリですから。
ただし、Strix Haloは性能は高いですが、安価とはいいがたく、ローカル生成AIを実行するにはそれなりの投資が必要ということになります。
ローカル生成AIを使うメリットは追加学習やファインチューニングが自由にできることがあげられるでしょう。
その上で成果物の表現に規制を受けることがないのでみなまでは言いませんが、そういう用途が主になるのではないかと思います。
高止まりするローカル生成AIの実行環境が少しでも安くなるなら、使う人はそれなりにいるのではないかと思います。
AMDがもうちょっと頑張るとNVIDIAもiGPU系のシステムで安価なものを出してくれるようになるのではないかと期待したいところです。