Llamafileの最新アップデートにより、AVX-512を搭載したAMD Ryzen CPUのパフォーマンスが最大10倍向上しました。
Llamafileの最新アップデートにより、ローカルシステム上で大量のLLMモデルを実行することが容易になり、AVX-512を搭載したAMD Ryzen CPUの性能が10倍に向上
Phoronixによると、Llamafileの最新アップデートがAVX-512命令セットをサポートするようになり、AVX-512をサポートするCPUがソフトウェアを使用する際にパフォーマンスが大幅に向上するようになった。
AMDのZen 4「Ryzen」CPUは、新しいアップデートによりプロンプト評価が10倍速くなり、最終的にツール上でより効率的なLLMパフォーマンスが可能になると報告されている。
※ 画像をクリックすると別Window・タブで開きます。
Llamafileをご存じない方のために説明すると、LLMモデルとそれを実行するために必要なライブラリを1つの実行ファイルにまとめたものです。
Mozilla Ochoが開発したこのツールは、CPUとGPUの両方の実行を活用することで、LLMをより多くの人が利用できるようにすることを目的としている。
このツールは、特にLLMにアクセスするための高コストのソリューションの必要性を根絶するため、開発者の間で大きな反響を呼んでいる。
新しいパフォーマンス・アップグレードはまだテストされていないが、Phoronixによると、今後新しいLlamafire 0.7をAMDとIntelの両方のシステムでテストする予定があるという。
最新バージョンへのアクセスは、こちらのGitHubから可能だ。
AMDのRyzen CPUは、AVX-512命令をサポートする唯一のコンシューマー向けチップである。
このため、AVX-512を利用するアプリケーションを実行したいユーザーにとっては、AMDのRyzenプラットフォームが有利となる。
ソース：wccftech – LLM Runner Llamafile’s Update Brings A 10x Performance Boost To AMD Ryzen AVX-512 CPUs
解説：
AVX-512が使えるCPUでLLMのパフォーマンスが10倍に。
ユーザーの自由を制限すると思わぬしっぺ返しを食らうことがある。
第12世代以降のCoreのPコアにはAVX-512が実装されておりますが出荷時に無効にされています。
第12世代Coreでは有効にできましたが、Intelが対応して結局使えなくなりました。
当サイトにいただいたコメントによると、AVX-512を有効にすると発熱が激しくなるとのことでした。
しかし、まあ、それでもAMDのCPUでは有効化して普通に使えているわけで、よほど設計がヘボかIntelがユーザーから批判を浴びないような風説を流しているかどちらかでしょうね。
このLLM速度10倍の恩恵を受けられるのはRyzen(ただしZen4のみ)だけということになります。
もとはIntelが作った命令にもかかわらず他社製のCPUでしかその恩恵が受けられないというのは皮肉な話です。
CPUの機能というのは出荷時に様々な理由があって有効・無効を決めていると思うのですが、このように自由を制限すると後で思わぬしっぺ返を食らうことになるということです。
公式に動作は保証しないが、一応有効にしておけばIntel製CPUも12世代以降のCPUは恩恵を受けられていたのでしょう。
Intelにとってはピリリと辛いスパイスの効いた話になってしまいました。