NVIDIAがChat with RTXを発表したのに続き、AMDはRyzen AI CPUとRadeon 7000 GPU上で動作する独自のローカライズされたGPTベースのLLM搭載AIチャットボットをユーザーに提供する。
NVIDIA Chat With RTXにライバル出現 AMDがRyzen AI CPUとRadeon 7000 GPUで動作する独自のローカライズされたLLM搭載チャットボットを発表
先月、NVIDIAはRTX 40 GPUとRTX 30 GPUで利用可能なAIチャットボット “Chat with RTX “を発表した。
このチャットボットはTensorRT-LLM機能セットで高速化されており、PCから利用可能なデータ、言い換えればローカライズされたデータセットに基づいて、より高速なGenAIの結果を提供する。
現在AMDは、XDNA NPUを搭載したRyzen 7000およびRyzen 8000 APUや、AIアクセラレーター・コアを搭載した最新のRadeon 7000 GPUを含むRyzen AI PCなど、さまざまなハードウェア上で動作する独自のLLMベースGPTチャットボットを提供しています。
AMDは、GPTベースのLLM（大規模言語モデル）を搭載した独自のローカライズされたチャットボットを実行するためのハードウェアの活用方法に関するセットアップガイドをブログで公開している。
AMD Ryzen AI CPUについては、Windows用の標準LM Studioコピーを入手でき、Radeon RX 7000 GPUについては、ROCmテクニカル・プレビューを入手できる。完全なガイドを以下に掲載する：
1. 正しいバージョンのLM Studioをダウンロードしてください：
AMD Ryzenプロセッサー用 AMD Radeon RX 7000シリーズグラフィックカード用
LM Studio – Windows 版 LM Studio – ROCm テクニカルプレビュー2. ファイルを実行します。
3. 検索タブで、実行したい内容に応じて以下の検索語をコピー＆ペーストする：
a. Mistral 7b を実行したい場合は、次のように検索します： Mistral7bを実行したい場合は、”TheBloke/OpenHermes-2.5-Mistral-7B-GGUF “を検索し、左側の結果から選択してください。通常、これが最初の結果になります。この例ではMistralを使います。
b. LLAMA v2 7bを実行したい場合は、”TheBloke/Llama “を検索してください： “TheBloke/Llama-2-7B-Chat-GGUF “を検索し、左側の結果から選択してください。通常、これが最初の結果になります。
c. ここで他のモデルを試すこともできます。
4. 右側のパネルで、Q4 K M モデルファイルが表示されるまで下にスクロールします。ダウンロードをクリックします。
a. Ryzen AIのほとんどのモデルにはQ4 K Mをお勧めします。ダウンロードが完了するまで待ちます。
5. チャットタブに移動する。上部中央のドロップダウンメニューからモデルを選択し、読み込みが完了するまで待ちます。
6. AMD Ryzen AI PCをお持ちであれば、チャットを始めることができます！
a. AMD Radeonグラフィックカードをお持ちの場合：
i. 右側のサイドパネルで “GPU Offload “をチェックしてください。
ii. スライダーを「Max」まで動かします。
iii. 検出されたGPUタイプとしてAMD ROCmが表示されていることを確認する。
iv. チャットを始める！
AIを搭載したローカライズされたチャットボットを持つことは、適切に設定すれば、生活や仕事を比較的容易にすることができる。
仕事を効率的に進めることができ、クエリとLLMが対象とするデータ経路に基づいて適切な結果を得ることができる。
NVIDIAとAMDは、コンシューマー向けハードウェアにAIを搭載するペースを加速させており、これはほんの始まりに過ぎない。
解説：
nVIDIAが先日出したAI Chatに対抗してAMDも似たようなものを出してきました。
これ自体は非常に素晴らしいものだと思います。
RyzenAIだけではなく、Radeonでも動くようなことが書いてありますね。
しかし・・・・
ROCmテクニカルプレビュー
って個人的にはとっても気になるのですが、Windowsで動くROCmが存在するならば、ベータ状態でもよいので出し惜しみしないで早く出していただきたいです。(苦笑。
多分HIP SDKに毛が生えたような状態なのだと思いますが、どこまで使い物になるのかは非常に気になるところです。
別にわたくしも好き好んでユーザー数の少ないLinuxを使っているわけではないので、Windowsで動く状態のものがあるなら、早く公開していただけると幸いです。(苦笑。
元記事に
NVIDIAとAMDは、コンシューマー向けハードウェアにAIを搭載するペースを加速させており、これはほんの始まりに過ぎない。
とありますが、この通り、WindowsでもLinuxでもAIのソフトウェアや開発環境の整備はどこの企業も急ピッチで進めており、今後、進むことはあっても後退することはないでしょう。
うちのサイトも画像生成AIのセットアップを中心にスクリプトを配布していますが、もしもWindowsで動く状態のものがあるのであれば、いの一番に対応したいですね。
というわけで、AMDさん、Windows版ROCmをできるだけ早くお願いします。