AMD Ryzen AI CPUとRadeon 7000 GPUは、NVIDIAのChat With RTXのように、LLMを使用してローカライズされたチャットボットを実行することができます

NVIDIAがChat with RTXを発表したのに続き、AMDはRyzen AI CPUとRadeon 7000 GPU上で動作する独自のローカライズされたGPTベースのLLM搭載AIチャットボットをユーザーに提供する。

NVIDIA Chat With RTXにライバル出現 AMDがRyzen AI CPUとRadeon 7000 GPUで動作する独自のローカライズされたLLM搭載チャットボットを発表

先月、NVIDIAはRTX 40 GPUとRTX 30 GPUで利用可能なAIチャットボット "Chat with RTX "を発表した。

このチャットボットはTensorRT-LLM機能セットで高速化されており、PCから利用可能なデータ、言い換えればローカライズされたデータセットに基づいて、より高速なGenAIの結果を提供する。

現在AMDは、XDNA NPUを搭載したRyzen 7000およびRyzen 8000 APUや、AIアクセラレーター・コアを搭載した最新のRadeon 7000 GPUを含むRyzen AI PCなど、さまざまなハードウェア上で動作する独自のLLMベースGPTチャットボットを提供しています。

AMDは、GPTベースのLLM（大規模言語モデル）を搭載した独自のローカライズされたチャットボットを実行するためのハードウェアの活用方法に関するセットアップガイドをブログで公開している。

AMD Ryzen AI CPUについては、Windows用の標準LM Studioコピーを入手でき、Radeon RX 7000 GPUについては、ROCmテクニカル・プレビューを入手できる。完全なガイドを以下に掲載する：

1. 正しいバージョンのLM Studioをダウンロードしてください：
AMD Ryzenプロセッサー用 AMD Radeon RX 7000シリーズグラフィックカード用
LM Studio - Windows 版 LM Studio - ROCm テクニカルプレビュー
2. ファイルを実行します。
3. 検索タブで、実行したい内容に応じて以下の検索語をコピー＆ペーストする：
a. Mistral 7b を実行したい場合は、次のように検索します： Mistral7bを実行したい場合は、"TheBloke/OpenHermes-2.5-Mistral-7B-GGUF "を検索し、左側の結果から選択してください。通常、これが最初の結果になります。この例ではMistralを使います。
b. LLAMA v2 7bを実行したい場合は、"TheBloke/Llama "を検索してください： "TheBloke/Llama-2-7B-Chat-GGUF "を検索し、左側の結果から選択してください。通常、これが最初の結果になります。
c. ここで他のモデルを試すこともできます。
4. 右側のパネルで、Q4 K M モデルファイルが表示されるまで下にスクロールします。ダウンロードをクリックします。
a. Ryzen AIのほとんどのモデルにはQ4 K Mをお勧めします。ダウンロードが完了するまで待ちます。
5. チャットタブに移動する。上部中央のドロップダウンメニューからモデルを選択し、読み込みが完了するまで待ちます。
6. AMD Ryzen AI PCをお持ちであれば、チャットを始めることができます！
a. AMD Radeonグラフィックカードをお持ちの場合：
i. 右側のサイドパネルで "GPU Offload "をチェックしてください。
ii. スライダーを「Max」まで動かします。
iii. 検出されたGPUタイプとしてAMD ROCmが表示されていることを確認する。
iv. チャットを始める！