NVIDIAは、AI PC体験を新たなレベルに引き上げるChatRTX AIチャットボットをアップグレードしました。
NVIDIA ChatRTXは、音声とビデオによるプロンプトを含む、いくつかの強化された入力オプションを備えています。
NVIDIAのChatRTXチャットボットは、当初 「Chat With RTX 」ブランドで発売されて以来、大きな進歩を遂げてきました。
OpenAIのChatGPTのようなオプションとNVIDIAのChatRTXの差別化要因は、後者がローカルシステム上で実行するように設計されているため、よりパーソナライズされた経験に焦点を当てていることです。
ChatRTXは、Googleの最新LLMであるGemmaや、オープンでバイリンガル（英語と中国語）なLLMであるChatGLM3など、サポートされるLLMのリストに追加し、ユーザーにさらなる柔軟性を提供します。
新しい写真サポートにより、ChatRTXユーザーは、OpenAIのコントラスト言語画像事前学習（CLIP）のおかげで、複雑なメタデータラベリングを必要とせずに、写真データを簡単に検索し、ローカルで対話することができます。
ChatRTXのユーザーは、AI自動音声認識システムであるWhisperのサポートが追加されたことで、ChatRTXが口頭での会話を理解できるようになり、データと会話できるようになりました。
NVIDIAのChatRTXでは、ローカルファイルへのアクセスも許可できるため、プライバシーは大きなボーナスとなる。エッジAI環境の結果、それはそこに代替よりもはるかに高速になるはずです。
ChatRTXは、MistralやLlama 2のような複数の大規模言語モデルと接続することができます。このAIチャットボットは、NVIDIAのTensorRT-LLM & Retrieval Augmented Generated (RAG)ソフトウェアを通じてグラフィックス機能を活用し、オンボードのRTXハードウェアを通じて加速されたパフォーマンスを提供する。
クラウドベースのオプションと比較した場合、ChatRTXは処理速度の点でそれらを圧倒するでしょう。
ChatRTXはよりパーソナライズされたアセットであるため、それぞれのディレクトリを指定することで、ファイルを含むあなたのデータセットでトレーニングすることができます。
チャットボットはOpenAIのCLIP（Contrastive Language-Image Pre-Training）を統合している。
これにより、ChatRTXはネイティブに画像をナビゲートすることができ、パーソナライズされた環境にとって大きなボーナスとなります。
特定のプロンプトに応じて画像を並べ替えたり、特定の画像を除外したり、シンプルなプロンプトであらゆることができます。
システム要件
| プラットフォーム | Windows |
| GPU | NVIDIA GeForce RTX 3000 か 4000 シリーズ GPU もしくは NVIDIA RTX Ampere か Ada 世代 GPU で少なくとも 8GBのVRAMを持つもの |
| RAM | 16GB 以上 |
| OS | Windows 11 |
| ドライバー | 535.11 or later |
| ファイルサイズ | 35GB |
システム要件プロンプトといえば、ChatRTXはあなたの声で入力することができ、AIの力によってそれを認識します。
NVIDIAのRTXサポートにより、ChatRTXの高速パフォーマンスを目の当たりにできることは間違いない。
NVIDIAのこちらのページからアプリケーションをダウンロードし、ナビゲートすることができる。
解説：
ChatRTXが大幅に進化
音声認識をサポートしたことによって口頭での会話ができるようになったようです。
これに音声出力とアバターをつければ、キャバクラとかホストとかいらなくなりそうですね。
受け答えはLoRAでカスタマイズ可能なので、好みの人格(?)にカスタマイズしたあと、アバターをつければ立派な話相手の出来上がりということになります。
AMDはROCmのWindows版テクニカルプレビューでLM Studioを動かしている段階ですが、どんどん進歩していくNVIDIAに対してはなかなか厳しいものがあります。
やはり、AI/MLならGeforceというのは認めざるを得ない事実なのでしょう。
AMDにはLinuxと同等程度にはWindowsのROCmも出していただきたいところです。