NVIDIA、LLMサポート、画像検索、音声認識を改善したChatRTXを発表

NVIDIAは、AI PC体験を新たなレベルに引き上げるChatRTX AIチャットボットをアップグレードしました。

NVIDIA ChatRTXは、音声とビデオによるプロンプトを含む、いくつかの強化された入力オプションを備えています。

NVIDIAのChatRTXチャットボットは、当初 「Chat With RTX 」ブランドで発売されて以来、大きな進歩を遂げてきました。

OpenAIのChatGPTのようなオプションとNVIDIAのChatRTXの差別化要因は、後者がローカルシステム上で実行するように設計されているため、よりパーソナライズされた経験に焦点を当てていることです。

ChatRTXは、Googleの最新LLMであるGemmaや、オープンでバイリンガル（英語と中国語）なLLMであるChatGLM3など、サポートされるLLMのリストに追加し、ユーザーにさらなる柔軟性を提供します。

新しい写真サポートにより、ChatRTXユーザーは、OpenAIのコントラスト言語画像事前学習（CLIP）のおかげで、複雑なメタデータラベリングを必要とせずに、写真データを簡単に検索し、ローカルで対話することができます。

ChatRTXのユーザーは、AI自動音声認識システムであるWhisperのサポートが追加されたことで、ChatRTXが口頭での会話を理解できるようになり、データと会話できるようになりました。

NVIDIAのChatRTXでは、ローカルファイルへのアクセスも許可できるため、プライバシーは大きなボーナスとなる。エッジAI環境の結果、それはそこに代替よりもはるかに高速になるはずです。

ChatRTXは、MistralやLlama 2のような複数の大規模言語モデルと接続することができます。このAIチャットボットは、NVIDIAのTensorRT-LLM & Retrieval Augmented Generated (RAG)ソフトウェアを通じてグラフィックス機能を活用し、オンボードのRTXハードウェアを通じて加速されたパフォーマンスを提供する。

クラウドベースのオプションと比較した場合、ChatRTXは処理速度の点でそれらを圧倒するでしょう。

ChatRTXはよりパーソナライズされたアセットであるため、それぞれのディレクトリを指定することで、ファイルを含むあなたのデータセットでトレーニングすることができます。

チャットボットはOpenAIのCLIP（Contrastive Language-Image Pre-Training）を統合している。

これにより、ChatRTXはネイティブに画像をナビゲートすることができ、パーソナライズされた環境にとって大きなボーナスとなります。

特定のプロンプトに応じて画像を並べ替えたり、特定の画像を除外したり、シンプルなプロンプトであらゆることができます。

システム要件

システム要件プロンプトといえば、ChatRTXはあなたの声で入力することができ、AIの力によってそれを認識します。

NVIDIAのRTXサポートにより、ChatRTXの高速パフォーマンスを目の当たりにできることは間違いない。

NVIDIAのこちらのページからアプリケーションをダウンロードし、ナビゲートすることができる。

ソース：wccftech – NVIDIA Unveils Revamped ChatRTX With Improved LLM Support, Image Search & Speech Recognition

解説：

ChatRTXが大幅に進化

音声認識をサポートしたことによって口頭での会話ができるようになったようです。

これに音声出力とアバターをつければ、キャバクラとかホストとかいらなくなりそうですね。

受け答えはLoRAでカスタマイズ可能なので、好みの人格(?)にカスタマイズしたあと、アバターをつければ立派な話相手の出来上がりということになります。

AMDはROCmのWindows版テクニカルプレビューでLM Studioを動かしている段階ですが、どんどん進歩していくNVIDIAに対してはなかなか厳しいものがあります。

やはり、AI/MLならGeforceというのは認めざるを得ない事実なのでしょう。

AMDにはLinuxと同等程度にはWindowsのROCmも出していただきたいところです。