移動中のLLM
インテルはオープンソースのNPUアクセラレーション・ライブラリを公開し、Meteor Lake AI PCでTinyLlamaのような軽量LLMを実行できるようにした。
このライブラリは主に開発者向けだが、コーディング経験のある一般ユーザーも、Meteor Lake上でAIチャットボットを動作させるために使用することができる。
このライブラリは現在GitHubで公開されており、インテルはNPUアクセラレーション・ライブラリに関するブログ記事を書くことになっていたが、インテル・ソフトウェア・アーキテクトのトニー・モンコルスマイはXで早速それを公開した。
彼は、Meteor Lake CPUを搭載したMSI Prestige 16 AI Evoラップトップ上でTinyLlama 1.1B Chatを実行するソフトウェアのデモを見せ、スマートフォンとフリップフォンの長所と短所について質問した。
ライブラリーはWindowsとLinuxの両方で動作する。
https://twitter.com/tonymongkolsmai/status/1763564962486583433
もちろん、NPUアクセラレーション・ライブラリは開発者向けであり、一般ユーザー向けではないので、これを自分の目的に使うのは簡単なことではない。
Mongkolsmai氏がチャットボットを動かすために書いたコードをシェアしてくれたが、同じものを自分のPCで動かそうと思ったら、Pythonをきちんと理解するか、上の画像でシェアされている行をすべてタイプし直して、自分のPCで動くことを祈るしかないだろう。
NPUアクセラレーション・ライブラリは明示的にNPU向けに作られているため、現時点ではMeteor Lakeしか実行できないことになる。
今年後半に予定されているArrow LakeとLunar LakeのCPUは、互換性のあるCPUの分野を広げるはずだ。
これらの次期CPUは、Meteor Lakeの3倍のAI性能を提供し、ラップトップやデスクトップ・シリコン上でさらに大規模なLLMを実行できるようになる可能性が高い。
ライブラリーはまだ完全な機能を備えておらず、予定されている機能の半分弱しか出荷されていない。
最も注目すべき点は、NPU自体で実行可能な混合精度推論、BFloat16（AI関連のワークロードでよく使われるデータ形式）、NPU-GPUヘテロジニアス計算が欠けていることだ。
NPUアクセラレーション・ライブラリは真新しいものであるため、どの程度のインパクトがあるかは不明だが、AI PC向けの新しいAIソフトウェアが生まれることを祈っている。
解説：
IntelがNPUのライブラリを公開し、軽量LLMが動作可能に
素晴らしいのではないかと思います。
今のところは限りなくベータ版っぽいですが、2-3年後には十分使い物になっているのではないでしょうか。
「お前、使い物にならない」と言ってたじゃないかと批判する向きもあると思いますが、あくまでも実用性が出てくるのは2-3年後で現時点では使い物にならないと思います。
現時点では使い物にならないという意見は変更ありませんが、全く意味がないとは言いません。
しかし、一般人レベルで使い物になるかと言われればならないです。
そこははっきり断言しておきます。
一般ユーザー向けというのはわたくしが配布しているスクリプトですらも「面倒」とか言われるレベルなのでこんなの全然使い物になりませんよ(苦笑。
自分ではわずかなスクリプトも書かない一般の人にライブラリを準備したからいきなり使えと言っても無理でしょう。
そういう一般人が使える製品に組み込まれるのには最低あと2-3年かかると思います。
だったらすでにネット越しにChatGPTが使えるわけで、これがローカルで動いても一般の人に対するインパクトはないと思います。(苦笑。
ローカルでLLMや画像生成AIを動作させて何に使うのか？というのはわたくしにはよく理解できません。
機能が必要ならばネット接続を必須にしてネット越しにAPIを叩けるようにすればよいだけの話で、ローカルPCに無理やり機能を内蔵する必要性はあまり感じないです。
どこかの政党ではないですが、こういう話を見ると「クラウドじゃダメなんですか？」と言いたくなるのですが・・・・。