AIスタートアップのEtched社は、AI向けのSohu ASICを公開し、NVIDIAの次世代GPU Blackwell B200よりもはるかに高速で安価であると主張した。
EtchedはTransformer Engineを搭載したSohu ASICで「AIにおける最大の賭け」を行い、大きな数字を主張する。
AIコンピューティング・パフォーマンスでNVIDIAに挑戦する企業はそうそうあるものではないが、Etchedはそれを実現するためにここに来たようだ。
同社は現在、OpenAIのChatGPTやMetaのLlama LLM AIモデルで利用されているニューラルネットワークアーキテクチャ「Transformer Engine」に依存している。
NVIDIAのBlackwellより10倍速く、NVIDIAのHopper AI GPUより20倍速いとされるオプションを顧客に提供することを唯一の目的としている。
これらは確かにEtchedによる大胆な主張であり、それを裏付けるベンチマークもある。同社によれば、SohuのASICは1秒間に500,000以上のLlama 70Bトークンを処理することができ、これはNVIDAのH100のなんと160ユニットに相当するという。
それとは別に、Sohuは、MetaのLlamaであろうとGoogleのAnthropicであろうと、そこにあるすべての最新のAIモデルに対応することができ、チームは、ASICの普及を確実にするために、さらなる統合のための調整も可能であると述べている。
「FLOPSの絞り込み」はSohuが最も得意とするところであり、同社のASICは市場の2倍となる90％という驚異的な稼働率を達成したことを明らかにした。
NVIDIAのような他の企業がプログラマビリティに重点を置いているのに対し、Etchedはトランスフォーマーに特化したトランジスタの大部分を使用することでこれを実現した。
将来についてEtched社は、同社はASIC競争における第一人者であり、誇大広告をどのように利用してきたかを考えれば、ASIC競争における支配的な企業のひとつであろうと述べている。
同社はTSMCと提携し、Sohuで同社の4nmプロセスを採用し、1億2000万ドルの資金を調達したと報告されており、同社が業界から大きな関心を集めていることを示している。
Sohuによって、EtchedはAIのリアルタイム処理を新たな高みへと導き、最終的にはそれを障壁ではなく一般的なものにすることを目指している。
解説：
AI処理のアルゴリズムの一種Transformerに特化したASICが出てきたようです。
メーカーのEtchedはスタートアップ企業でこのASICによってNVIDIAのHopper AI GPUより20倍速い性能を実現できるとしています。
マイニングもビットコイン用のASICが出てきてからビットコインのGPUマイニングは下火になり、アルトコインが主流になりましたが、AI処理もそのようになっていく可能性が高いということなのでしょう。
ASICとは特定のアルゴリズムに特化した半導体のことで、汎用性はありませんが、特定の処理で高い性能を発揮することができます。
これまでAI処理のアクセラレーターは高い汎用性のあるものが主流でしたが、今後は特化型のアクセラレーターも徐々に普及していくかもしれません。
ただし、秒進分歩のAIの世界で特定のアルゴリズムに特化したASICのハードウェアを入れるのは一気に陳腐化する可能性もあったリスクが高いかなあとも思います。
Transformerは2017年12月に発表された論文をもとにしています。
つまり理論が登場してからたったの7年しか経っていません。
Transformerを性能でしのぐといわれている、「xLSTM: Extended Long Short-Term Memory」という技術が注目を集めていますが、これは2024年5月に発表されたものです。
進化し続けるAIの世界において、特化型のASICがどこまでシェアを伸ばせるか注目です。