サムスン製チップは初の超低消費電力LLMプロセッサーであると主張する。
韓国科学技術院（KAIST）の科学者チームは、先ごろ開催された2024年国際固体素子回路会議（ISSCC）で、「相補型トランスフォーマー」AIチップの詳細を発表した。
この新しいC-Transformerチップは、大規模言語モデル（LLM）処理が可能な世界初の超低消費電力AIアクセラレーターチップであると主張している。
プレスリリースの中で研究者たちは、C-TransformerはNvidiaのA100 Tensor Core GPUよりも625倍消費電力が少なく、41倍小さいと主張し、Nvidiaを貶めた。
また、サムスンが製造したチップの成果は、主に洗練されたニューロモーフィック・コンピューティング技術に由来することも明らかにしている。
KAISTのC-Transformerチップは、Nvidiaの強力なA100 GPUの1つと同じLLM処理タスクを実行できると言われているが、我々が入手したプレスや会議の資料には、直接比較した性能指標はない。
これは重要な統計であり、それがないことで際立っている。
皮肉っぽい人々ははおそらく、性能比較はC-Transformerに有利には働かないと推測するだろう。
上のギャラリーには、「チップ写真」とプロセッサーのスペック概要が掲載されている。
C-Transformerは現在、サムスンの28nmプロセスで製造されており、ダイ面積は20.25mm2であることがわかる。最大周波数は200MHzで、消費電力は500mW以下。
最高で3.41TOPSを達成できる。
額面通りでは、これはNvidia A100 PCIeカードの624TOPS（ただしKAISTのチップは625倍少ない消費電力と主張されている）より183倍遅い。
しかし、各プラットフォームが主張するTOPSを見るよりも、何らかのベンチマークによる性能比較を希望する。
C-Transformerチップのアーキテクチャは興味深いもので、3つの主要機能ブロックによって特徴付けられる。第一に、動的に変化する分配エネルギーを効率的に処理するためのハイブリッド乗算累積ユニット（HMAU）を備えたホモジニアスDNN-トランスフォーマー/スパイキングトランスフォーマーコア（HDSC）がある。
第2に、スパイク領域処理のレイテンシと計算量を削減するために、出力スパイク・スペキュレーション・ユニット（OSSU）を搭載している。
第三に、外部メモリアクセス（EMA）のエネルギー消費を削減するために、拡張符号圧縮（ESC）を備えた暗黙ウェイト生成ユニット（IWGU）を実装した。
C-Transformerチップは、LLMの大きなパラメータを圧縮するための「特別なソース」として、既製のニューロモーフィック処理を追加しただけではないと説明されている。
KAISTのプレスリリースによれば、以前はニューロモーフィック・コンピューティング技術はLLMに使用するには十分な精度ではなかったという。
しかし、研究チームは「（ディープ・ニューラル・ネットワークの）DNNに匹敵する精度にまで向上させることに成功した」と述べている。
業界標準のAIアクセラレーターとの直接比較がないため、この初のC-Transformerチップの性能については不確定要素があるものの、モバイル・コンピューティングにとって魅力的な選択肢になるという主張に異を唱えるのは難しい。
研究者たちがサムスンのテストチップと広範なGPT-2テストによってここまで到達したことも心強い。
解説：
韓国発、nVIDIAのA100より1/625の電力削減、1/41の小型化技術、C-Transformer
しかし、根拠となるベンチマークは示せていないということのようです。
韓国では他社・他人が圧倒的な成果を出しているとそれにあやかって何の根拠もなく成果を主張することが往々にしてあり、これもそのような韓国人特有の習性の一つではないかと思います。
半導体技術を例にとるとSamsungもTSMCに先駆けて3nmを生産したと主張しましたが、歩留まりが極端に悪く、どこの企業も量産に手を挙げませんでした。
その後歩留まりは改善されましたが、そのころにはTSMC3nmに顧客を取られてしまっています。
一番乗りすることには確かに意味がありますが、実用的な歩留まりを実現できなければ「ショーケース技術」にとどまってしまい、実質的な意味はありません。
この辺がSamsungのFabが最新プロセッサから避けられる理由の一つだと思います。
翻って今回の話も、ちょっとフカしているのではないかと勘繰ってしまいます。
もちろん根拠となるベンチマークが公開されていませんから、嘘とも本当とも言い切れませんが、韓国人の習性から考えると自分を大きく見せるために嘘をついているように見えます。
「韓国人の"出来ます"、中国人の"出来ました"、日本人の"出来ません"」は信用するなとよく言われますが、今回の話もそういった習性に沿った話に見えますね。
ぜひともベンチマークを公開していただきたいところです。