Warpspace ブログへようこそ
Caveduck.io - AIコンパニオンサービスを開発するWarpspaceです。AI、テクノロジー、イノベーションについて発信します。
政府が無償で配る国産NPU、本当に使えるのか? — 非対応モデル移植の実験記
本番でGPUサービングしていたペルソナ逸脱判定モデル（mmBERTベースの分類器）を国産NPU（Rebellions ATOM+）へ移すまで — 問題認識からアダプタ作成、実機コンパイル、ベンチマークまでの道のり。
ニューラルネットのコンパイルをやさしく理解する — PyTorchモデルがハードウェアの言語になるまで
「モデルをコンパイルする」とは正確にどういう意味なのでしょうか? eager実行との違いから、グラフキャプチャ・演算融合・カーネルlowering・静的shape・メモリプランニングまで、図とインタラクティブなデモで一つずつ解きほぐしていきます。
軽量化シリーズ #3 — ニューラルネット・プルーニング
1989年、LeCunのOptimal Brain Damageから始まる、重みを刈り込んで(pruning)モデルを小さくする物語。何を・どうやって・どれだけ削るのか、再学習すれば95%削ってもびくともしない圧縮の驚き、そしてハードウェア(NVIDIA 2:4)が支えて初めて実利益が出るところまで — MNIST MLPで実測したplotとともに。
軽量化シリーズ #2 — ニューラルネット量子化
学習済みの32ビットニューラルネットワークの重みを、K-Means（非均等）とLinear（均等・整数演算）の2つの方式で2〜8ビットまで削ってみます。アフィン写像 r=S(q−Z) から圧縮率・精度のトレードオフまで、MNIST MLPで実際にコードを回して測定したplotとともに。
軽量化シリーズ #1 — ディープラーニングのデータ型
INT8、FP16、BF16、FP8(E4M3/E5M2)、FP4 — ディープラーニングのモデルカードにあふれるデータ型が実際に何を意味するのか、ビットがどのように数値へ解釈されるのかを一つずつ紐解きます。ビットを直接クリックすると計算式と値がリアルタイムに変わるウィジェットとともに。
Warpspace ブログへようこそ
Warpspace ブログのご紹介 - Caveduck.io を作る旅をお伝えします