量子化

学習済みの32ビットニューラルネットワークの重みを、K-Means（非均等）とLinear（均等・整数演算）の2つの方式で2〜8ビットまで削ってみます。アフィン写像 r=S(q−Z) から圧縮率・精度のトレードオフまで、MNIST MLPで実際にコードを回して測定したplotとともに。

INT8、FP16、BF16、FP8(E4M3/E5M2)、FP4 — ディープラーニングのモデルカードにあふれるデータ型が実際に何を意味するのか、ビットがどのように数値へ解釈されるのかを一つずつ紐解きます。ビットを直接クリックすると計算式と値がリアルタイムに変わるウィジェットとともに。