軽量化シリーズ #4 — 低ビット量子化：アウトライアとの戦い
FP4が表現できる値はたった15個。それなのに最新GPUはどうやって4ビットで推論を回すのでしょうか？低ビット量子化を崩壊させる犯人はアウトライアです。アウトライア1個が層を丸ごと消す実験から、グループ量子化（MXFP4）・KLクリッピング・AdaRound・Hadamard回転という4つの処方箋まで — 2ビットで53%まで崩れた精度が97%に戻る実験とともに、コードで1つずつ検証します。
FP4が表現できる値はたった15個。それなのに最新GPUはどうやって4ビットで推論を回すのでしょうか？低ビット量子化を崩壊させる犯人はアウトライアです。アウトライア1個が層を丸ごと消す実験から、グループ量子化（MXFP4）・KLクリッピング・AdaRound・Hadamard回転という4つの処方箋まで — 2ビットで53%まで崩れた精度が97%に戻る実験とともに、コードで1つずつ検証します。