https://blog.caveduck.io/ja/tags/ste/Recent content in STE on Warpspace ブログHugo -- 0.154.5ja-JPMon, 11 May 2026 00:00:00 +0000https://blog.caveduck.io/ja/posts/quantization-aware-training/Mon, 11 May 2026 00:00:00 +0000https://blog.caveduck.io/ja/posts/quantization-aware-training/PTQは大きなモデルには効きますが、小さなモデル・低ビットでは崩壊します（2ビットで13.6%まで）。解決策は学習そのものに量子化を組み込むQATです。forwardにfake quantizationを差し込み、roundの勾配が0という問題をSTE（Straight-Through Estimator）で突破します。roundは微分が0なのに、なぜ学習できるのか？ — MNIST MLPで直接測定したplotとともに。