QAT

PTQは大きなモデルには効きますが、小さなモデル・低ビットでは崩壊します（2ビットで13.6%まで）。解決策は学習そのものに量子化を組み込むQATです。forwardにfake quantizationを差し込み、roundの勾配が0という問題をSTE（Straight-Through Estimator）で突破します。roundは微分が0なのに、なぜ学習できるのか？ — MNIST MLPで直接測定したplotとともに。