https://blog.caveduck.io/ko/tags/ste/Recent content in STE on 워프스페이스 블로그Hugo -- 0.154.5ko-KRMon, 11 May 2026 00:00:00 +0000https://blog.caveduck.io/ko/posts/quantization-aware-training/Mon, 11 May 2026 00:00:00 +0000https://blog.caveduck.io/ko/posts/quantization-aware-training/PTQ는 큰 모델엔 통하지만 작은 모델·저비트에서 무너집니다(2비트에서 13.6%로 붕괴). 해법은 학습 자체에 양자화를 넣는 QAT입니다. forward에 fake quantization을 끼우고, round의 gradient가 0인 문제를 STE(Straight-Through Estimator)로 뚫습니다. round는 미분이 0인데 어떻게 학습이 될까? MNIST MLP로 직접 측정한 plot과 함께.