https://blog.caveduck.io/ko/tags/hadamard/Recent content in Hadamard on 워프스페이스 블로그Hugo -- 0.154.5ko-KRMon, 04 May 2026 00:00:00 +0000https://blog.caveduck.io/ko/posts/low-bit-quantization/Mon, 04 May 2026 00:00:00 +0000https://blog.caveduck.io/ko/posts/low-bit-quantization/FP4는 표현값이 15개뿐인데 최신 GPU는 어떻게 4비트로 추론할까요? 저비트 양자화를 무너뜨리는 범인은 아웃라이어입니다. outlier 하나가 층을 통째로 지우는 실험부터, 그룹 양자화(MXFP4)·KL clipping·AdaRound·Hadamard 회전이라는 네 가지 처방까지, 2비트에서 53%로 무너진 정확도가 97%로 돌아오는 실험과 함께 코드로 하나씩 검증합니다.