경량화 시리즈 #6, 지식 증류: 큰 모델의 지식을 작은 모델로
TypeSafe Jev의 등장과 며칠 만에 쏟아진 오픈 판정 모델들, 그리고 요즘 넓게 쓰이는 ‘증류’라는 말에서 출발해 지식 증류(KD)를 정리합니다. 작은 모델이 왜 잘 안 배우는지(NetAug 논문의 underfit 진단), temperature와 dark knowledge, 출력·표현·관계 중 무엇을 따라 하게 할지, LLM 시대의 KD, 그리고 캐릭터 채팅 서비스에 어디에 쓰면 되는지까지 다룹니다.