JEV 프롬프트 튜닝하기
수천 행의 학습 라벨에서 문제 행을 찾으려고 저비용 판정 모델 JEV의 프롬프트를 튜닝했다. 프롬프트를 분류기처럼 다루면 된다는 것, 그때 꼭 지켜야 하는 규칙 몇 가지, 그리고 안 지키면 생기는 일을 정리한다.
LLM
LLM 입문: 트랜스포머부터 멀티모달까지
RNN 시절의 한계에서 출발해 트랜스포머가 어떻게 동작하는지, 이후 어떤 개선이 붙었는지, 크게 키운 LLM이 무엇을 할 수 있게 되었는지, 그리고 이미지를 보는 LLM이 어떻게 만들어지는지를 정리합니다.
경량화 시리즈 #6, 지식 증류: 큰 모델의 지식을 작은 모델로
TypeSafe Jev의 등장과 며칠 만에 쏟아진 오픈 판정 모델들, 그리고 요즘 넓게 쓰이는 ‘증류’라는 말에서 출발해 지식 증류(KD)를 정리합니다. 작은 모델이 왜 잘 안 배우는지(NetAug 논문의 underfit 진단), temperature와 dark knowledge, 출력·표현·관계 중 무엇을 따라 하게 할지, LLM 시대의 KD, 그리고 캐릭터 채팅 서비스에 어디에 쓰면 되는지까지 다룹니다.