정부가 공짜로 주는 국산 NPU, 진짜 쓸 수 있나? — 미지원 모델 이식 실험기
프로덕션에서 GPU로 서빙하던 페르소나 이탈 판정 모델(mmBERT 기반 분류기)을 국산 NPU(리벨리온 ATOM+)로 옮기기까지 — 문제 인식부터 어댑터 작성, 실기 컴파일, 벤치마크까지의 여정.
Posts
뉴럴넷 컴파일, 쉽게 이해하기 — 파이토치 모델이 하드웨어 언어가 되기까지
‘모델을 컴파일한다’는 게 정확히 무슨 뜻일까? eager 실행과의 차이부터 그래프 캡처·연산 융합·커널 lowering·정적 shape·메모리 계획까지, 그림과 인터랙티브 데모로 차근차근 풀어봅니다.
경량화 시리즈 #3 — 뉴럴넷 프루닝
1989년 LeCun의 Optimal Brain Damage에서 시작해, 가중치를 잘라내(pruning) 모델을 줄이는 이야기. 무엇을·어떻게·얼마나 자르나, 재학습으로 95%까지 잘라도 버티는 압축의 놀라움, 그리고 하드웨어(NVIDIA 2:4)가 받쳐줘야 실이득이라는 것까지 — MNIST MLP로 직접 측정한 plot과 함께.
경량화 시리즈 #2 — 뉴럴넷 양자화
학습된 32비트 신경망 가중치를 K-Means(비균등)와 Linear(균등, 정수 연산) 두 방식으로 2~8비트까지 줄여봅니다. 아핀 매핑 r=S(q−Z)부터 압축비·정확도 트레이드오프까지, MNIST MLP로 직접 코드를 돌려 측정한 plot과 함께.
경량화 시리즈 #1 — 딥러닝 데이터타입
INT8, FP16, BF16, FP8(E4M3/E5M2), FP4 — 딥러닝 모델 카드에 쏟아지는 데이터타입들이 실제로 무슨 뜻인지, 비트가 어떻게 숫자로 해석되는지 하나씩 뜯어봅니다. 비트를 직접 클릭하면 계산식과 값이 실시간으로 바뀌는 위젯과 함께.
워프스페이스 블로그에 오신 것을 환영합니다
워프스페이스 블로그를 소개합니다 - Caveduck.io를 만들어가는 여정을 공유합니다