정부가 공짜로 주는 국산 NPU, 진짜 쓸 수 있나? — 미지원 모델 이식 실험기
프로덕션에서 GPU로 서빙하던 페르소나 이탈 판정 모델(mmBERT 기반 분류기)을 국산 NPU(리벨리온 ATOM+)로 옮기기까지 — 문제 인식부터 어댑터 작성, 실기 컴파일, 벤치마크까지의 여정.
프로덕션에서 GPU로 서빙하던 페르소나 이탈 판정 모델(mmBERT 기반 분류기)을 국산 NPU(리벨리온 ATOM+)로 옮기기까지 — 문제 인식부터 어댑터 작성, 실기 컴파일, 벤치마크까지의 여정.
‘모델을 컴파일한다’는 게 정확히 무슨 뜻일까? eager 실행과의 차이부터 그래프 캡처·연산 융합·커널 lowering·정적 shape·메모리 계획까지, 그림과 인터랙티브 데모로 차근차근 풀어봅니다.