政府が無償で配る国産NPU、本当に使えるのか? — 非対応モデル移植の実験記
本番でGPUサービングしていたペルソナ逸脱判定モデル(mmBERTベースの分類器)を国産NPU(Rebellions ATOM+)へ移すまで — 問題認識からアダプタ作成、実機コンパイル、ベンチマークまでの道のり。
本番でGPUサービングしていたペルソナ逸脱判定モデル(mmBERTベースの分類器)を国産NPU(Rebellions ATOM+)へ移すまで — 問題認識からアダプタ作成、実機コンパイル、ベンチマークまでの道のり。
「モデルをコンパイルする」とは正確にどういう意味なのでしょうか? eager実行との違いから、グラフキャプチャ・演算融合・カーネルlowering・静的shape・メモリプランニングまで、図とインタラクティブなデモで一つずつ解きほぐしていきます。