軽量化シリーズ #3 — ニューラルネット・プルーニング
1989年、LeCunのOptimal Brain Damageから始まる、重みを刈り込んで(pruning)モデルを小さくする物語。何を・どうやって・どれだけ削るのか、再学習すれば95%削ってもびくともしない圧縮の驚き、そしてハードウェア(NVIDIA 2:4)が支えて初めて実利益が出るところまで — MNIST MLPで実測したplotとともに。
1989年、LeCunのOptimal Brain Damageから始まる、重みを刈り込んで(pruning)モデルを小さくする物語。何を・どうやって・どれだけ削るのか、再学習すれば95%削ってもびくともしない圧縮の驚き、そしてハードウェア(NVIDIA 2:4)が支えて初めて実利益が出るところまで — MNIST MLPで実測したplotとともに。