一句話說清：剪枝就是給訓練好的大模型“動手術”，刪掉用不上的連接讓它更輕。1. 它到底在說什么Pruning（剪枝）是一類模型壓縮（model compression）方法：把訓練好的神經(jīng)網(wǎng)絡里“貢獻很小”的參數(shù)刪掉，讓模型更小、更省算力，同時盡量不掉精度。它的底氣來自一個被反復驗證的觀察——大模型幾乎都是“過度參數(shù)化”（over-parameterized）的，里面大量權重、神經(jīng)元、卷積核彼此重復，刪掉一部分并不影響它干活。打個比方：就像裝修完的房間里堆了一堆常年沒人碰的家具和電線。剪枝不是重新蓋房子，而是把那些“用不上”的東西搬走——房子照樣住人，但更空、更好維護、搬家用更小車。2. 為什么現(xiàn)在這個詞很熱剪枝不是新詞，它火過好幾輪：1990 年，LeCun 等人提出 Optimal Brain Damage（最優(yōu)腦損傷，OBD），用損失函數(shù)對權重的二階信息（Hessian 對角）給權重重要性打分，是剪枝的理論起點；1993 年 Hassibi 等人提出 Optimal Brain Surgeon（OBS）進一步推廣。2015–2016 年，Han 等人先后發(fā)表“Learning Both