我最早接觸小樣本學(xué)習(xí)Few-shot learning是在一個(gè)工業(yè)質(zhì)檢的項(xiàng)目里。某個(gè)缺陷類別當(dāng)時(shí)只收集到二十幾張真實(shí)樣本常規(guī)分類模型訓(xùn)練到第三輪就開始過擬合測試集準(zhǔn)確率一路往下掉。后來換成基于Prototypical Network的做法用同類別的少量樣本做原型嵌入效果才勉強(qiáng)能用。那時(shí)候我就意識(shí)到Few-shot learning不是一篇論文里的概念玩具而是很多實(shí)際項(xiàng)目繞不開的硬需求。這篇博文的定位不是帶你從頭復(fù)現(xiàn)某個(gè)模型而是以論文整理和收藏為主線把小樣本學(xué)習(xí)領(lǐng)域最值得讀的論文、最核心的技術(shù)路線、最常踩的坑整理成一份可以持續(xù)更新的收藏夾。適合三類人剛接觸Few-shot learning的研究生想在業(yè)務(wù)里用少量樣本解決問題的工程師以及想快速了解這個(gè)方向全貌、找論文做調(diào)研的從業(yè)者。我盡量用自己做實(shí)驗(yàn)、看論文、復(fù)現(xiàn)代碼時(shí)積累的實(shí)際經(jīng)驗(yàn)來講不會(huì)只做干巴巴的論文列表。1. 先搞清楚Few-shot learning到底在解決什么問題1.1 問題定義N-way K-shot的真正含義小樣本學(xué)習(xí)的目標(biāo)很好理解讓模型在見過極少樣本的情況下學(xué)會(huì)區(qū)分新的類別。但里面有個(gè)細(xì)節(jié)經(jīng)常被新手忽略——Few-shot learning的少樣本不是指訓(xùn)練數(shù)據(jù)總量少而是指新類別上的標(biāo)注樣本少。通常我們用N-way K-shot來描述一個(gè)任務(wù)假設(shè)你現(xiàn)在要做一個(gè)5類分類任務(wù)每個(gè)類別只給你1張或5張標(biāo)注樣本這就是5-way 1-shot或5-way 5-shot。這些少量標(biāo)注數(shù)據(jù)叫支撐集support set用來教會(huì)模型識(shí)別新類別另外還有一組查詢集query set用來評(píng)估模型對新類別的判別能力。訓(xùn)練和測試階段采用同樣的任務(wù)構(gòu)造方式但測試階段出現(xiàn)的類別必須和訓(xùn)練階段完全不相交。這一點(diǎn)特別重要模型不是見過狗的照片后學(xué)會(huì)認(rèn)貓而是在訓(xùn)練時(shí)見過幾百個(gè)不同的小任務(wù)學(xué)會(huì)了一套快速適應(yīng)任何新任務(wù)的能力。這種問題設(shè)定一開始會(huì)讓很多從傳統(tǒng)監(jiān)督學(xué)習(xí)轉(zhuǎn)過來的人不習(xí)慣。傳統(tǒng)分類里訓(xùn)練集和測試集共享類別空間模型學(xué)的是從圖片到固定類別標(biāo)簽的映射Few-shot learning里每個(gè)task的類別都在變模型實(shí)際學(xué)到的是如何在一個(gè)新任務(wù)里快速建立分類能力。所以看論文時(shí)如果看到某個(gè)方法在miniImageNet上表現(xiàn)很好先別急著驚嘆要確認(rèn)它的實(shí)驗(yàn)設(shè)置是不是標(biāo)準(zhǔn)的學(xué)習(xí)算法設(shè)置否則結(jié)果很可能不可比。1.2 四個(gè)維度理解Few-shot learning的難點(diǎn)我把小樣本學(xué)習(xí)的難點(diǎn)歸納為四個(gè)維度這樣在看論文、選方向時(shí)更有針對性。第一是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化失效。樣本量太少時(shí)標(biāo)準(zhǔn)監(jiān)督學(xué)習(xí)的經(jīng)驗(yàn)風(fēng)險(xiǎn)無法逼近期望風(fēng)險(xiǎn)模型很容易退化成記憶訓(xùn)練樣本而不是學(xué)到通用特征。很多早期論文會(huì)專門驗(yàn)證模型在訓(xùn)練集上是不是過擬合這個(gè)細(xì)節(jié)值得關(guān)注。第二是類別缺口。訓(xùn)練階段和測試階段的類別完全不同意味著模型必須學(xué)習(xí)類別的遷移能力而不是類別的固定表征。這正是度量學(xué)習(xí)和元學(xué)習(xí)能派上用場的原因。第三是領(lǐng)域漂移。訓(xùn)練域和測試域如果差異較大比如訓(xùn)練用自然圖像、測試用醫(yī)療影像小樣本問題會(huì)被進(jìn)一步放大。這也是Meta-Dataset這類跨域benchmark出現(xiàn)的原因。第四是評(píng)估方差。隨機(jī)采樣的task會(huì)導(dǎo)致結(jié)果起伏很大不同隨機(jī)種子下的準(zhǔn)確率可能差好幾個(gè)點(diǎn)。所以論文里不看多次實(shí)驗(yàn)的均值等于白看。理解了這四點(diǎn)你再去看論文里的方法設(shè)計(jì)就會(huì)明白很多機(jī)制不是為了炫技而是在解決有限樣本下的邊界問題。1.3 三個(gè)常見的錯(cuò)誤理解很多剛?cè)腴T的同學(xué)會(huì)把小樣本學(xué)習(xí)和數(shù)據(jù)增強(qiáng)劃等號(hào)認(rèn)為只要把樣本翻幾倍就能解決問題。實(shí)際上數(shù)據(jù)增強(qiáng)只解決樣本多樣性不足的問題對小樣本學(xué)習(xí)中類別不可見這一核心矛盾幫助有限。第二個(gè)常見誤區(qū)是覺得預(yù)訓(xùn)練模型加微調(diào)就夠了。直接微調(diào)在大模型時(shí)代某些場景下確實(shí)效果不錯(cuò)但在標(biāo)準(zhǔn)Few-shot benchmark上傳統(tǒng)微調(diào)方式往往跑不過專門設(shè)計(jì)的元學(xué)習(xí)算法除非你加入特殊的正則化和調(diào)參策略。第三個(gè)誤區(qū)更隱蔽把transductive和inductive搞混。inductive設(shè)置下模型只能利用當(dāng)前任務(wù)的支撐集和查詢集測試時(shí)對每個(gè)樣本逐個(gè)預(yù)測transductive設(shè)置下模型能利用整個(gè)查詢集的分布信息來輔助預(yù)測。很多論文會(huì)聲稱自己比別的方法高出幾個(gè)點(diǎn)但你仔細(xì)看實(shí)驗(yàn)設(shè)置會(huì)發(fā)現(xiàn)它用的是transductive而這個(gè)信息往往藏在實(shí)驗(yàn)細(xì)節(jié)的小字里。我在整理論文時(shí)養(yǎng)成了一個(gè)習(xí)慣先看實(shí)驗(yàn)設(shè)置再看方法最后才看結(jié)果。2. 核心技術(shù)路線從四條主線梳理經(jīng)典論文小樣本學(xué)習(xí)發(fā)展到現(xiàn)在方法多到讓人眼花繚亂。但如果按底層思路來分類其實(shí)可以分成四條主線數(shù)據(jù)增強(qiáng)線、度量學(xué)習(xí)線、元學(xué)習(xí)線、優(yōu)化方法線。每條線都有各自的經(jīng)典論文和代表性工作下面逐一展開。2.1 數(shù)據(jù)增強(qiáng)與樣本生成線給模型無中生有的能力這條線的最直接想法是樣本不夠那就生成更多樣本。早期代表性工作有使用GAN和VAE做樣本生成的方案但這些方法有個(gè)致命問題——在極度稀缺樣本條件下生成模型自己也很難訓(xùn)練好。后來大家開始用語義信息來輔助生成比如通過類別屬性的語義嵌入來合成特征而不是直接合成圖片。這在我整理的論文里算一個(gè)分支方向。更實(shí)用的是基于圖像變換和特征增強(qiáng)的方法。例如把同一類的不同圖片做mixup、cutout或者在特征空間內(nèi)做插值這類方法雖然樸素但實(shí)現(xiàn)簡單、加成穩(wěn)定經(jīng)常被用作baseline的上界參考。需要注意數(shù)據(jù)增強(qiáng)方法很少單獨(dú)作為主力方法出現(xiàn)更多是和其他框架尤其是度量學(xué)習(xí)結(jié)合起來用起到疊加buff的作用。我在實(shí)際復(fù)現(xiàn)中體會(huì)很深的一點(diǎn)是增強(qiáng)策略的選擇要和你所用的backbone、數(shù)據(jù)集強(qiáng)相關(guān)ImageNet上有效的策略在醫(yī)學(xué)圖像上不一定有效。2.2 度量學(xué)習(xí)線把分類問題變成距離比較問題度量學(xué)習(xí)是Few-shot learning里最經(jīng)典、最容易被理解的一條線。核心思想特別樸素把樣本映射到嵌入空間后通過比較樣本間的距離來判斷類別相似性。最早期的代表是Siamese Network孿生網(wǎng)絡(luò)發(fā)表于2015年當(dāng)時(shí)主要解決的是one-shot手寫字符識(shí)別問題。它用共享權(quán)重的雙分支網(wǎng)絡(luò)分別編碼兩張圖片再用對比損失讓同類圖片距離近、異類圖片距離遠(yuǎn)。思路簡單但現(xiàn)在回頭看來它的能力上限不高因?yàn)槟Ｐ椭粚W(xué)會(huì)比較成對樣本沒有充分利用整個(gè)支撐集的結(jié)構(gòu)信息。隨后Vinyals等人在2016年提出Matching Networks這是真正意義上定義現(xiàn)代Few-shot learning框架的工作之一。它引入注意力機(jī)制讓查詢樣本通過與支撐集樣本的相似度加權(quán)和來獲得預(yù)測結(jié)果還提出了在訓(xùn)練時(shí)使用與測試時(shí)一致的task采樣策略也就是episodic training。這篇論文奠定了后來很多工作的范式基礎(chǔ)。如果說Siamese Network是比一對那Matching Networks就是比一組。2017年Snell等人提出Prototypical Networks把這一思路推向簡潔極致。它對每個(gè)類別的所有支撐樣本嵌入取均值得到該類別的原型prototype然后計(jì)算查詢樣本與各類別原型的歐氏距離用softmax做分類。實(shí)驗(yàn)證明在大多數(shù)benchmark上Prototypical Networks的表現(xiàn)不遜于Matching Networks甚至更好而且結(jié)構(gòu)更簡單、更穩(wěn)定?？梢哉f它是目前性價(jià)比最高的Few-shot baseline工業(yè)界落地時(shí)我會(huì)優(yōu)先考慮它。再往后有Relation Network2018思路是距離度量不是固定的而是學(xué)習(xí)出來的。它不直接使用歐氏距離或余弦相似度而是把查詢樣本和支撐樣本的特征拼接起來丟給一個(gè)關(guān)系網(wǎng)絡(luò)輸出一個(gè)關(guān)系分?jǐn)?shù)。這個(gè)設(shè)計(jì)讓模型可以學(xué)習(xí)到更復(fù)雜的相似性模式但也增加了過擬合風(fēng)險(xiǎn)。之后還有DeepEMD這類將最優(yōu)傳輸理論引入度量學(xué)習(xí)的論文把距離度量問題建模成一個(gè)分布匹配問題效果很好但計(jì)算開銷大?？傮w來看度量學(xué)習(xí)線的核心演進(jìn)邏輯就是從簡單固定的距離到可學(xué)習(xí)的距離再到更復(fù)雜的分布匹配距離。2.3 元學(xué)習(xí)線讓模型學(xué)會(huì)如何學(xué)習(xí)元學(xué)習(xí)Meta-learning是Few-shot learning里理論深度更高的一個(gè)分支。它不再直接學(xué)一個(gè)分類器而是學(xué)一個(gè)能快速學(xué)習(xí)分類器的學(xué)習(xí)器。這一方向最出圈的論文當(dāng)屬Finn等人在2017年提出的MAMLModel-Agnostic Meta-Learning。MAML的核心思想是用雙層優(yōu)化內(nèi)層在支撐集上快速微調(diào)模型參數(shù)外層在查詢集上評(píng)估微調(diào)后的表現(xiàn)并更新初始參數(shù)。最終學(xué)到的是一個(gè)好的初始參數(shù)這個(gè)初始參數(shù)能讓模型在只見過少量樣本后幾步梯度下降就能快速適應(yīng)新任務(wù)。類比一下它不是在教學(xué)生做這道題而是在給學(xué)生一套快速掌握任何新題型的思維方式。MAML之后一系列變體陸續(xù)出現(xiàn)。Reptile簡化了MAML的推導(dǎo)直接通過多次梯度更新后把參數(shù)拉回初始點(diǎn)實(shí)現(xiàn)更簡單但效果接近Meta-SGD在MAML基礎(chǔ)上學(xué)習(xí)更新方向和更新步長進(jìn)一步增強(qiáng)了適應(yīng)能力LEO則引入隱空間和變分推斷讓MAML在高維參數(shù)空間里更容易優(yōu)化。元學(xué)習(xí)確實(shí)浪漫但在實(shí)際工程落地時(shí)有個(gè)繞不開的問題計(jì)算開銷很大。MAML涉及二階梯度計(jì)算顯存占用和時(shí)間消耗都很高。后來雖然有一階近似方案如FOMAML也犧牲了一部分效果。我個(gè)人的觀點(diǎn)是如果你要快速落地小樣本分類優(yōu)先嘗試度量學(xué)習(xí)如果你的場景是RL或其他復(fù)雜任務(wù)且計(jì)算資源充足再考慮MAML系方法。Where strong generalization is needed元學(xué)習(xí)仍然是最好的選擇之一。2.4 優(yōu)化方法線調(diào)整參數(shù)而非調(diào)整損失第四條線是從優(yōu)化算法角度切入代表工作是Ravi和Larochelle在2017年發(fā)表的Optimization as a Model for Few-Shot Learning。這篇論文觀察到傳統(tǒng)的梯度下降優(yōu)化器在小樣本場景下很不穩(wěn)定樣本少梯度噪聲大很容易陷入局部最優(yōu)。于是他們提出用LSTM作為元學(xué)習(xí)器來學(xué)習(xí)優(yōu)化更新規(guī)則相當(dāng)于用一個(gè)元模型來指導(dǎo)主模型的參數(shù)更新。這條線和MAML在形式上很像但出發(fā)點(diǎn)不同MAML學(xué)的是一個(gè)好的初始參數(shù)LSTM優(yōu)化器學(xué)的是一個(gè)好的更新策略。簡單說MAML告訴你從哪出發(fā)優(yōu)化方法告訴你每步怎么走?？上STM優(yōu)化器的訓(xùn)練復(fù)雜度高泛化能力也有限后來逐漸被更簡潔的meta-learning框架超越。不過它的思想對后來的很多工作都有啟發(fā)比如一些基于學(xué)習(xí)率調(diào)度和梯度校正的方法都可以追溯到這篇論文。除了上面四條主線還有兩條值得留意的支線。一是基于圖網(wǎng)絡(luò)的方法把整個(gè)task建模成圖用GNN做標(biāo)簽傳遞和分類代表作是2018年的Few-Shot Learning with Graph Neural Networks這種思路在處理樣本間復(fù)雜關(guān)系時(shí)很有效。二是基于生成模型和半監(jiān)督思想的方案用未標(biāo)注數(shù)據(jù)輔助小樣本學(xué)習(xí)代表如LaplacianShot在transductive設(shè)置下表現(xiàn)很亮眼。整理論文時(shí)我建議以四條主線為骨架把支線掛到對應(yīng)的主線上這樣知識(shí)結(jié)構(gòu)才清晰。3. 收藏夾里的經(jīng)典論文閱讀路徑與復(fù)現(xiàn)價(jià)值論文整理最難的不是把論文放進(jìn)列表而是讓列表有梯度、有邏輯。下面給出一條我推薦的閱讀路徑和收藏優(yōu)先級(jí)按難度和基礎(chǔ)性分層。3.1 入門五篇論文怎么讀怎么選如果只讓我從收藏夾里挑五篇必讀論文我會(huì)選Matching Networks、Prototypical Networks、MAML、Relation Network、A Closer Look at Few-shot Classification。Matching Networks和Prototypical Networks是理解episodic training和task構(gòu)造的鑰匙讀完它們你就知道Few-shot learning的數(shù)據(jù)流是什么樣。MAML讓你理解元學(xué)習(xí)的核心思想。Relation Network會(huì)讓你看到度量學(xué)習(xí)流的多樣性。而A Closer Look這篇論文極為重要它是很多人容易忽略的定海神針——作者對比了各種baseline后發(fā)現(xiàn)只要在標(biāo)準(zhǔn)backbone上做簡單的距離度量效果就已經(jīng)能匹敵很多復(fù)雜元學(xué)習(xí)算法。這篇論文讓我重新思考了很多刷點(diǎn)工作的可信度強(qiáng)烈建議在讀完前四篇之后立刻讀。讀這五篇的順序也有講究先讀Prototypical Networks理解基礎(chǔ)再讀Matching Networks理解注意力版本接著讀Relation Network擴(kuò)展對度量學(xué)習(xí)的想象然后讀MAML進(jìn)入元學(xué)習(xí)最后用A Closer Look收束建立對baseline的清醒認(rèn)知。這樣讀完你在跟別人聊Few-shot learning時(shí)就不會(huì)只停留在名詞層面。3.2 必備的baseline和重新審視類論文我整理論文時(shí)會(huì)單列一個(gè)baseline與審視分類因?yàn)樽鰧?shí)驗(yàn)沒有靠譜baseline等于沒有坐標(biāo)系。A Closer Look at Few-shot Classification2019是這個(gè)分類里的第一優(yōu)先級(jí)。它明確了幾種baselineRegular Fine-tuning、Baseline用特征提取器加分類器、Baseline加入余弦分類器。論文的核心結(jié)論是預(yù)訓(xùn)練特征提取器的質(zhì)量在很大程度上決定了Few-shot性能方法本身的增益沒有想象中大。這給我們一個(gè)提醒別急著上復(fù)雜的元學(xué)習(xí)先確認(rèn)你的backbone夠不夠強(qiáng)。另一篇值得關(guān)注的審視類論文是Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?2022年ECCV。作者發(fā)現(xiàn)一個(gè)精心訓(xùn)練的嵌入模型配合簡單的距離分類器就能在多個(gè)benchmark上達(dá)到SOTA水平。這再次印證了特征質(zhì)量的重要性。讀到這類論文后我會(huì)刻意在自己的實(shí)驗(yàn)里多設(shè)計(jì)強(qiáng)backbone 簡單分類器的對照實(shí)驗(yàn)而不是一上來就堆復(fù)雜模塊。這類審視類論文對研究方向的影響非常深遠(yuǎn)。它們能幫你篩掉大量實(shí)質(zhì)貢獻(xiàn)有限、只是通過復(fù)雜模塊刷點(diǎn)的論文。我的經(jīng)驗(yàn)是任何新方法要想說服我至少要能回答一個(gè)問題——你的復(fù)雜設(shè)計(jì)比同樣backbone下的簡單baseline強(qiáng)多少如果只強(qiáng)1-2個(gè)點(diǎn)那要打個(gè)問號(hào)。3.3 關(guān)于benchmark和數(shù)據(jù)集的選擇論文刷榜離不開數(shù)據(jù)集但很多新人不知道如何選數(shù)據(jù)集。我把常用benchmark整理成一張表方便收藏時(shí)對照使用。數(shù)據(jù)集類別數(shù)單類樣本量特點(diǎn)適用場景Omniglot162320字符集任務(wù)簡單適合快速驗(yàn)證驗(yàn)證算法可行性的首選miniImageNet100600小規(guī)模ImageNet子集使用最廣泛標(biāo)準(zhǔn)對比絕大多數(shù)論文的擂臺(tái)tieredImageNet608約1000按WordNet層級(jí)劃分類別間語義gap更大測試類別泛化能力CIFAR-FS100600從CIFAR-100采樣分辨率低快速實(shí)驗(yàn)資源受限時(shí)FC100100600從CIFAR-100按層級(jí)劃分比CIFAR-FS更接近真實(shí)場景CUB-200200平均約30細(xì)粒度鳥類識(shí)別測試細(xì)粒度小樣本能力Meta-Dataset多域不固定跨域多任務(wù)benchmark評(píng)測模型跨域泛化能力Omniglot雖然是入門必備但它的任務(wù)難度偏低很多在Omniglot上效果驚艷的方法在miniImageNet上可能直接翻車。其原因我在前面強(qiáng)調(diào)過字符圖像類別之間差異較大且背景干凈、多樣化程度低模型容易學(xué)到捷徑。所以看論文時(shí)如果對方只在Omniglot上做實(shí)驗(yàn)?zāi)菂⒖純r(jià)值有限。我自己最快的驗(yàn)證流程是先在miniImageNet上跑通再在CUB上用細(xì)粒度數(shù)據(jù)壓測一次最后如果業(yè)務(wù)場景和自然圖像差異大再補(bǔ)Meta-Dataset。對于細(xì)粒度場景CUB-200是很好的壓力測試。它是細(xì)粒度識(shí)別的經(jīng)典集類別之間的差異非常小能暴露出方法是否真的理解了類別間的細(xì)微差別。很多在miniImageNet上表現(xiàn)不錯(cuò)的度量學(xué)習(xí)方法在CUB上反而掉點(diǎn)原因就是它們只學(xué)到了大類間的區(qū)分特征沒有學(xué)到細(xì)粒度判別特征。4. 我在論文整理和復(fù)現(xiàn)中踩過的坑這個(gè)部分是我最想寫的因?yàn)榫W(wǎng)上教程很少講細(xì)節(jié)。我整理論文、復(fù)現(xiàn)代碼的過程里踩了不少坑有的坑浪費(fèi)了我一整周時(shí)間。4.1 評(píng)估協(xié)議的坑隨機(jī)采樣還是固定劃分Few-shot learning最常見的坑出現(xiàn)在評(píng)估協(xié)議上。早期很多論文使用隨機(jī)采樣的task來測試即從測試類里隨機(jī)選5個(gè)類構(gòu)成task做大量episode后取平均。這種做法的缺點(diǎn)是不同隨機(jī)種子下結(jié)果波動(dòng)大很可能把某個(gè)運(yùn)氣好的結(jié)果當(dāng)成方法有效?，F(xiàn)在的標(biāo)準(zhǔn)做法是使用固定seed或固定劃分并且報(bào)告多次seed的均值方差。還有更隱蔽的坑訓(xùn)練時(shí)的task采樣分布和測試時(shí)不一致。有些論文在訓(xùn)練時(shí)使用更多的way類別數(shù)測試時(shí)使用更少的way這雖然是一種正則化手段但會(huì)讓結(jié)果不公平。我在復(fù)現(xiàn)某篇論文時(shí)發(fā)現(xiàn)它訓(xùn)練時(shí)用10-way測試時(shí)用5-way而對比方法都用5-way訓(xùn)練這就成了一個(gè)不公平競爭。復(fù)現(xiàn)前一定要確認(rèn)task配置完全一致。4.2 代碼復(fù)現(xiàn)的坑transductive/inductive很容易混這是我在復(fù)現(xiàn)時(shí)最頭疼的坑。有些論文只寫in the transductive setting但代碼里已經(jīng)把整個(gè)query set傳給模型做批標(biāo)準(zhǔn)化統(tǒng)計(jì)量計(jì)算而這個(gè)細(xì)節(jié)在正文里根本不會(huì)細(xì)說。如果你用同樣的超參數(shù)跑inductive版本結(jié)果會(huì)差很多但你以為方法失效了其實(shí)只是設(shè)置不同。建議在整理論文時(shí)對每一篇方法打一個(gè)標(biāo)簽inductive還是transductive。這直接決定了它能否在你的業(yè)務(wù)場景上使用——比如在線推理場景是典型inductive你不可能等到一批query湊齊了再預(yù)測。另一個(gè)常見問題是數(shù)據(jù)劃分泄露。miniImageNet的劃分版本有很多啊Ravi版本、Vinyals版本、還有后來重新劃分的版本不同版本之間的模型性能差異非常大。整理代碼時(shí)要先確認(rèn)它用的是哪套劃分文件最好直接使用論文作者提供的train.csv、val.csv、test.csv自己手動(dòng)重排很容易出錯(cuò)。4.3 論文整理的工具與流程說了這么多論文相關(guān)的內(nèi)容最后分享一個(gè)實(shí)操性強(qiáng)的工具流和方法。我目前使用的論文整理方案是GitHub倉庫 Notion數(shù)據(jù)庫 Zotero文獻(xiàn)管理三管齊下。GitHub倉庫放的是markdown格式的論文列表每條記錄包含標(biāo)題、會(huì)議/期刊、年份、代碼鏈接、一句話說明、我的閱讀狀態(tài)。Notion數(shù)據(jù)庫用于日常閱讀標(biāo)記和筆記屬性字段包括分類數(shù)據(jù)增強(qiáng)/度量/元學(xué)習(xí)/優(yōu)化、數(shù)據(jù)集、是否transductive、我的復(fù)現(xiàn)難度評(píng)分。Zotero用來掛PDF正文和注釋配合插件可以一鍵抓取論文元信息。我建議每條論文記錄都要填一句話說明。這個(gè)說明不是論文摘要而是你的個(gè)人理解。比如對Prototypical Networks我寫的是類原型均值歐氏距離極簡但穩(wěn)對MAML寫的是學(xué)初始參數(shù)雙層優(yōu)化代價(jià)高。當(dāng)你積攢到幾十條之后回看自己的一句話說清楚整理效率會(huì)極大提升。最后分享一個(gè)我自己的整理習(xí)慣每個(gè)月我會(huì)翻一遍自己整理的論文列表把那些當(dāng)時(shí)覺得有意思但沒有深入的論文重新打開看一遍。我的經(jīng)驗(yàn)是很多論文當(dāng)時(shí)看不懂或者覺得沒用等你在業(yè)務(wù)里遇到對應(yīng)問題后回看反而會(huì)讀出新的價(jià)值。小樣本學(xué)習(xí)這個(gè)方向變化很快但核心問題和解法框架是穩(wěn)定的。你把主干抓住每年產(chǎn)生的枝枝葉葉掃一遍就夠了這也是我持續(xù)維護(hù)這份收藏夾的底層邏輯。提示如果你是從零開始建自己的Few-shot學(xué)習(xí)論文收藏庫不要太追求全。先把我上面列的三條主線核心論文讀透建立起baseline體系再按需擴(kuò)展即可。別人的收藏夾永遠(yuǎn)代替不了自己動(dòng)手做一遍實(shí)驗(yàn)論文整理只是第一步。