1. 項(xiàng)目概述在計(jì)算機(jī)視覺(jué)領(lǐng)域長(zhǎng)尾分布Long-Tailed Distribution問(wèn)題一直是目標(biāo)檢測(cè)Object Detection任務(wù)中的主要挑戰(zhàn)之一。ICLR 2025這篇論文《Pursuing Better Decision Boundaries for Long-Tailed Object Detection via Category Information》提出了一種創(chuàng)新方法通過(guò)利用類(lèi)別信息Category Information來(lái)優(yōu)化決策邊界Decision Boundaries從而提升長(zhǎng)尾場(chǎng)景下的檢測(cè)性能。長(zhǎng)尾分布指的是在現(xiàn)實(shí)世界的數(shù)據(jù)集中少數(shù)類(lèi)別頭部類(lèi)別擁有大量樣本而大多數(shù)類(lèi)別尾部類(lèi)別只有少量樣本。這種不平衡會(huì)導(dǎo)致模型在頭部類(lèi)別上表現(xiàn)良好但在尾部類(lèi)別上表現(xiàn)欠佳。傳統(tǒng)方法如重采樣Re-sampling或重加權(quán)Re-weighting雖然能緩解這一問(wèn)題但往往忽視了類(lèi)別間的語(yǔ)義關(guān)系。2. 核心問(wèn)題解析2.1 長(zhǎng)尾目標(biāo)檢測(cè)的挑戰(zhàn)長(zhǎng)尾目標(biāo)檢測(cè)面臨三個(gè)主要挑戰(zhàn)樣本不平衡頭部類(lèi)別和尾部類(lèi)別的樣本數(shù)量差異巨大導(dǎo)致模型偏向于學(xué)習(xí)頭部類(lèi)別的特征。特征混淆尾部類(lèi)別的樣本不足使得模型難以學(xué)習(xí)到區(qū)分性強(qiáng)的特征容易與相似類(lèi)別混淆。決策邊界偏移由于樣本分布不均決策邊界往往會(huì)向尾部類(lèi)別偏移導(dǎo)致分類(lèi)錯(cuò)誤。2.2 類(lèi)別信息的作用類(lèi)別信息Category Information包括類(lèi)別的語(yǔ)義描述、視覺(jué)特征以及類(lèi)別間的層次關(guān)系。論文提出通過(guò)充分利用這些信息可以更好地建模類(lèi)別間的相似性和差異性從而優(yōu)化決策邊界。具體來(lái)說(shuō)語(yǔ)義描述如類(lèi)別的名稱或?qū)傩钥梢詭椭Ｐ屠斫忸?lèi)別的語(yǔ)義含義。視覺(jué)特征通過(guò)預(yù)訓(xùn)練模型提取的視覺(jué)特征可以捕捉類(lèi)別的視覺(jué)模式。層次關(guān)系如類(lèi)別間的父子關(guān)系或相似性可以幫助模型共享知識(shí)提升尾部類(lèi)別的表現(xiàn)。3. 方法詳解3.1 總體框架論文提出的方法主要包括三個(gè)模塊類(lèi)別信息編碼器將類(lèi)別的語(yǔ)義描述和視覺(jué)特征編碼為統(tǒng)一的表示。決策邊界優(yōu)化器利用編碼后的類(lèi)別信息調(diào)整分類(lèi)器的決策邊界使其更適應(yīng)長(zhǎng)尾分布。知識(shí)遷移模塊通過(guò)類(lèi)別間的層次關(guān)系將頭部類(lèi)別的知識(shí)遷移到尾部類(lèi)別。3.2 類(lèi)別信息編碼器類(lèi)別信息編碼器的目標(biāo)是將類(lèi)別的多種信息如名稱、屬性、視覺(jué)特征融合為一個(gè)統(tǒng)一的表示。具體步驟文本編碼使用預(yù)訓(xùn)練的語(yǔ)言模型如BERT將類(lèi)別的名稱和屬性編碼為文本特征。視覺(jué)編碼使用預(yù)訓(xùn)練的視覺(jué)模型如ResNet提取類(lèi)別的視覺(jué)特征。特征融合通過(guò)注意力機(jī)制將文本特征和視覺(jué)特征融合為統(tǒng)一的類(lèi)別表示。3.3 決策邊界優(yōu)化器決策邊界優(yōu)化器的核心思想是利用類(lèi)別信息來(lái)調(diào)整分類(lèi)器的決策邊界。具體方法類(lèi)別相似性計(jì)算基于類(lèi)別表示計(jì)算類(lèi)別間的相似性矩陣。邊界調(diào)整根據(jù)相似性矩陣調(diào)整決策邊界使得相似類(lèi)別的邊界更加明確同時(shí)保留足夠的區(qū)分性。動(dòng)態(tài)權(quán)重根據(jù)類(lèi)別的樣本數(shù)量動(dòng)態(tài)調(diào)整分類(lèi)器的權(quán)重避免頭部類(lèi)別主導(dǎo)訓(xùn)練過(guò)程。3.4 知識(shí)遷移模塊知識(shí)遷移模塊通過(guò)類(lèi)別間的層次關(guān)系將頭部類(lèi)別的知識(shí)遷移到尾部類(lèi)別。具體實(shí)現(xiàn)層次結(jié)構(gòu)建模構(gòu)建類(lèi)別間的層次樹(shù)捕捉父子關(guān)系。特征共享在層次樹(shù)中子類(lèi)別繼承父類(lèi)別的特征表示同時(shí)學(xué)習(xí)自身的獨(dú)特特征。正則化約束通過(guò)正則化項(xiàng)確保子類(lèi)別的特征不會(huì)偏離父類(lèi)別太遠(yuǎn)保持語(yǔ)義一致性。4. 實(shí)驗(yàn)與結(jié)果4.1 數(shù)據(jù)集與設(shè)置論文在多個(gè)長(zhǎng)尾目標(biāo)檢測(cè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)包括LVIS、COCO-LT和Open Images-LT。這些數(shù)據(jù)集的共同特點(diǎn)是類(lèi)別分布極度不平衡頭部類(lèi)別占據(jù)大多數(shù)樣本而尾部類(lèi)別樣本稀少。4.2 對(duì)比方法論文對(duì)比了以下幾種方法Baseline標(biāo)準(zhǔn)的目標(biāo)檢測(cè)模型如Faster R-CNN不加任何長(zhǎng)尾處理。Re-sampling通過(guò)過(guò)采樣尾部類(lèi)別或欠采樣頭部類(lèi)別來(lái)平衡數(shù)據(jù)分布。Re-weighting根據(jù)類(lèi)別樣本數(shù)量調(diào)整損失函數(shù)的權(quán)重。Decoupling解耦表示學(xué)習(xí)和分類(lèi)器調(diào)整的兩階段方法。BBN雙向網(wǎng)絡(luò)結(jié)合重采樣和重加權(quán)。4.3 主要結(jié)果實(shí)驗(yàn)結(jié)果表明論文提出的方法在多個(gè)數(shù)據(jù)集上均取得了最優(yōu)性能尤其是在尾部類(lèi)別上的提升更為顯著。具體來(lái)說(shuō)LVIS數(shù)據(jù)集APAverage Precision提升了5.2%其中尾部類(lèi)別的AP提升了8.7%。COCO-LT數(shù)據(jù)集AP提升了4.1%尾部類(lèi)別的AP提升了7.3%。Open Images-LT數(shù)據(jù)集AP提升了3.8%尾部類(lèi)別的AP提升了6.9%。4.4 消融實(shí)驗(yàn)消融實(shí)驗(yàn)驗(yàn)證了各個(gè)模塊的有效性類(lèi)別信息編碼器移除后性能下降3.5%說(shuō)明類(lèi)別信息的融合對(duì)提升檢測(cè)性能至關(guān)重要。決策邊界優(yōu)化器移除后性能下降2.8%表明優(yōu)化決策邊界能有效緩解長(zhǎng)尾問(wèn)題。知識(shí)遷移模塊移除后性能下降2.1%說(shuō)明通過(guò)層次關(guān)系遷移知識(shí)對(duì)尾部類(lèi)別有幫助。5. 實(shí)操建議與注意事項(xiàng)5.1 實(shí)現(xiàn)細(xì)節(jié)預(yù)訓(xùn)練模型選擇文本編碼器建議使用BERT或RoBERTa視覺(jué)編碼器建議使用ResNet或ViT。預(yù)訓(xùn)練模型的質(zhì)量直接影響類(lèi)別表示的優(yōu)劣。注意力機(jī)制設(shè)計(jì)特征融合時(shí)可以使用多頭注意力機(jī)制來(lái)捕捉不同模態(tài)間的復(fù)雜關(guān)系。相似性計(jì)算建議使用余弦相似度或馬氏距離來(lái)計(jì)算類(lèi)別間的相似性避免使用歐氏距離受維度影響較大。5.2 調(diào)參技巧學(xué)習(xí)率設(shè)置由于涉及多個(gè)模塊建議采用分層學(xué)習(xí)率對(duì)不同的模塊設(shè)置不同的學(xué)習(xí)率。正則化強(qiáng)度知識(shí)遷移模塊中的正則化系數(shù)需要仔細(xì)調(diào)整過(guò)強(qiáng)會(huì)限制子類(lèi)別的獨(dú)特性過(guò)弱會(huì)導(dǎo)致遷移效果不佳。動(dòng)態(tài)權(quán)重動(dòng)態(tài)權(quán)重的調(diào)整策略可以采用平滑的指數(shù)衰減避免劇烈波動(dòng)。5.3 常見(jiàn)問(wèn)題與解決方案過(guò)擬合尾部類(lèi)別樣本少容易過(guò)擬合。解決方法包括數(shù)據(jù)增強(qiáng)如MixUp、CutMix、早停Early Stopping和更強(qiáng)的正則化。模態(tài)沖突文本和視覺(jué)特征可能來(lái)自不同的分布導(dǎo)致融合困難。解決方法包括模態(tài)對(duì)齊如使用對(duì)比學(xué)習(xí)和特征歸一化。計(jì)算開(kāi)銷(xiāo)類(lèi)別信息編碼和決策邊界優(yōu)化會(huì)增加計(jì)算負(fù)擔(dān)。解決方法包括使用高效的注意力機(jī)制如Linformer和分布式訓(xùn)練。6. 擴(kuò)展與應(yīng)用6.1 開(kāi)放詞匯目標(biāo)檢測(cè)開(kāi)放詞匯目標(biāo)檢測(cè)Open-Vocabulary Object Detection, OVOD是目標(biāo)檢測(cè)的新興方向旨在檢測(cè)訓(xùn)練集中未出現(xiàn)的類(lèi)別。論文的方法可以通過(guò)類(lèi)別信息的泛化能力擴(kuò)展到OVOD任務(wù)中。具體來(lái)說(shuō)零樣本檢測(cè)利用類(lèi)別的語(yǔ)義描述模型可以檢測(cè)未見(jiàn)過(guò)的類(lèi)別。增量學(xué)習(xí)通過(guò)動(dòng)態(tài)更新類(lèi)別信息編碼器模型可以逐步學(xué)習(xí)新的類(lèi)別。6.2 偽裝目標(biāo)檢測(cè)偽裝目標(biāo)檢測(cè)Camouflaged Object Detection, COD旨在檢測(cè)與背景高度融合的目標(biāo)。論文的方法可以通過(guò)優(yōu)化決策邊界提升模型對(duì)偽裝目標(biāo)的區(qū)分能力。具體應(yīng)用特征分解將目標(biāo)的特征與背景特征分離避免混淆。邊緣重建通過(guò)邊緣信息強(qiáng)化決策邊界提升檢測(cè)精度。6.3 其他長(zhǎng)尾任務(wù)論文的方法可以推廣到其他長(zhǎng)尾任務(wù)中如圖像分類(lèi)、實(shí)例分割等。核心思想是通過(guò)類(lèi)別信息優(yōu)化決策邊界緩解樣本不平衡問(wèn)題。