文章總結(jié)主要內(nèi)容本文系統(tǒng)性地綜述了大型語(yǔ)言模型（LLMs）高效推理的研究進(jìn)展，聚焦于解決推理過(guò)程中因冗長(zhǎng)推理鏈導(dǎo)致的計(jì)算效率問題（即“過(guò)度思考”現(xiàn)象）。作者將現(xiàn)有方法分為三類：基于模型的高效推理：通過(guò)強(qiáng)化學(xué)習(xí)（RL）或監(jiān)督微調(diào)（SFT）優(yōu)化模型生成更簡(jiǎn)潔的推理鏈?；谕评磔敵龅母咝评恚涸谕评磉^(guò)程中動(dòng)態(tài)壓縮或縮短推理步驟，例如利用潛空間表示或動(dòng)態(tài)推理范式。基于輸入提示的高效推理：通過(guò)提示設(shè)計(jì)（如長(zhǎng)度約束或難度路由）引導(dǎo)模型生成更高效的推理。此外，文章還討論了高效訓(xùn)練數(shù)據(jù)構(gòu)建、小模型推理能力、評(píng)估基準(zhǔn)等方向，并維護(hù)了一個(gè)開源倉(cāng)庫(kù)以持續(xù)更新相關(guān)研究。創(chuàng)新點(diǎn)系統(tǒng)性分類框架：首次提出了高效推理方法的結(jié)構(gòu)化分類，涵蓋模型、輸出和輸入三個(gè)維度。過(guò)度思考現(xiàn)象分析：深入剖析了長(zhǎng)推理鏈導(dǎo)致的計(jì)算開銷問題，并提出多種緩解策略。多維度優(yōu)化方法：結(jié)合模型優(yōu)化、推理過(guò)程壓縮和提示工程，為高效推理提供了全面解決方案。開源資源支持：提供了持續(xù)更新的開源倉(cāng)庫(kù)（https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs），方便研究者跟蹤最新進(jìn)展。