文章主要內(nèi)容和創(chuàng)新點主要內(nèi)容本文提出了一種名為EvoSLD的自動化框架，用于神經(jīng)縮放定律（Scaling Laws）的發(fā)現(xiàn)?？s放定律是描述神經(jīng)網(wǎng)絡(luò)性能（如損失、準確率）隨模型大小、數(shù)據(jù)集規(guī)模、計算資源等變量變化的數(shù)學關(guān)系，傳統(tǒng)上依賴人類專業(yè)知識和手動實驗推導，耗時且易出錯。EvoSLD通過進化算法結(jié)合大語言模型（LLMs），共同進化符號表達式（定義縮放定律的結(jié)構(gòu)）和優(yōu)化子程序（針對不同控制變量組擬合系數(shù)），以尋找簡潔、通用的函數(shù)形式，最小化分組數(shù)據(jù)的擬合誤差。在五個真實場景（詞匯量、監(jiān)督微調(diào)、領(lǐng)域混合、混合專家模型、數(shù)據(jù)約束預訓練）的實驗中，EvoSLD在兩個場景中精確復現(xiàn)了人類推導的定律，在其他場景中表現(xiàn)更優(yōu)，測試集的歸一化均方誤差（NMSE）最多降低了數(shù)個數(shù)量級，且優(yōu)于符號回歸、遺傳編程等基線方法，驗證了其準確性、可解釋性和效率。創(chuàng)新點嚴格的問題形式化：將縮放定律發(fā)現(xiàn)（SLD）形式化為優(yōu)化問題，結(jié)合分組擬合、簡潔性懲罰（限制系數(shù)數(shù)量）和尺度不變的評估指標（如NMSE、NMAE），更符合科學實踐。首個LLM輔助的自動化系統(tǒng)：EvoSLD是首個利用LLM輔助進化搜索的框架，能同時處理有/無控制變量的場景，通過共同進化符號表達式和優(yōu)化子程序，高效導航假設(shè)空間。實驗驗證的優(yōu)越性：在五個基準場景中，性能顯著優(yōu)于傳統(tǒng)符號回歸（如PySR、GPlearn）和簡化版本（如固定優(yōu)化器的EvoSLD），證明其在復現(xiàn)人類