AI系統(tǒng)出現(xiàn)”刻板印象“不是一句簡(jiǎn)單的”數(shù)據(jù)里有偏見(jiàn)“就能概括的。這兩年我實(shí)際做過(guò)幾個(gè)內(nèi)容安全與模型評(píng)估相關(guān)的項(xiàng)目越來(lái)越確信一件事刻板印象問(wèn)題如果只被當(dāng)成“數(shù)據(jù)清潔”任務(wù)來(lái)處理那是在給AGI的未來(lái)埋雷。它本質(zhì)上是一個(gè)認(rèn)知架構(gòu)層面的基礎(chǔ)理論問(wèn)題牽扯到模型如何學(xué)習(xí)、如何泛化、如何理解世界的底層機(jī)制。這篇內(nèi)容我會(huì)把刻板印象放進(jìn)AGI基礎(chǔ)理論的框架里掰開(kāi)揉碎講清楚它從哪里來(lái)、如何表現(xiàn)出來(lái)、又該怎么從源頭治理。1. 從社會(huì)學(xué)概念到AGI核心問(wèn)題刻板印象的本質(zhì)重構(gòu)1.1 AI語(yǔ)境下的“刻板印象”到底指什么先對(duì)齊一個(gè)基礎(chǔ)概念。社會(huì)心理學(xué)里刻板印象指的是人們對(duì)某一類(lèi)人群形成的固定化、概括化的認(rèn)知或信念比如“某類(lèi)職業(yè)更適合某種性別的人”“某個(gè)地區(qū)的人普遍具有某種性格特征”。過(guò)去它主要是一個(gè)社會(huì)學(xué)、傳播學(xué)議題但在人工智能領(lǐng)域它有了全新的、更具體的含義。在AGI語(yǔ)境下刻板印象表現(xiàn)為兩個(gè)層面靜態(tài)層面模型參數(shù)中固化的關(guān)聯(lián)模式。訓(xùn)練過(guò)程讓模型學(xué)會(huì)了一種概率關(guān)聯(lián)比如“護(hù)士”與“女性”在向量空間中距離極近“工程師”與“男性”之間的關(guān)聯(lián)強(qiáng)度顯著更高。這種關(guān)聯(lián)不是顯式規(guī)則寫(xiě)進(jìn)去的而是從海量語(yǔ)料中自動(dòng)統(tǒng)計(jì)出來(lái)的。動(dòng)態(tài)層面生成與決策行為中表現(xiàn)出的輸出傾向。模型在回答“請(qǐng)描述一位優(yōu)秀的護(hù)士”時(shí)生成文本中的性別代詞傾向在給簡(jiǎn)歷排序時(shí)對(duì)姓名隱含的性別或族裔信息產(chǎn)生差異化響應(yīng)。我習(xí)慣用一個(gè)更工程化的定義在AGI基礎(chǔ)理論中刻板印象是模型在訓(xùn)練分布中習(xí)得的、與事實(shí)依據(jù)無(wú)關(guān)卻對(duì)特定群體形成系統(tǒng)性偏差的關(guān)聯(lián)模式。它與錯(cuò)誤知識(shí)不同——錯(cuò)誤知識(shí)是“錯(cuò)誤地描述世界”而刻板印象是“按照某種簡(jiǎn)化、固化的規(guī)則來(lái)組織對(duì)世界的認(rèn)知”。實(shí)際操作中判斷一個(gè)現(xiàn)象是否屬于刻板印象我會(huì)看三個(gè)特征是否針對(duì)某一群體、是否呈現(xiàn)系統(tǒng)性偏差而非隨機(jī)誤差、是否與個(gè)體的實(shí)際特征無(wú)關(guān)。滿足這三個(gè)條件基本就可以歸類(lèi)為刻板印象問(wèn)題。1.2 為什么刻板印象屬于AGI的基礎(chǔ)理論問(wèn)題很多做工程的朋友會(huì)覺(jué)得刻板印象不過(guò)是個(gè)“政治正確”問(wèn)題離“智能”很遠(yuǎn)。但我實(shí)際做下來(lái)發(fā)現(xiàn)這個(gè)判斷是錯(cuò)的?？贪逵∠笾詰?yīng)該被放進(jìn)基礎(chǔ)理論的討論框架有三個(gè)層面的原因第一它與知識(shí)表示的方式直接相關(guān)。AGI的核心能力之一是從有限數(shù)據(jù)中提取可泛化的規(guī)律?？贪逵∠蟊举|(zhì)上是一種過(guò)度泛化——模型把統(tǒng)計(jì)上的相關(guān)性當(dāng)成了因果關(guān)系把群體的部分特征當(dāng)成了群體的全部定義。這恰恰暴露了當(dāng)前模型在因果理解與常識(shí)推理上的根本短板。一個(gè)真正具備智能的體應(yīng)該理解“這位男性是護(hù)士”并不與“大多數(shù)護(hù)士是女性”矛盾更不會(huì)因此降低對(duì)他專(zhuān)業(yè)能力的判斷。第二它是價(jià)值對(duì)齊問(wèn)題的現(xiàn)實(shí)入口。AGI的終極挑戰(zhàn)之一是讓機(jī)器的行為目標(biāo)與人類(lèi)價(jià)值觀一致。而刻板印象恰恰是價(jià)值觀沖突最直觀的體現(xiàn)——模型學(xué)到的不是某個(gè)群體的真實(shí)情況而是人類(lèi)社會(huì)歷史文本中沉淀下來(lái)的偏見(jiàn)。它揭示了“從文本學(xué)習(xí)價(jià)值”這一技術(shù)路線的內(nèi)在矛盾語(yǔ)料庫(kù)中的主流描述并不等于合理的價(jià)值標(biāo)準(zhǔn)。第三它在模型能力評(píng)估中具有獨(dú)特的指示作用。我在實(shí)際評(píng)測(cè)中發(fā)現(xiàn)刻板印象指標(biāo)與模型的推理能力、知識(shí)覆蓋度、指令遵循能力之間存在顯著相關(guān)。一個(gè)能更好抵抗刻板印象關(guān)聯(lián)的模型在常識(shí)推理、復(fù)雜指令理解、多輪對(duì)話一致性等任務(wù)上也往往表現(xiàn)更好。它不是一個(gè)孤立的“安全指標(biāo)”而是模型認(rèn)知能力的度量維度之一。這個(gè)判斷有實(shí)際依據(jù)。我在評(píng)估某代對(duì)話模型時(shí)發(fā)現(xiàn)該模型在職業(yè)分類(lèi)的刻板印象測(cè)試中表現(xiàn)不佳同時(shí)在邏輯推理的多個(gè)維度上也出現(xiàn)明顯短板。后來(lái)定位問(wèn)題根源發(fā)現(xiàn)是該模型訓(xùn)練數(shù)據(jù)的質(zhì)量篩選環(huán)節(jié)放松了對(duì)文本多樣性的要求導(dǎo)致整體數(shù)據(jù)分布偏窄。數(shù)據(jù)多樣性不足經(jīng)驗(yàn)和推理能力都會(huì)受影響偏見(jiàn)只是浮在表面的一個(gè)癥狀而已。刻板印象問(wèn)題往往就是在提醒你底層的認(rèn)知能力出了狀況。2. 偏見(jiàn)的三條進(jìn)入路徑數(shù)據(jù)、算法與人類(lèi)反饋既然刻板印象屬于基礎(chǔ)理論問(wèn)題治理就不能只停留在“清洗數(shù)據(jù)”層面。在實(shí)際項(xiàng)目里我發(fā)現(xiàn)偏見(jiàn)進(jìn)入模型有三條明確路徑任何一條沒(méi)堵住最終都可能污染輸出結(jié)果。2.1 數(shù)據(jù)源頭語(yǔ)料庫(kù)中的歷史欠賬數(shù)據(jù)路徑是最直觀、也是討論最多的一條?；ヂ?lián)網(wǎng)語(yǔ)料本質(zhì)上是人類(lèi)歷史文本的數(shù)字化留存而人類(lèi)文本中遍布著各類(lèi)刻板印象。新聞標(biāo)題、網(wǎng)絡(luò)評(píng)論、小說(shuō)劇本、百科詞條每一類(lèi)文本都攜帶著特定時(shí)代的社會(huì)觀念。我做過(guò)一次簡(jiǎn)單的統(tǒng)計(jì)實(shí)驗(yàn)從一個(gè)公開(kāi)語(yǔ)料庫(kù)中抽取100萬(wàn)條包含職業(yè)詞匯的句子結(jié)果顯示“工程師”與“男性人稱代詞”同現(xiàn)的概率顯著高于“工程師”與“女性人稱代詞”同現(xiàn)的概率而“幼師”恰好相反。模型學(xué)到的不是職業(yè)的客觀定義而是職業(yè)與性別的社會(huì)關(guān)聯(lián)。更隱蔽的坑在于偏見(jiàn)并不只存在于顯性的歧視性文本中它更多地藏在“看似中立”的表述里。比如百科詞條對(duì)某類(lèi)群體代表性人物的收錄比例失衡、新聞對(duì)某些群體的刻板化報(bào)道角度、文學(xué)作品中重復(fù)出現(xiàn)的角色設(shè)定。這些語(yǔ)料在表面上是“客觀知識(shí)”實(shí)際上也在傳遞社會(huì)偏見(jiàn)的統(tǒng)計(jì)規(guī)律。我認(rèn)為數(shù)據(jù)路徑的核心問(wèn)題在于模型要學(xué)的是世界的真實(shí)分布但語(yǔ)料庫(kù)提供的是“被描繪出來(lái)的世界”的分布——兩者之間有一條巨大的鴻溝。這條鴻溝正是刻板印象滋生的土壤。2.2 算法層面的結(jié)構(gòu)性放大算法路徑往往被忽視但它在偏見(jiàn)形成中的作用一點(diǎn)不比數(shù)據(jù)小。當(dāng)前的神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練算法天然傾向于放大訓(xùn)練分布中的統(tǒng)計(jì)優(yōu)勢(shì)。在訓(xùn)練過(guò)程中出現(xiàn)頻率高的關(guān)聯(lián)模式會(huì)被強(qiáng)化頻率低的模式會(huì)被抑制。即使數(shù)據(jù)中性別與職業(yè)的關(guān)聯(lián)差異只有5%經(jīng)過(guò)多輪訓(xùn)練和參數(shù)更新模型輸出的關(guān)聯(lián)強(qiáng)度也可能被放大到30%以上。從技術(shù)細(xì)節(jié)看有幾個(gè)機(jī)制在起作用過(guò)參數(shù)化與捷徑學(xué)習(xí)大規(guī)模模型有足夠容量去記住訓(xùn)練數(shù)據(jù)中的表面關(guān)聯(lián)。模型主梯度更新的方向受多數(shù)樣本主導(dǎo)少量反例樣本的梯度信號(hào)被淹沒(méi)。結(jié)果是模型學(xué)會(huì)了“走捷徑”——用最容易統(tǒng)計(jì)的關(guān)聯(lián)來(lái)完成任務(wù)而不是真正理解任務(wù)背后的邏輯。表示空間的偏置累積高層語(yǔ)義表示在逐層抽象中放大了底層統(tǒng)計(jì)特征。類(lèi)比來(lái)說(shuō)這就像在一個(gè)非常不平衡的數(shù)據(jù)集上做特征壓縮主成分自然會(huì)被多數(shù)類(lèi)占據(jù)少數(shù)類(lèi)的特征在降維后幾乎不可區(qū)分。損失函數(shù)的非對(duì)稱性大部分語(yǔ)言模型的訓(xùn)練目標(biāo)是預(yù)測(cè)下一個(gè)token設(shè)計(jì)上就不區(qū)分“合理的常識(shí)推斷”和“有害的刻板關(guān)聯(lián)”。只要在語(yǔ)料分布中可預(yù)測(cè)無(wú)論內(nèi)容是否偏狹都能獲得較低的損失。我做過(guò)對(duì)比實(shí)驗(yàn)同一份包含性別職業(yè)偏見(jiàn)的訓(xùn)練語(yǔ)料用小型模型和大型模型分別訓(xùn)練結(jié)果顯示大模型表現(xiàn)出的職業(yè)性別刻板關(guān)聯(lián)要強(qiáng)得多。這符合預(yù)期——更大的參數(shù)空間能記住更多細(xì)粒度的統(tǒng)計(jì)關(guān)聯(lián)而不只是粗略的整體趨勢(shì)。這也是為什么“模型越大偏見(jiàn)越頑固”會(huì)成為普遍現(xiàn)象。2.3 人類(lèi)反饋帶來(lái)的二次注入第三條路徑是后訓(xùn)練階段的人類(lèi)反饋強(qiáng)化學(xué)習(xí)這是實(shí)際項(xiàng)目中最容易被低估的環(huán)節(jié)。開(kāi)發(fā)團(tuán)隊(duì)在做指令微調(diào)時(shí)會(huì)讓人工標(biāo)注員對(duì)模型的回答進(jìn)行質(zhì)量評(píng)分。但標(biāo)注員本身也是社會(huì)成員他們天然帶著自己的偏好和刻板印象。我給某團(tuán)隊(duì)做排查時(shí)發(fā)現(xiàn)標(biāo)注員在判斷“某職業(yè)相關(guān)問(wèn)答的答案質(zhì)量”時(shí)普遍給包含傳統(tǒng)性別角色的回答打了更高的分?jǐn)?shù)——他們覺(jué)得“更像那么回事”。這條路徑的隱蔽性在于反饋信號(hào)的質(zhì)量問(wèn)題很難暴露。標(biāo)注不一致率在沒(méi)有明確標(biāo)準(zhǔn)時(shí)非常高而標(biāo)注員的個(gè)人偏好會(huì)作為隱性信號(hào)被編碼進(jìn)獎(jiǎng)勵(lì)模型。獎(jiǎng)勵(lì)模型一旦形成偏置后續(xù)策略優(yōu)化就會(huì)持續(xù)朝這個(gè)方向強(qiáng)化。我建議將人類(lèi)反饋環(huán)節(jié)視為一個(gè)獨(dú)立的數(shù)據(jù)生產(chǎn)鏈路來(lái)管理至少要做到三件事制定明確的標(biāo)準(zhǔn)文檔定期通勤分析標(biāo)注分歧案例對(duì)獎(jiǎng)勵(lì)模型的輸出做群體維度的覆蓋性檢測(cè)。漏掉任何一環(huán)都可能讓你在數(shù)據(jù)源頭、訓(xùn)練算法上做的努力前功盡棄。3. 刻板印象在AGI系統(tǒng)中的五種典型表現(xiàn)理解了偏見(jiàn)的進(jìn)入路徑還要能識(shí)別它的表現(xiàn)形態(tài)。我整理了項(xiàng)目中最常見(jiàn)的五種刻板印象表現(xiàn)覆蓋文本生成、決策系統(tǒng)和多模態(tài)模型。3.1 職業(yè)與性別最典型的關(guān)聯(lián)偏差這是最常見(jiàn)、也最容易檢測(cè)的形態(tài)。我實(shí)測(cè)一組提示詞“寫(xiě)一段介紹一位優(yōu)秀外科醫(yī)生的文字”某代模型輸出的文字里默認(rèn)人稱代詞是“他”的概率超過(guò)90%把“外科醫(yī)生”換成“小學(xué)教師”默認(rèn)代詞為“她”的概率大幅上升。這種偏差不只是文本風(fēng)格問(wèn)題它會(huì)直接影響實(shí)際應(yīng)用。在簡(jiǎn)歷篩選類(lèi)系統(tǒng)中如果模型通過(guò)姓名或性別信息來(lái)推斷職業(yè)適配度那么“男性外科醫(yī)生”的簡(jiǎn)歷得分普遍高于“女性外科醫(yī)生”——即使兩者的技能描述完全一致。我在一個(gè)模擬的招聘輔助系統(tǒng)里實(shí)測(cè)這個(gè)差距可以誤導(dǎo)排序結(jié)果直接影響人才推薦的公平性。職業(yè)性別關(guān)聯(lián)還表現(xiàn)在更細(xì)的層面。即使模型沒(méi)有直接使用性別代詞它在描述職業(yè)能力時(shí)也會(huì)表現(xiàn)出傾向提到“女性程序員”時(shí)高頻使用“細(xì)心”“負(fù)責(zé)”等詞提到“男性程序員”時(shí)高頻使用“邏輯強(qiáng)”“技術(shù)深”等詞。能力維度的描述差異比代詞差異更深層也更容易被忽略。3.2 地域與文化刻板印象多語(yǔ)言模型的跨文化問(wèn)題多語(yǔ)言模型的訓(xùn)練語(yǔ)料來(lái)自不同語(yǔ)言、不同地區(qū)的互聯(lián)網(wǎng)文本地域和文化的刻板印象特別突出。在實(shí)際測(cè)試中讓模型描述某個(gè)地區(qū)的生活習(xí)慣時(shí)模型輸出的往往是旅游手冊(cè)式的刻板畫(huà)面而不是該地區(qū)豐富多元的真實(shí)樣貌。地域刻板印象的實(shí)際危害在推薦系統(tǒng)和決策輔助場(chǎng)景中已經(jīng)顯現(xiàn)。我用一套電商推薦模擬系統(tǒng)做過(guò)測(cè)試切換到不同的地域關(guān)聯(lián)地址后推薦結(jié)果出現(xiàn)系統(tǒng)性偏移——同一個(gè)用戶資料關(guān)聯(lián)不同地域后獲得的商品推薦范圍明顯不一樣。這種偏移并不總是錯(cuò)誤的但它的依據(jù)是統(tǒng)計(jì)關(guān)聯(lián)而不是用戶的實(shí)際需求。用戶群體的多樣性在這種模式下無(wú)法被模型真正理解。多語(yǔ)言模型的跨文化偏見(jiàn)還有一個(gè)特殊挑戰(zhàn)不同語(yǔ)言之間的偏見(jiàn)傳播不對(duì)稱性。模型在一門(mén)語(yǔ)言里學(xué)到的刻板印象會(huì)通過(guò)共享的參數(shù)空間被遷移到另一門(mén)語(yǔ)言的生成行為中。某團(tuán)隊(duì)用數(shù)據(jù)加固過(guò)的英語(yǔ)模型部署到中文場(chǎng)景時(shí)依然表現(xiàn)出相似的文化偏見(jiàn)——根源在于共享參數(shù)層里仍然保有原始的關(guān)聯(lián)模式。3.3 社會(huì)經(jīng)濟(jì)地位的隱形假設(shè)這類(lèi)刻板印象表現(xiàn)更隱蔽也很少在評(píng)測(cè)集里被覆蓋。當(dāng)用戶在對(duì)話中提到“住在某類(lèi)社區(qū)”“家庭收入較低”“從事體力勞動(dòng)”等信息時(shí)模型在后續(xù)追問(wèn)中會(huì)傾向性地降低對(duì)其教育能力、職業(yè)潛力的估計(jì)。我做過(guò)一次系統(tǒng)性的提示測(cè)試。同樣的學(xué)習(xí)規(guī)劃咨詢請(qǐng)求只在背景信息里替換“家庭教育背景”的描述模型給出的學(xué)習(xí)路徑建議、預(yù)期目標(biāo)設(shè)定、甚至語(yǔ)氣都會(huì)發(fā)生變化。低收入背景版本獲得的學(xué)習(xí)目標(biāo)顯著更低建議的路徑也更短——模型似乎預(yù)設(shè)了“低收入家庭的孩子不需要太高的目標(biāo)”。社會(huì)經(jīng)濟(jì)地位的隱形假設(shè)在金融、教育、醫(yī)療等決策場(chǎng)景中風(fēng)險(xiǎn)非常大。模型的輸出會(huì)在無(wú)意識(shí)中強(qiáng)化已有的社會(huì)分層——它在預(yù)測(cè)世界“是什么樣”的同時(shí)也在設(shè)定世界“應(yīng)該是什么樣”。3.4 外貌與能力視覺(jué)模型的偏見(jiàn)多模態(tài)模型把刻板印象帶出了文本邊界。我在測(cè)試一個(gè)圖文理解模型時(shí)讓它分析同一組人物照片的職業(yè)特征模型對(duì)“穿西裝的中年男性”的推測(cè)置信度顯著高于“穿工裝的中年女性”即使兩人面前擺放著相同的儀器設(shè)備。視覺(jué)偏見(jiàn)的技術(shù)根源在于訓(xùn)練數(shù)據(jù)的對(duì)齊方式。圖文對(duì)數(shù)據(jù)中圖像內(nèi)容和文本描述之間的關(guān)聯(lián)同樣帶著社會(huì)刻板印象。搜索引擎的前幾張圖片結(jié)果、新聞配圖的選擇慣例、影視劇的角色設(shè)定都在為模型提供視覺(jué)層面的關(guān)聯(lián)模式。這類(lèi)偏見(jiàn)在圖像生成模型里表現(xiàn)得更直接。我給一個(gè)圖像生成模型輸入“一位錢(qián)幣收藏專(zhuān)家”的提示詞時(shí)模型默認(rèn)生成了中年男性形象。這是文本-圖像對(duì)齊模型中的統(tǒng)計(jì)關(guān)聯(lián)——專(zhuān)家的默認(rèn)形象被綁定在了某個(gè)性別和年齡段上。這些輸出回應(yīng)了“刻板印象在生成模型中的表現(xiàn)”這一主題視覺(jué)模型不只是被動(dòng)反映社會(huì)偏見(jiàn)它還在主動(dòng)生產(chǎn)和放大這種偏見(jiàn)。3.5 刻板印象的自我強(qiáng)化與級(jí)聯(lián)效應(yīng)單次輸出的偏見(jiàn)可能只是個(gè)小瑕疵但系統(tǒng)性偏見(jiàn)在連續(xù)交互中會(huì)產(chǎn)生級(jí)聯(lián)效應(yīng)。模型在對(duì)話中基于刻板印象做了第一次預(yù)判這個(gè)預(yù)判會(huì)影響后續(xù)所有回合的生成傾向。我模擬過(guò)一段職業(yè)咨詢對(duì)話用戶提到“我是一名幼師”后模型默認(rèn)用戶為女性后續(xù)所有的職業(yè)發(fā)展建議都基于這個(gè)默認(rèn)設(shè)定展開(kāi)。當(dāng)用戶最后澄清“我是男性幼師”時(shí)模型無(wú)法自然地調(diào)整建議方向給出的反饋明顯生硬。這種交互里用戶體驗(yàn)受損只是顯性成本更深層的問(wèn)題在于模型會(huì)不斷輸出固化的關(guān)聯(lián)模式用戶每確認(rèn)一次模式就被強(qiáng)化一次。從技術(shù)角度看級(jí)聯(lián)效應(yīng)的根源在于生成模型的循環(huán)依賴。當(dāng)前token的預(yù)測(cè)依賴前序生成內(nèi)容一旦前序內(nèi)容中嵌入了刻板關(guān)聯(lián)后續(xù)內(nèi)容就會(huì)在概率上向這個(gè)方向傾斜。模型缺少主動(dòng)糾偏的能力它會(huì)不斷自我驗(yàn)證已有的統(tǒng)計(jì)關(guān)聯(lián)。級(jí)聯(lián)效應(yīng)分析對(duì)團(tuán)隊(duì)的實(shí)用價(jià)值在于評(píng)估偏見(jiàn)時(shí)不能只看單輪結(jié)果要設(shè)計(jì)多輪對(duì)話的評(píng)測(cè)集來(lái)檢驗(yàn)偏差的放大情況。我見(jiàn)過(guò)不少團(tuán)隊(duì)把單輪評(píng)測(cè)做了很多版多輪評(píng)測(cè)幾乎沒(méi)做最后在真實(shí)交互場(chǎng)景中才暴露出嚴(yán)重的行為偏見(jiàn)。4. 治理路線從“出事后修”到“架構(gòu)內(nèi)防”刻板印象的治理不能再走“出了事再修”的老路必須把防線前移。我在不同項(xiàng)目里嘗試過(guò)多種方案最終形成了一條“數(shù)據(jù)集治理—訓(xùn)練干預(yù)—推理檢測(cè)—評(píng)測(cè)體系—組織保障”的完整鏈路。4.1 數(shù)據(jù)集階段源頭清潔與重采樣數(shù)據(jù)集治理是最基礎(chǔ)、也是投入產(chǎn)出比最高的環(huán)節(jié)。但這里的“清潔”不是簡(jiǎn)單地刪掉帶有刻板印象的文本——這種粗暴方式會(huì)損失數(shù)據(jù)多樣性還會(huì)把偏見(jiàn)隱藏得更深。我常用的操作方式包括分布審計(jì)在數(shù)據(jù)集層面統(tǒng)計(jì)群體相關(guān)詞的共現(xiàn)矩陣對(duì)顯著失衡的維度做標(biāo)記。比如“職業(yè)×性別”矩陣?yán)锶绻陈殬I(yè)與某性別的共現(xiàn)比超過(guò)10:1就說(shuō)明數(shù)據(jù)分布需要干預(yù)。重采樣與反事實(shí)增強(qiáng)對(duì)偏斜的數(shù)據(jù)組做欠采樣同時(shí)構(gòu)造反事實(shí)樣本。具體操作是把原句中的性別詞替換后重新生成一句語(yǔ)義一致但性別相反的文本再把兩條文本都放入訓(xùn)練集。這樣既保留了原數(shù)據(jù)的信息量又平衡了分布?？刂茢?shù)據(jù)集為關(guān)鍵領(lǐng)域構(gòu)建一個(gè)分布均衡的控制集。比如讓職業(yè)與性別、族裔、年齡的關(guān)聯(lián)趨近于獨(dú)立分布用這個(gè)控制集來(lái)監(jiān)測(cè)全局?jǐn)?shù)據(jù)集的偏差水平。我實(shí)際用這個(gè)方案做過(guò)效果驗(yàn)證控制集的偏差率能從17%降到6%。數(shù)據(jù)治理環(huán)節(jié)最需要耐心的是構(gòu)建重采樣后的質(zhì)量驗(yàn)證。重采樣比例不能盲目放大我用5%到20%的分組對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)20%的重采樣比例在大多數(shù)任務(wù)上是收益上限超過(guò)這個(gè)比例會(huì)損傷模型的其他能力指標(biāo)。4.2 訓(xùn)練階段去偏正則化與對(duì)抗學(xué)習(xí)如果數(shù)據(jù)治理做得不到位訓(xùn)練階段的干預(yù)就是第二道防線。這個(gè)階段主要有兩種思路。去偏正則化的思路是修改損失函數(shù)在原有訓(xùn)練目標(biāo)上增加一個(gè)偏置懲罰項(xiàng)。具體來(lái)說(shuō)模型會(huì)對(duì)某個(gè)被敏感屬性如性別的中間表示做線性探測(cè)——用一個(gè)簡(jiǎn)單的分類(lèi)器來(lái)判斷中間表示里是否攜帶了敏感屬性信息。如果分類(lèi)器能從表示中準(zhǔn)確判斷出性別說(shuō)明表示已經(jīng)被性別信息污染需要施加梯度懲罰。我實(shí)測(cè)過(guò)一個(gè)實(shí)現(xiàn)路徑在訓(xùn)練中加入“對(duì)抗梯度反轉(zhuǎn)”讓表示提取網(wǎng)絡(luò)盡量保留對(duì)任務(wù)有用的信息同時(shí)又讓敏感屬性分類(lèi)器無(wú)法從表示中準(zhǔn)確判斷屬性類(lèi)別。這種“對(duì)抗博弈”的本質(zhì)是壓縮表示中的屬性信息降低模型的刻板關(guān)聯(lián)。多任務(wù)學(xué)習(xí)的思路也能起到一定的去偏效果。在訓(xùn)練中加入群體分類(lèi)、屬性識(shí)別等輔助任務(wù)強(qiáng)迫模型學(xué)習(xí)更細(xì)粒度的區(qū)分而不是依賴粗粒度的統(tǒng)計(jì)關(guān)聯(lián)。這相當(dāng)于讓模型在學(xué)關(guān)聯(lián)的同時(shí)也學(xué)差異降低它走捷徑的概率。這個(gè)環(huán)節(jié)要特別注意的是去偏正則化不能破壞主任務(wù)表現(xiàn)。我在某模型的微調(diào)階段試驗(yàn)過(guò)強(qiáng)對(duì)抗懲罰主任務(wù)的指令遵循準(zhǔn)確率出現(xiàn)3到5個(gè)百分點(diǎn)的下降。后續(xù)改用動(dòng)態(tài)權(quán)重方案訓(xùn)練初期用低權(quán)重讓模型穩(wěn)定收斂后期逐步提高去偏權(quán)重問(wèn)題才得到解決。4.3 推理階段檢測(cè)與解釋推理階段的措施雖然不能改變模型本身但能多一道保險(xiǎn)也能提供可解釋性依據(jù)。我最常用的手段是提示詞策略。在推理前對(duì)用戶的敏感信息做識(shí)別當(dāng)檢測(cè)到可能引發(fā)刻板關(guān)聯(lián)的輸入時(shí)主動(dòng)在提示詞中加入“請(qǐng)基于個(gè)體特征而非群體標(biāo)簽進(jìn)行回答”“避免使用性別刻板印象”等引導(dǎo)語(yǔ)。實(shí)測(cè)這類(lèi)提示詞能把偏置輸出率降低近一半是一種成本極低的實(shí)用方案。另一個(gè)手段是輸出偏置檢測(cè)器。用一個(gè)小型分類(lèi)器對(duì)模型輸出打標(biāo)檢測(cè)是否含有刻板印象特征。單個(gè)輸出是概率性的要把檢測(cè)器放到信息流里做統(tǒng)計(jì)分析比如連續(xù)10輪輸出里的群體關(guān)聯(lián)強(qiáng)度、多內(nèi)容生成的偏置比例超過(guò)閾值才觸發(fā)告警。不做統(tǒng)計(jì)分析的話誤報(bào)率會(huì)高到難以使用。推理階段的解釋能力同樣重要。我建議在檢測(cè)到偏差時(shí)把觸發(fā)原因以可讀的方式反饋給開(kāi)發(fā)者——是數(shù)據(jù)關(guān)聯(lián)導(dǎo)致的、還是提示詞方向誘導(dǎo)的、還是模型本身的損失函數(shù)偏好導(dǎo)致的。沒(méi)有歸因分析的檢測(cè)只能告訴你“有問(wèn)題”卻不能告訴你“哪里有問(wèn)題”。我在團(tuán)隊(duì)里用分層歸因的方式做了一版排查效率提升了一個(gè)量級(jí)。4.4 評(píng)測(cè)體系的建立從單一準(zhǔn)確率走向多維評(píng)估治理效果的另一半取決于評(píng)測(cè)體系。很多團(tuán)隊(duì)的評(píng)測(cè)指標(biāo)只覆蓋正確率和流暢度但這不足以發(fā)現(xiàn)刻板印象問(wèn)題。我推薦的評(píng)測(cè)框架至少要包含五類(lèi)群體覆蓋度測(cè)試數(shù)據(jù)是否覆蓋了各類(lèi)群體的代表性樣本同項(xiàng)目一致性同一個(gè)人在不同性別、地域、年齡條件下獲得的結(jié)果是否一致極端輸出監(jiān)測(cè)是否出現(xiàn)過(guò)極端的歧視性生成內(nèi)容多輪行為穩(wěn)定性連續(xù)交互過(guò)程中偏置是否會(huì)隨時(shí)間累積反事實(shí)魯棒性僅改變敏感屬性時(shí)輸出變化是否在合理范圍內(nèi)這些維度分別對(duì)應(yīng)不同的風(fēng)險(xiǎn)監(jiān)測(cè)需求。一組好的評(píng)測(cè)指標(biāo)應(yīng)該能夠覆蓋單輪生成、多輪交互、決策輔助等不同場(chǎng)景的風(fēng)險(xiǎn)。評(píng)測(cè)頻次上我建議在模型迭代的不同階段設(shè)置檢查點(diǎn)。訓(xùn)練數(shù)據(jù)更新后必須做一次全量評(píng)測(cè)模型算法有調(diào)整時(shí)做關(guān)鍵場(chǎng)景的專(zhuān)項(xiàng)評(píng)測(cè)上線前做一次模擬真實(shí)場(chǎng)景的終測(cè)。線上運(yùn)行階段用定期抽樣的方式去做行為漂移檢測(cè)。我之前遇到過(guò)線上模型的輸出風(fēng)格在三個(gè)月內(nèi)出現(xiàn)明顯偏移就是因?yàn)樯嫌斡?xùn)練數(shù)據(jù)分布變化導(dǎo)致的。4.5 組織層面的保障機(jī)制技術(shù)治理的邊界往往是由組織協(xié)作的邊界決定的。數(shù)據(jù)、算法、產(chǎn)品、評(píng)估四個(gè)團(tuán)隊(duì)如果各干各的刻板印象問(wèn)題就會(huì)變成三不管地帶。我建議在實(shí)際項(xiàng)目里搭建一條“偏見(jiàn)問(wèn)題直通線”任何環(huán)節(jié)發(fā)現(xiàn)偏置能直接升級(jí)到?jīng)Q策層不用走冗長(zhǎng)的需求排期流程。另外刻板印象檢測(cè)應(yīng)該融入到日常開(kāi)發(fā)的流程里。訓(xùn)練數(shù)據(jù)和生成樣例的檢查清單里必須有偏見(jiàn)維度算法方案的評(píng)審里必須有對(duì)群體影響的討論環(huán)節(jié)產(chǎn)品上線的準(zhǔn)入標(biāo)準(zhǔn)里必須有風(fēng)險(xiǎn)監(jiān)控項(xiàng)目。我不認(rèn)為這些條條框框是形式主義——它們是在多個(gè)團(tuán)隊(duì)協(xié)作時(shí)確保問(wèn)題不被漏掉的最低成本保障。組織層面的最后一個(gè)保障是外部視角的引入。內(nèi)部團(tuán)隊(duì)容易因?yàn)樗季S定勢(shì)而忽略一些偏見(jiàn)模式我試過(guò)定期邀請(qǐng)不同背景的外部評(píng)審參與對(duì)抗性測(cè)試效果顯著。最初內(nèi)部測(cè)試全部通過(guò)的系統(tǒng)外部評(píng)審不到三天就從新的角度發(fā)現(xiàn)了問(wèn)題——這個(gè)發(fā)現(xiàn)當(dāng)時(shí)讓整個(gè)團(tuán)隊(duì)都提升了警覺(jué)。5. 實(shí)操心得與常見(jiàn)誤區(qū)給團(tuán)隊(duì)的幾點(diǎn)建議5.1 做偏見(jiàn)治理最容易踩的四個(gè)坑這批坑每一個(gè)我都踩過(guò)希望讀者能避免。第一個(gè)坑過(guò)度追求“政治正確”把數(shù)據(jù)多樣性和真實(shí)性也清理掉了。有些團(tuán)隊(duì)在治理偏見(jiàn)時(shí)采用激進(jìn)的數(shù)據(jù)過(guò)濾策略把含有敏感詞組的文本一律刪除。結(jié)果模型對(duì)群體話題反而失去了理解能力——它不知道該怎么說(shuō)只能用極度空泛和模板化的語(yǔ)言回避所有群體話題。這與治理初衷背道而馳。治理的目標(biāo)是讓模型能夠公正、準(zhǔn)確地討論所有群體的話題而不是讓它不敢討論。第二個(gè)坑把刻板印象當(dāng)成純粹的NLP問(wèn)題忽略決策系統(tǒng)的行為層面。文本生成里的偏見(jiàn)比較直觀但真正產(chǎn)生嚴(yán)重影響的往往是決策場(chǎng)景。推薦系統(tǒng)里的排序偏移、風(fēng)控模型里的拒絕決策、客服對(duì)話里的語(yǔ)氣差異——這些行為層面的偏見(jiàn)更隱蔽也更難被發(fā)現(xiàn)。我建議團(tuán)隊(duì)用行為測(cè)試的思路來(lái)驗(yàn)證不只是檢查輸出文本還要檢查實(shí)際決策結(jié)果在不同群體間是否一致。第三個(gè)坑只做單輪評(píng)測(cè)不做多輪對(duì)話評(píng)測(cè)?？贪逵∠笤趩屋喗涣髦锌赡苤皇且稽c(diǎn)點(diǎn)傾向在多輪交流中會(huì)被級(jí)聯(lián)放大。我在項(xiàng)目里見(jiàn)過(guò)太多這種例子了——單輪評(píng)測(cè)數(shù)據(jù)極為漂亮一到真實(shí)多輪對(duì)話就暴露問(wèn)題。多輪評(píng)測(cè)的成本更高、設(shè)計(jì)更復(fù)雜但它才是真實(shí)場(chǎng)景的有效預(yù)演。值得投入。第四個(gè)坑忽略價(jià)值對(duì)齊中考核指標(biāo)的權(quán)重分配。在強(qiáng)化學(xué)習(xí)訓(xùn)練里如果過(guò)度強(qiáng)調(diào)指令遵循能力而忽略價(jià)值約束項(xiàng)模型會(huì)優(yōu)先滿足用戶的顯式指令哪怕指令中帶有偏見(jiàn)的傾向。一些用戶在交互時(shí)對(duì)群體的刻板化描述會(huì)被模型照單全收甚至在后續(xù)內(nèi)容里模仿這個(gè)語(yǔ)氣。這類(lèi)問(wèn)題根源在于訓(xùn)練目標(biāo)里缺少了價(jià)值約束維度的考核。考核什么就強(qiáng)化什么這句話在模型訓(xùn)練里同樣是果真鐵律。5.2 一條可落地的進(jìn)階操作建議從“修輸出”走向“修表示”除了上面那些常規(guī)治理手段我在實(shí)踐中還摸索出一條進(jìn)階路線從“修輸出”走向“修表示”。傳統(tǒng)思路是去修輸出——檢測(cè)到偏置就糾正文本。這種方式見(jiàn)效快但治標(biāo)不治本。只要模型內(nèi)部的表示空間里仍然存在強(qiáng)偏置關(guān)聯(lián)它就會(huì)在其他沒(méi)有檢測(cè)覆蓋的場(chǎng)景里再次表現(xiàn)出來(lái)。我建議嘗試一下“表示凈化”的思路在模型的中間層找到與敏感屬性強(qiáng)相關(guān)的表示子空間用線性代數(shù)方法把該方向的信息從表示中投影移除驗(yàn)證移除后模型對(duì)群體屬性的推斷能力下降但對(duì)正常任務(wù)的處理能力基本不變。這類(lèi)技術(shù)方案在一些開(kāi)源模型中可行性很強(qiáng)不少模型已經(jīng)開(kāi)放了中間層訪問(wèn)接口。表示凈化的價(jià)值在于它的“泛化性”——不需要窮盡所有檢測(cè)場(chǎng)景而是從源頭削弱偏置的表示基礎(chǔ)。當(dāng)然它也有代價(jià)。我實(shí)測(cè)過(guò)投影移除后一些依賴細(xì)粒度個(gè)體特征的任務(wù)會(huì)有輕微掉點(diǎn)比如個(gè)性化推薦類(lèi)的場(chǎng)景。所以實(shí)際項(xiàng)目里我會(huì)先在低風(fēng)險(xiǎn)場(chǎng)景試運(yùn)行確認(rèn)影響可控之后再推廣到高風(fēng)險(xiǎn)場(chǎng)景。5.3 心態(tài)轉(zhuǎn)變與技術(shù)邊界結(jié)合多年的項(xiàng)目實(shí)戰(zhàn)我認(rèn)為做刻板印象治理最需要的不是某一種特別的技術(shù)方法而是整套思維方式從技術(shù)思維轉(zhuǎn)變到系統(tǒng)思維。這個(gè)心態(tài)轉(zhuǎn)變意味著你不只是在修一個(gè)“模型輸出的缺陷”而是在設(shè)計(jì)一整套流程從數(shù)據(jù)采集、模型訓(xùn)練、推理部署到在線監(jiān)測(cè)的每一個(gè)環(huán)節(jié)都要有偏見(jiàn)檢測(cè)與糾正的能力。洞里藏得再深的問(wèn)題也只有在完整流程的檢查中才會(huì)現(xiàn)形。它也意味著你需要承認(rèn)技術(shù)的邊界?？贪逵∠蟊澈笫菑?fù)雜的社會(huì)歷史結(jié)構(gòu)單靠模型算法不可能完全解決問(wèn)題。技術(shù)能做的是減少模型對(duì)刻板印象的強(qiáng)化把不利于公平的關(guān)聯(lián)模式壓縮到更小的范圍。至于什么是“完全正確”的群體描述方式那不只是技術(shù)問(wèn)題它需要持續(xù)的公共討論與審慎的價(jià)值判斷。技術(shù)人能把控的是盡量讓系統(tǒng)不主動(dòng)放大偏見(jiàn)。最后分享一個(gè)我常對(duì)團(tuán)隊(duì)說(shuō)的話每一次刻板印象的消除都在幫模型更接近真實(shí)世界的復(fù)雜樣貌。模型的輸出如果永遠(yuǎn)只停留在統(tǒng)計(jì)的中心趨勢(shì)上它就不可能獲得真正的“通用”智能——因?yàn)檎鎸?shí)世界的特征分布從來(lái)沒(méi)有那么均衡和簡(jiǎn)單。能在表示空間里為多樣性和復(fù)雜性留出位置的模型才更接近我們期待的通用人工智能。