在 AI/機(jī)器學(xué)習(xí)里Embedding嵌入簡單說就是把某個對象——比如一個詞、一句話、一張圖、一個用戶、一個商品——轉(zhuǎn)換成一串固定長度的數(shù)字向量。這串向量就叫它的 embedding。它的核心特點(diǎn)是語義或特征相近的對象在向量空間里的距離會更近。比如“貓” →[0.8, -0.2, 0.4, ...]“狗” →[0.7, -0.1, 0.5, ...]“汽車” →[-0.6, 0.9, -0.3, ...]“貓”和“狗”的向量會比較接近“貓”和“汽車”的向量會比較遠(yuǎn)。計(jì)算機(jī)不能直接理解“貓”這個詞但可以計(jì)算向量之間的相似度。為什么需要 Embedding早期常用one-hot 編碼表示詞“貓” →[0, 0, 1, 0, 0, ...]“狗” →[0, 1, 0, 0, 0, ...]問題是維度等于詞表大小可能幾萬幾十萬維很稀疏。任意兩個詞都是正交的距離一樣無法表達(dá)“貓和狗很像”。不能攜帶語義信息。Embedding 則把詞變成低維、稠密、可學(xué)習(xí)的向量比如 128 維、768 維、1536 維。它不僅能壓縮表示還能讓“相似”變成可計(jì)算的幾何關(guān)系。數(shù)學(xué)上怎么理解可以把它看成一個映射f:對象→Rdf:對象→Rd比如輸入是“貓”的編號 3模型通過一個可訓(xùn)練的矩陣W查表e貓W[3]e貓?W[3]這個矩陣就是Embedding 層。它的每一行對應(yīng)一個對象的向量訓(xùn)練時這些數(shù)字會不斷調(diào)整。怎么訓(xùn)練出來不是人工寫死的而是模型從數(shù)據(jù)里學(xué)出來的。常見方式Word2Vec用周圍詞預(yù)測中心詞或反過來。BERT通過掩碼語言模型預(yù)測被遮住的詞。對比學(xué)習(xí)讓相似樣本的向量靠近不相似的推遠(yuǎn)。推薦系統(tǒng)讓用戶向量和喜歡的商品向量更接近。訓(xùn)練完后向量里就隱含了語義關(guān)系。經(jīng)典例子king?manwoman≈queenking?manwoman≈queen常見類型詞嵌入Word2Vec、GloVe、FastText上下文詞嵌入BERT、ELMo句子/文檔嵌入Sentence-BERT、BGE、OpenAI text-embedding圖像嵌入CNN、ViT、CLIP用戶/物品嵌入推薦系統(tǒng)多模態(tài)嵌入CLIP 把圖片和文字映射到同一個向量空間所以可以用文字搜圖有什么用途是搜索、推薦、RAG、大模型、多模態(tài)里非?；A(chǔ)的一塊。語義搜索把查詢和文檔都變成向量算相似度。RAG文檔切塊后做 embedding存進(jìn)向量數(shù)據(jù)庫檢索相關(guān)片段。推薦系統(tǒng)用戶 embedding 和物品 embedding 做點(diǎn)積預(yù)測興趣。聚類/分類相似向量聚在一起。大模型輸入文字先分詞成 token每個 token 查 embedding 變成向量再加位置 embedding送進(jìn) Transformer。怎么判斷相似常用余弦相似度看兩個向量夾角越接近 1 越相似。點(diǎn)積常用于推薦。歐氏距離距離越小越相似。Embedding 加噪就是在向量表示上注入可控?cái)_動得到一個新的、略有變化的向量再送進(jìn)模型或用于后續(xù)計(jì)算讓模型別過度依賴精確坐標(biāo)從而獲得更好的泛化、魯棒性、隱私性或生成能力。數(shù)學(xué)上最常見是e~e?e~e?其中ee原始 embedding??噪聲e~e~加噪后的 embedding比如高斯噪聲?～N(0,σ2I)?～N(0,σ2I)也就是每個維度都加一點(diǎn)小幅隨機(jī)數(shù)。σσ 控制噪聲強(qiáng)度。代碼上大概就是pythone embedding(x) noise torch.randn_like(e) * sigma e_noisy e noise常見加噪方式高斯噪聲e~eN(0,σ2)e~eN(0,σ2)最常用簡單適合正則化、隱私保護(hù)。均勻噪聲?～U(?a,a)?～U(?a,a)每個維度在 [?a,a][?a,a] 內(nèi)隨機(jī)擾動。拉普拉斯噪聲差分隱私里常用因?yàn)槔绽狗植嘉舶透馗m合隱私保護(hù)。Dropout / Mask隨機(jī)把某些維度置零e~e⊙me~e⊙m其中 mm 是 0/1 掩碼。它其實(shí)也是一種乘性噪聲。對抗擾動不是隨機(jī)加而是找讓模型最容易出錯的方向e~eδe~eδδarg?max?∥δ∥≤?L(f(eδ),y)δarg∥δ∥≤?max?L(f(eδ),y)常見于 FGM、PGD 對抗訓(xùn)練?？蓪W(xué)習(xí)噪聲在 VAE 里zμσ⊙?zμσ⊙?這相當(dāng)于在隱空間 embedding 上加噪用來生成新樣本。為什么要給 Embedding 加噪主要目的有這些正則化防止過擬合讓模型不要死記某個 embedding 的精確值而是學(xué)習(xí)更平滑的表示空間。數(shù)據(jù)增強(qiáng)同一個對象加不同噪聲得到多個“略有不同”的向量當(dāng)成額外樣本。提高魯棒性模型見過帶噪聲的表示后遇到輸入擾動、數(shù)據(jù)缺失、噪聲數(shù)據(jù)時更穩(wěn)。對比學(xué)習(xí)同一句話兩次前向由于 dropout 不同得到兩個略有差異的 embedding作為正樣本對。SimCSE 就是典型例子。隱私保護(hù)給用戶或物品 embedding 加噪降低反推原始信息的風(fēng)險常和差分隱私一起用。生成模型 / 擴(kuò)散模型在 latent 或 embedding 上不斷加噪再學(xué)習(xí)去噪從而生成新內(nèi)容。推薦系統(tǒng) / 圖神經(jīng)網(wǎng)絡(luò)給用戶、商品、節(jié)點(diǎn) embedding 加噪構(gòu)造對比視圖緩解冷啟動和過擬合。和幾個概念的區(qū)別輸入加噪改原始數(shù)據(jù)比如詞替換、圖片加噪。Embedding 加噪不改原始數(shù)據(jù)改的是模型內(nèi)部的向量表示。Dropout隨機(jī)置零屬于一種結(jié)構(gòu)化加噪。對抗訓(xùn)練加的是“最壞方向”的擾動不是隨機(jī)噪聲。差分隱私通常在梯度或輸出上加噪embedding 加噪也可以用于隱私保護(hù)但要滿足隱私預(yù)算。注意點(diǎn)噪聲強(qiáng)度很關(guān)鍵太小幾乎沒效果。太大embedding 語義被破壞模型性能下降。通常訓(xùn)練時加噪推理時不一定加。如果 embedding 做過歸一化加噪后可能還要重新歸一化。隨機(jī)種子、噪聲分布、加噪位置都會影響結(jié)果。