言 NLP 基準(zhǔn)測(cè)試的 5 個(gè)關(guān)鍵差異)
XTREME 與 GLUE 有何不同多語(yǔ)言 NLP 基準(zhǔn)測(cè)試的 5 個(gè)關(guān)鍵差異【免費(fèi)下載鏈接】xtremeXTREME is a benchmark for the evaluation of the cross-lingual generalization ability of pre-trained multilingual models that covers 40 typologically diverse languages and includes nine tasks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/xt/xtreme如果你已經(jīng)跑過(guò) GLUE對(duì) BERT 微調(diào)駕輕就熟那么初次接觸 XTREME 時(shí)難免困惑同樣是基準(zhǔn)測(cè)試為什么它的任務(wù)清單里全是 XNLI、XQuAD、TyDiQA 這些陌生名字XTREMECross-lingual TRansfer Evaluation of Multilingual Encoders是一個(gè)專為評(píng)測(cè)預(yù)訓(xùn)練多語(yǔ)言模型跨語(yǔ)言泛化能力而生的多語(yǔ)言 NLP 基準(zhǔn)測(cè)試覆蓋 40 種語(yǔ)言、橫跨 12 個(gè)語(yǔ)系、包含 9 個(gè)任務(wù)。而 GLUE 則是純英文的單語(yǔ) NLU 基準(zhǔn)。這篇文章用 5 個(gè)關(guān)鍵差異幫你徹底搞清楚兩者的區(qū)別以及為什么多語(yǔ)言模型評(píng)測(cè)離不開 XTREME。差異一語(yǔ)言覆蓋范圍——從純英文到 40 種語(yǔ)言GLUE 的所有任務(wù)CoLA、SST-2、MNLI、QQP 等都是英文數(shù)據(jù)評(píng)測(cè)的是模型對(duì)單一語(yǔ)言的理解能力。XTREME 則完全不同它精選了 40 種類型學(xué)上高度多樣的語(yǔ)言覆蓋 12 個(gè)語(yǔ)系其中包括大量低資源語(yǔ)言——比如南印度的泰米爾語(yǔ)Tamil、非洲的斯瓦希里語(yǔ)Swahili和約魯巴語(yǔ)Yoruba。語(yǔ)言選擇策略以維基百科條目數(shù)最多的前 100 種語(yǔ)言為池子最大化語(yǔ)言多樣性、任務(wù)覆蓋率和訓(xùn)練數(shù)據(jù)可得性。這意味著一個(gè)模型要在 XTREME 上拿高分必須學(xué)會(huì)從英語(yǔ)遷移到泰米爾語(yǔ)、日語(yǔ)、希伯來(lái)語(yǔ)等差異巨大的語(yǔ)言上。差異二評(píng)測(cè)核心目標(biāo)——單語(yǔ)理解 vs 跨語(yǔ)言遷移能力GLUE 的考察對(duì)象是單語(yǔ) NLU 能力給定英文句子模型能否正確分類、判斷語(yǔ)義相似度、推理蘊(yùn)含關(guān)系。它是 BERT 時(shí)代衡量模型語(yǔ)言理解深度的標(biāo)準(zhǔn)尺。XTREME 的考察對(duì)象是跨語(yǔ)言遷移能力cross-lingual generalization模型只在英文標(biāo)注數(shù)據(jù)上訓(xùn)練然后直接應(yīng)用于其他 39 種語(yǔ)言的測(cè)試數(shù)據(jù)看知識(shí)能否零樣本地跨語(yǔ)言流動(dòng)。能否學(xué)出語(yǔ)言無(wú)關(guān)的共享表征才是 XTREME 真正要回答的問(wèn)題。這也是為什么多語(yǔ)言模型評(píng)測(cè)繞不開 XTREME——它測(cè)的不是會(huì)幾門語(yǔ)言而是換一種語(yǔ)言還會(huì)不會(huì)。差異三任務(wù)構(gòu)成——9 個(gè)任務(wù)覆蓋 4 大 NLP 范式GLUE 的 9 個(gè)任務(wù)集中在句子分類、文本蘊(yùn)含和語(yǔ)義相似度上本質(zhì)上都屬于句子級(jí)理解。XTREME 的 9 個(gè)任務(wù)則橫跨 4 大 NLP 范式考察不同層面的句法與語(yǔ)義推理任務(wù)類別包含任務(wù)考察能力? 句子分類XNLI、PAWS-X自然語(yǔ)言推斷、跨語(yǔ)言釋義識(shí)別 結(jié)構(gòu)化預(yù)測(cè)UD-POS、Wikiann NER詞性標(biāo)注、命名實(shí)體識(shí)別 句子檢索BUCC、Tatoeba跨語(yǔ)言平行句對(duì)檢索? 閱讀理解XQuAD、MLQA、TyDiQA抽取式跨語(yǔ)言問(wèn)答從上圖可以直觀看到XTREME 通過(guò)四大任務(wù)模塊匯總出一個(gè)組合得分Combined Score全面衡量模型的多語(yǔ)言綜合能力。如果你對(duì)單個(gè)任務(wù)的實(shí)現(xiàn)細(xì)節(jié)感興趣可以在項(xiàng)目倉(cāng)庫(kù)的 third_party/processors/ 目錄下找到對(duì)應(yīng)數(shù)據(jù)處理代碼例如 xnli.py 和 squad.py。差異四評(píng)測(cè)設(shè)定——零樣本跨語(yǔ)言遷移 vs 逐任務(wù)微調(diào)GLUE 的標(biāo)準(zhǔn)流程是每個(gè)任務(wù)單獨(dú)提供訓(xùn)練集模型分別微調(diào)、分別評(píng)測(cè)訓(xùn)練與測(cè)試語(yǔ)言一致。XTREME 采用零樣本跨語(yǔ)言遷移設(shè)定先用英文標(biāo)注數(shù)據(jù)微調(diào)預(yù)訓(xùn)練多語(yǔ)言模型再將該模型直接應(yīng)用到同一任務(wù)的其他語(yǔ)言測(cè)試集上獲取預(yù)測(cè)。比如在 XNLI 上模型只在英文 MNLI 數(shù)據(jù)上訓(xùn)練卻要預(yù)測(cè)法語(yǔ)、阿拉伯語(yǔ)、日語(yǔ)等語(yǔ)言的蘊(yùn)含標(biāo)簽。此外XTREME 還提供 translate-train 和 translate-test 變體——把英文訓(xùn)練集自動(dòng)翻譯成其他語(yǔ)言、或把測(cè)試集翻譯回英文用于研究翻譯增強(qiáng)對(duì)遷移效果的影響。項(xiàng)目倉(cāng)庫(kù)中的 scripts/train.sh 就是這套流程的入口腳本一條命令即可切換任務(wù)。差異五評(píng)分機(jī)制——組合得分如何計(jì)算GLUE 的得分體系相對(duì)簡(jiǎn)單每個(gè)任務(wù)單獨(dú)計(jì)分準(zhǔn)確率、F1、皮爾遜相關(guān)等最終取平均值排名。XTREME 的評(píng)分更強(qiáng)調(diào)跨任務(wù)、跨語(yǔ)言的綜合表現(xiàn)每個(gè)任務(wù)的得分先按語(yǔ)言匯總再聚合到任務(wù)層面最后綜合出組合得分。模型只有在所有 9 個(gè)任務(wù)、所有語(yǔ)言上都表現(xiàn)均衡才能獲得高分——單項(xiàng)突出并不能掩蓋短板。提交評(píng)測(cè)也非常規(guī)范將每個(gè)任務(wù)的預(yù)測(cè)結(jié)果按test-{語(yǔ)言代碼}.{擴(kuò)展名}命名放入對(duì)應(yīng)子目錄再通過(guò)倉(cāng)庫(kù)根目錄的 evaluate.py 與標(biāo)簽文件比對(duì)即可目錄格式示例可以直接參考 mock_test_data/predictions/。快速上手 XTREME多語(yǔ)言模型評(píng)測(cè)的實(shí)用路徑想親身體驗(yàn)這套多語(yǔ)言 NLP 基準(zhǔn)測(cè)試按以下三步即可跑通克隆倉(cāng)庫(kù)并安裝依賴克隆地址為https://gitcode.com/gh_mirrors/xt/xtreme然后運(yùn)行bash install_tools.sh安裝 transformers、seqeval、jieba 等依賴。下載數(shù)據(jù)按 README.md 的說(shuō)明將 panx 數(shù)據(jù)集放入download目錄再執(zhí)行bash scripts/download_data.sh下載其余數(shù)據(jù)。訓(xùn)練與評(píng)測(cè)運(yùn)行bash scripts/train.sh [模型] [任務(wù)]微調(diào)基線模型如bert-base-multilingual-cased、xlm-roberta-large最后用python evaluate.py --prediction_folder [路徑] --label_folder [路徑]計(jì)算得分。值得一提的是倉(cāng)庫(kù)中的 multichecklist/ 目錄還提供了面向任務(wù)的細(xì)粒度檢查清單適合想深入了解模型在特定語(yǔ)言上表現(xiàn)的進(jìn)階玩家。一張表看懂XTREME vs GLUE 核心區(qū)別維度GLUEXTREME 語(yǔ)言純英文40 種語(yǔ)言、12 個(gè)語(yǔ)系 評(píng)測(cè)目標(biāo)單語(yǔ) NLU 理解跨語(yǔ)言遷移泛化 任務(wù)數(shù)量9 個(gè)句子級(jí)任務(wù)9 個(gè)任務(wù)、4 大范式 訓(xùn)練設(shè)定逐任務(wù)同語(yǔ)言微調(diào)英文微調(diào)后零樣本遷移 評(píng)分方式單任務(wù)平均任務(wù)語(yǔ)言聚合的組合得分結(jié)語(yǔ)選 GLUE 還是 XTREME一句話總結(jié)做單語(yǔ)模型研究選 GLUE做多語(yǔ)言模型評(píng)測(cè)選 XTREME。如果你關(guān)注的是跨語(yǔ)言遷移、低資源語(yǔ)言表現(xiàn)、多語(yǔ)言預(yù)訓(xùn)練模型的泛化邊界XTREME 是目前最權(quán)威的多語(yǔ)言 NLP 基準(zhǔn)測(cè)試之一。理解了它與 GLUE 的這 5 個(gè)關(guān)鍵差異你就能更準(zhǔn)確地解讀多語(yǔ)言模型的評(píng)測(cè)結(jié)果也為后續(xù)研究跨語(yǔ)言 NLP 打下堅(jiān)實(shí)基礎(chǔ)。【免費(fèi)下載鏈接】xtremeXTREME is a benchmark for the evaluation of the cross-lingual generalization ability of pre-trained multilingual models that covers 40 typologically diverse languages and includes nine tasks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/xt/xtreme創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 XTREME 與 GLUE 有何不同？多語(yǔ)言 NLP 基準(zhǔn)測(cè)試的 5 個(gè)關(guān)鍵差異
XTREME 與 GLUE 有何不同多語(yǔ)言 NLP 基準(zhǔn)測(cè)試的 5 個(gè)關(guān)鍵差異【免費(fèi)下載鏈接】xtremeXTREME is a benchmark for the evaluation of the cross-lingual generalization ability of pre-trained multilingual models that covers 40 typologically diverse languages and includes nine tasks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/xt/xtreme如果你已經(jīng)跑過(guò) GLUE對(duì) BERT 微調(diào)駕輕就熟那么初次接觸 XTREME 時(shí)難免困惑同樣是基準(zhǔn)測(cè)試為什么它的任務(wù)清單里全是 XNLI、XQuAD、TyDiQA 這些陌生名字XTREMECross-lingual TRansfer Evaluation of Multilingual Encoders是一個(gè)專為評(píng)測(cè)預(yù)訓(xùn)練多語(yǔ)言模型跨語(yǔ)言泛化能力而生的多語(yǔ)言 NLP 基準(zhǔn)測(cè)試覆蓋 40 種語(yǔ)言、橫跨 12 個(gè)語(yǔ)系、包含 9 個(gè)任務(wù)。而 GLUE 則是純英文的單語(yǔ) NLU 基準(zhǔn)。這篇文章用 5 個(gè)關(guān)鍵差異幫你徹底搞清楚兩者的區(qū)別以及為什么多語(yǔ)言模型評(píng)測(cè)離不開 XTREME。差異一語(yǔ)言覆蓋范圍——從純英文到 40 種語(yǔ)言GLUE 的所有任務(wù)CoLA、SST-2、MNLI、QQP 等都是英文數(shù)據(jù)評(píng)測(cè)的是模型對(duì)單一語(yǔ)言的理解能力。XTREME 則完全不同它精選了 40 種類型學(xué)上高度多樣的語(yǔ)言覆蓋 12 個(gè)語(yǔ)系其中包括大量低資源語(yǔ)言——比如南印度的泰米爾語(yǔ)Tamil、非洲的斯瓦希里語(yǔ)Swahili和約魯巴語(yǔ)Yoruba。語(yǔ)言選擇策略以維基百科條目數(shù)最多的前 100 種語(yǔ)言為池子最大化語(yǔ)言多樣性、任務(wù)覆蓋率和訓(xùn)練數(shù)據(jù)可得性。這意味著一個(gè)模型要在 XTREME 上拿高分必須學(xué)會(huì)從英語(yǔ)遷移到泰米爾語(yǔ)、日語(yǔ)、希伯來(lái)語(yǔ)等差異巨大的語(yǔ)言上。差異二評(píng)測(cè)核心目標(biāo)——單語(yǔ)理解 vs 跨語(yǔ)言遷移能力GLUE 的考察對(duì)象是單語(yǔ) NLU 能力給定英文句子模型能否正確分類、判斷語(yǔ)義相似度、推理蘊(yùn)含關(guān)系。它是 BERT 時(shí)代衡量模型語(yǔ)言理解深度的標(biāo)準(zhǔn)尺。XTREME 的考察對(duì)象是跨語(yǔ)言遷移能力cross-lingual generalization模型只在英文標(biāo)注數(shù)據(jù)上訓(xùn)練然后直接應(yīng)用于其他 39 種語(yǔ)言的測(cè)試數(shù)據(jù)看知識(shí)能否零樣本地跨語(yǔ)言流動(dòng)。能否學(xué)出語(yǔ)言無(wú)關(guān)的共享表征才是 XTREME 真正要回答的問(wèn)題。這也是為什么多語(yǔ)言模型評(píng)測(cè)繞不開 XTREME——它測(cè)的不是會(huì)幾門語(yǔ)言而是換一種語(yǔ)言還會(huì)不會(huì)。差異三任務(wù)構(gòu)成——9 個(gè)任務(wù)覆蓋 4 大 NLP 范式GLUE 的 9 個(gè)任務(wù)集中在句子分類、文本蘊(yùn)含和語(yǔ)義相似度上本質(zhì)上都屬于句子級(jí)理解。XTREME 的 9 個(gè)任務(wù)則橫跨 4 大 NLP 范式考察不同層面的句法與語(yǔ)義推理任務(wù)類別包含任務(wù)考察能力? 句子分類XNLI、PAWS-X自然語(yǔ)言推斷、跨語(yǔ)言釋義識(shí)別 結(jié)構(gòu)化預(yù)測(cè)UD-POS、Wikiann NER詞性標(biāo)注、命名實(shí)體識(shí)別 句子檢索BUCC、Tatoeba跨語(yǔ)言平行句對(duì)檢索? 閱讀理解XQuAD、MLQA、TyDiQA抽取式跨語(yǔ)言問(wèn)答從上圖可以直觀看到XTREME 通過(guò)四大任務(wù)模塊匯總出一個(gè)組合得分Combined Score全面衡量模型的多語(yǔ)言綜合能力。如果你對(duì)單個(gè)任務(wù)的實(shí)現(xiàn)細(xì)節(jié)感興趣可以在項(xiàng)目倉(cāng)庫(kù)的 third_party/processors/ 目錄下找到對(duì)應(yīng)數(shù)據(jù)處理代碼例如 xnli.py 和 squad.py。差異四評(píng)測(cè)設(shè)定——零樣本跨語(yǔ)言遷移 vs 逐任務(wù)微調(diào)GLUE 的標(biāo)準(zhǔn)流程是每個(gè)任務(wù)單獨(dú)提供訓(xùn)練集模型分別微調(diào)、分別評(píng)測(cè)訓(xùn)練與測(cè)試語(yǔ)言一致。XTREME 采用零樣本跨語(yǔ)言遷移設(shè)定先用英文標(biāo)注數(shù)據(jù)微調(diào)預(yù)訓(xùn)練多語(yǔ)言模型再將該模型直接應(yīng)用到同一任務(wù)的其他語(yǔ)言測(cè)試集上獲取預(yù)測(cè)。比如在 XNLI 上模型只在英文 MNLI 數(shù)據(jù)上訓(xùn)練卻要預(yù)測(cè)法語(yǔ)、阿拉伯語(yǔ)、日語(yǔ)等語(yǔ)言的蘊(yùn)含標(biāo)簽。此外XTREME 還提供 translate-train 和 translate-test 變體——把英文訓(xùn)練集自動(dòng)翻譯成其他語(yǔ)言、或把測(cè)試集翻譯回英文用于研究翻譯增強(qiáng)對(duì)遷移效果的影響。項(xiàng)目倉(cāng)庫(kù)中的 scripts/train.sh 就是這套流程的入口腳本一條命令即可切換任務(wù)。差異五評(píng)分機(jī)制——組合得分如何計(jì)算GLUE 的得分體系相對(duì)簡(jiǎn)單每個(gè)任務(wù)單獨(dú)計(jì)分準(zhǔn)確率、F1、皮爾遜相關(guān)等最終取平均值排名。XTREME 的評(píng)分更強(qiáng)調(diào)跨任務(wù)、跨語(yǔ)言的綜合表現(xiàn)每個(gè)任務(wù)的得分先按語(yǔ)言匯總再聚合到任務(wù)層面最后綜合出組合得分。模型只有在所有 9 個(gè)任務(wù)、所有語(yǔ)言上都表現(xiàn)均衡才能獲得高分——單項(xiàng)突出并不能掩蓋短板。提交評(píng)測(cè)也非常規(guī)范將每個(gè)任務(wù)的預(yù)測(cè)結(jié)果按test-{語(yǔ)言代碼}.{擴(kuò)展名}命名放入對(duì)應(yīng)子目錄再通過(guò)倉(cāng)庫(kù)根目錄的 evaluate.py 與標(biāo)簽文件比對(duì)即可目錄格式示例可以直接參考 mock_test_data/predictions/。快速上手 XTREME多語(yǔ)言模型評(píng)測(cè)的實(shí)用路徑想親身體驗(yàn)這套多語(yǔ)言 NLP 基準(zhǔn)測(cè)試按以下三步即可跑通克隆倉(cāng)庫(kù)并安裝依賴克隆地址為https://gitcode.com/gh_mirrors/xt/xtreme然后運(yùn)行bash install_tools.sh安裝 transformers、seqeval、jieba 等依賴。下載數(shù)據(jù)按 README.md 的說(shuō)明將 panx 數(shù)據(jù)集放入download目錄再執(zhí)行bash scripts/download_data.sh下載其余數(shù)據(jù)。訓(xùn)練與評(píng)測(cè)運(yùn)行bash scripts/train.sh [模型] [任務(wù)]微調(diào)基線模型如bert-base-multilingual-cased、xlm-roberta-large最后用python evaluate.py --prediction_folder [路徑] --label_folder [路徑]計(jì)算得分。值得一提的是倉(cāng)庫(kù)中的 multichecklist/ 目錄還提供了面向任務(wù)的細(xì)粒度檢查清單適合想深入了解模型在特定語(yǔ)言上表現(xiàn)的進(jìn)階玩家。一張表看懂XTREME vs GLUE 核心區(qū)別維度GLUEXTREME 語(yǔ)言純英文40 種語(yǔ)言、12 個(gè)語(yǔ)系 評(píng)測(cè)目標(biāo)單語(yǔ) NLU 理解跨語(yǔ)言遷移泛化 任務(wù)數(shù)量9 個(gè)句子級(jí)任務(wù)9 個(gè)任務(wù)、4 大范式 訓(xùn)練設(shè)定逐任務(wù)同語(yǔ)言微調(diào)英文微調(diào)后零樣本遷移 評(píng)分方式單任務(wù)平均任務(wù)語(yǔ)言聚合的組合得分結(jié)語(yǔ)選 GLUE 還是 XTREME一句話總結(jié)做單語(yǔ)模型研究選 GLUE做多語(yǔ)言模型評(píng)測(cè)選 XTREME。如果你關(guān)注的是跨語(yǔ)言遷移、低資源語(yǔ)言表現(xiàn)、多語(yǔ)言預(yù)訓(xùn)練模型的泛化邊界XTREME 是目前最權(quán)威的多語(yǔ)言 NLP 基準(zhǔn)測(cè)試之一。理解了它與 GLUE 的這 5 個(gè)關(guān)鍵差異你就能更準(zhǔn)確地解讀多語(yǔ)言模型的評(píng)測(cè)結(jié)果也為后續(xù)研究跨語(yǔ)言 NLP 打下堅(jiān)實(shí)基礎(chǔ)。【免費(fèi)下載鏈接】xtremeXTREME is a benchmark for the evaluation of the cross-lingual generalization ability of pre-trained multilingual models that covers 40 typologically diverse languages and includes nine tasks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/xt/xtreme創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考