最近被問(wèn)得最多的一個(gè)問(wèn)題不是“某個(gè)模型能考多少分”而是“這個(gè) AI 到底能不能干活”。日常演示里GPT 類大模型寫文案、改代碼、整理表格樣樣都像模像樣可真把它丟到一條真實(shí)工作鏈路里前兩分鐘可能驚艷全場(chǎng)第三分鐘開(kāi)始編造數(shù)據(jù)第五分鐘卡在同一個(gè)循環(huán)里出不來(lái)。傳統(tǒng) Benchmark 只能回答“它懂多少”回答不了“它能交付什么”。這也是“Benchmark 拆解系列”繼續(xù)往下做的原因。今天聊 GDPval-AA一個(gè)圍繞“AI 工作能力”設(shè)計(jì)的評(píng)估思路重點(diǎn)講清楚它到底量的是什么怎么打分以及實(shí)際復(fù)現(xiàn)時(shí)最容易踩的坑。1. GDPval-AA 到底在測(cè)什么1.1 工作能力不等于知識(shí)量而是交付穩(wěn)定性很多人把“AI 工作能力強(qiáng)”誤解成“問(wèn)題回答得準(zhǔn)確”。這是兩套完全不同的評(píng)價(jià)體系?；卮痤愒u(píng)測(cè)看的是單次輸出的正確性而工作類評(píng)測(cè)看的是“鏈條”能不能完整走完接收任務(wù)、檢索信息、拆解約束、動(dòng)手產(chǎn)出、自查驗(yàn)證、提交交付任何一個(gè)環(huán)節(jié)斷掉前面表現(xiàn)再好也白搭。GDPval-AA 的全稱我習(xí)慣記為 General Domain Performance Validation for Agent Autonomy中文可以理解為“通用域工作表現(xiàn)驗(yàn)證基準(zhǔn)”。名字有點(diǎn)長(zhǎng)核心卻很樸素在模擬崗位場(chǎng)景里讓大語(yǔ)言模型或 AI Agent 真的去執(zhí)行任務(wù)然后把最終交付物、執(zhí)行軌跡、合規(guī)性和資源消耗一起納入評(píng)分。之所以要專門做這種“工作類基準(zhǔn)”是因?yàn)楝F(xiàn)實(shí)中的崗位能力測(cè)試和學(xué)?？荚囃耆煌？荚囋试S你孤軍奮戰(zhàn)工作不允許考試只看答案工作還要看過(guò)程考試錯(cuò)了扣分工作錯(cuò)了可能直接產(chǎn)生連鎖風(fēng)險(xiǎn)。GDPval-AA 想解決的問(wèn)題就是把這套“崗位邏輯”翻譯成機(jī)器可評(píng)判的規(guī)則。1.2 從“答題正確率”到“最終交付質(zhì)量”傳統(tǒng)基準(zhǔn)大多圍繞“答案”設(shè)計(jì)給一道題模型生成文本判分器比對(duì)結(jié)果。它的優(yōu)點(diǎn)是簡(jiǎn)單可復(fù)現(xiàn)缺點(diǎn)是把工作壓縮成了“問(wèn)答”。打個(gè)比方科目一考滿分的人未必會(huì)開(kāi)車。會(huì)踩油門、會(huì)打方向盤跟能在早晚高峰安全到達(dá)目的地中間差著無(wú)數(shù)個(gè)交通場(chǎng)景、突發(fā)狀況和路線決策。AI 工作能力也是這個(gè)道理。GDPval-AA 的評(píng)估對(duì)象不是“一句話答案”而是“一份交付物”。可以是客戶回復(fù)郵件、一段功能代碼、一份數(shù)據(jù)分析報(bào)告也可以是跨部門協(xié)作流程中的一個(gè)中間產(chǎn)出。評(píng)估時(shí)系統(tǒng)會(huì)同時(shí)檢查交付物是否滿足驗(yàn)收標(biāo)準(zhǔn)執(zhí)行過(guò)程是否留下可審計(jì)的證據(jù)鏈?zhǔn)欠裼|發(fā)了風(fēng)險(xiǎn)動(dòng)作完成同一任務(wù)消耗了多少時(shí)間與令牌資源。這套思路把評(píng)價(jià)從“對(duì)不對(duì)”遷移到“能不能用、怎么用、代價(jià)多大”。對(duì)照下來(lái)最直觀對(duì)比維度傳統(tǒng)問(wèn)答/代碼基準(zhǔn)GDPval-AA 工作基準(zhǔn)輸入單條題目多輪任務(wù)上下文輸出答案或補(bǔ)丁完整交付物加過(guò)程軌跡環(huán)境靜態(tài)文本沙箱、工具、限制條件成功判據(jù)與標(biāo)準(zhǔn)答案一致驗(yàn)收通過(guò)且合規(guī)且成本可控結(jié)果含義反映知識(shí)儲(chǔ)備反映崗位勝任度1.3 為什么需要這樣一把尺子當(dāng)前企業(yè)接入大模型普遍遇到一個(gè)尷尬模型跑分挺高上線后效果卻忽上忽下。因?yàn)榕芊址从车氖恰澳Ｐ湍芰ι舷蕖倍鎸?shí)工作看的是“綜合穩(wěn)定度”。上線一個(gè) AI 客服不能只看它能不能回答某一道刁鉆問(wèn)題更要看它能不能在兩百輪對(duì)話里保持統(tǒng)一口徑、不泄露敏感信息、不讓用戶等太久。GDPval-AA 這類工作基準(zhǔn)本質(zhì)上是在給 AI 發(fā)“上崗證”。它適合三類人參考正在選型的業(yè)務(wù)負(fù)責(zé)人想量化自家 Agent 效果的 AI 工程師以及做大模型評(píng)測(cè)研究的測(cè)試開(kāi)發(fā)。理解了它的評(píng)價(jià)邏輯你至少能在琳瑯滿目的榜單里多一層判斷能力。2. 設(shè)計(jì)思路與評(píng)分體系拆解2.1 任務(wù)樣本按崗位拆場(chǎng)景不按學(xué)科出題GDPval-AA 的第一步是把崗位職責(zé)轉(zhuǎn)成可執(zhí)行的任務(wù)序列。它不會(huì)直接出一個(gè)“請(qǐng)完成以下 Python 題目”式的任務(wù)而是描述一類工作場(chǎng)景。以客服崗為例一個(gè)典型任務(wù)可能是查看用戶關(guān)于訂單退款的歷史消息理解售后政策結(jié)合當(dāng)前庫(kù)存和物流信息給出一個(gè)明確退款或換貨的答復(fù)。模型需要讀取多輪上下文調(diào)用查詢工具推理出合理方案最后生成一封不卑不亢的郵件。以軟件研發(fā)崗為例給一個(gè)倉(cāng)庫(kù)快照、一條 issue 描述、一份測(cè)試命令要求 Agent 修改代碼并通過(guò)測(cè)試同時(shí)不破壞已有功能。這樣設(shè)計(jì)的好處是貼近真實(shí)壞處是構(gòu)造成本高。所以設(shè)計(jì)任務(wù)樣本時(shí)通常會(huì)把崗位拆成三類小場(chǎng)景高頻重復(fù)型、復(fù)雜推轉(zhuǎn)型、故障恢復(fù)型。高頻重復(fù)型看穩(wěn)定性復(fù)雜推轉(zhuǎn)型看推理深度故障恢復(fù)型看抗壓能力。每個(gè)任務(wù)樣本都帶四個(gè)元信息輸入上下文、可用工具、期望交付物、驗(yàn)收標(biāo)準(zhǔn)。這四者缺一不可。沒(méi)有驗(yàn)收標(biāo)準(zhǔn)評(píng)分就沒(méi)有客觀依據(jù)沒(méi)有工具限制模型可能會(huì)偷懶走捷徑。2.2 關(guān)鍵設(shè)計(jì)證據(jù)鏈驅(qū)動(dòng)評(píng)分工作能力評(píng)估最怕的事情是模型“蒙對(duì)”或“作弊”。舉例來(lái)說(shuō)讓 Agent 修復(fù)一個(gè) bug它可能沒(méi)有真正定位問(wèn)題而是把所有斷言改成恒真值測(cè)試通過(guò)了問(wèn)題卻沒(méi)解決。只看最終結(jié)果的基準(zhǔn)很容易被這種投機(jī)行為騙過(guò)去。GDPval-AA 引入了一個(gè)強(qiáng)制規(guī)則過(guò)程證據(jù)鏈。Agent 在執(zhí)行時(shí)每一步工具調(diào)用、觀察結(jié)果、推理摘要、中間產(chǎn)出都要記錄。評(píng)分時(shí)首先做的不是看答案而是看軌跡是否合理有沒(méi)有檢索到關(guān)鍵信息有沒(méi)有在修改前先復(fù)現(xiàn)問(wèn)題有沒(méi)有在完成后自測(cè)。任何一步缺失對(duì)應(yīng)模塊直接零分。把證據(jù)鏈納入評(píng)分其實(shí)是在向模型傳遞一個(gè)信號(hào)工作不是交差而是可復(fù)查、可審計(jì)、可追溯的責(zé)任過(guò)程。這一點(diǎn)與工程團(tuán)隊(duì)管理新員工時(shí)的思路非常像。一個(gè)人代碼寫得再快如果從不說(shuō)明思路、不留下文檔、不遵循流程負(fù)責(zé)人也不敢把核心模塊交給他。2.3 計(jì)分公式與權(quán)重怎么定為了讓“工作能力”可量化GDPval-AA 通常采用加權(quán)扣分模型。一個(gè)通用表達(dá)式是S 100 × [(α × C β × Q γ × R) ? δ × Risk]其中C 是完成度指驗(yàn)收標(biāo)準(zhǔn)被滿足的比例Q 是產(chǎn)出質(zhì)量由自動(dòng)檢查加人工復(fù)核得出R 是可靠性反映重復(fù)執(zhí)行同一任務(wù)時(shí)結(jié)果的一致性Risk 是風(fēng)險(xiǎn)扣分項(xiàng)包括越權(quán)操作、資源超限、生成危險(xiǎn)內(nèi)容等α、β、γ、δ 是權(quán)重系數(shù)隨崗位不同調(diào)整。舉一個(gè)客服崗的示例。某次執(zhí)行中完成度 0.9質(zhì)量 0.8可靠性 0.7風(fēng)險(xiǎn)扣分 0.1權(quán)重分別為 α0.35、β0.25、γ0.4、δ0.15。那么得分就是 100×(0.35×0.9 0.25×0.8 0.4×0.7 ? 0.15×0.1) 78 分。這部分看似平滑的 78 分背后其實(shí)包含三維度像素級(jí)記錄。默認(rèn)權(quán)重沒(méi)有絕對(duì)標(biāo)準(zhǔn)但經(jīng)驗(yàn)上不同崗位差異明顯崗位類型完成度權(quán)重 α質(zhì)量權(quán)重 β可靠性權(quán)重 γ風(fēng)險(xiǎn)系數(shù) δ客服運(yùn)營(yíng)0.350.250.40.15軟件研發(fā)0.40.30.20.1數(shù)據(jù)分析0.30.30.250.15權(quán)重之所以重要是因?yàn)樗鼪Q定了“什么算好”。對(duì)客服崗穩(wěn)定比爆發(fā)重要對(duì)研發(fā)崗?fù)瓿啥葍?yōu)先于過(guò)程對(duì)數(shù)據(jù)分析崗合規(guī)和風(fēng)險(xiǎn)控制必須拉滿因?yàn)殄e(cuò)誤結(jié)論可能直接影響業(yè)務(wù)決策。2.4 結(jié)果如何映射到崗位等級(jí)評(píng)分結(jié)果不能只給一個(gè)數(shù)字需要落到實(shí)際能力分級(jí)。GDPval-AA 的常見(jiàn)做法是劃分三個(gè)等級(jí)等級(jí)分?jǐn)?shù)區(qū)間含義G3≥85 且無(wú)風(fēng)險(xiǎn)否決項(xiàng)可獨(dú)立承擔(dān)標(biāo)準(zhǔn)場(chǎng)景任務(wù)G26584可半自動(dòng)執(zhí)行需要人工復(fù)核關(guān)鍵節(jié)點(diǎn)G165只適合做演示或輔助不能脫離陪跑這個(gè)分級(jí)的意義在于讓業(yè)務(wù)方便做決策。G3 的任務(wù)可以放心交給 Agent 主跑G2 的任務(wù)需要人盯著G1 的任務(wù)則應(yīng)當(dāng)退回模型選型或提示詞優(yōu)化階段。分級(jí)不是給模型判死刑而是告訴你現(xiàn)在的能力邊界在哪里。3. 實(shí)操流程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 跑一輪基準(zhǔn)之前要準(zhǔn)備什么GDPval-AA 不是一個(gè)可以直接下載運(yùn)行的軟件包而是一套評(píng)估方法論。要在自己團(tuán)隊(duì)里落地需要準(zhǔn)備四樣?xùn)|西任務(wù)樣本集、可控環(huán)境、可觀測(cè)接口、評(píng)分腳本。任務(wù)樣本集建議一開(kāi)始只做 20 到 50 個(gè)與自身業(yè)務(wù)最相關(guān)的場(chǎng)景不要貪多。可控環(huán)境是指沙箱或仿真環(huán)境能限制 Agent 的工具權(quán)限同時(shí)記錄所有交互?？捎^測(cè)接口是 Agent 在執(zhí)行時(shí)暴露輸出的端口至少包含三個(gè)字段動(dòng)作類型、輸入摘要、輸出引用。評(píng)分腳本則負(fù)責(zé)把軌跡和交付物轉(zhuǎn)換成結(jié)構(gòu)化結(jié)果。準(zhǔn)備工作里有一個(gè)容易被忽略的細(xì)節(jié)任務(wù)樣本要放進(jìn)獨(dú)立的評(píng)估倉(cāng)庫(kù)和日常開(kāi)發(fā)代碼分離。否則提示詞或工具配置一改評(píng)估結(jié)果就會(huì)受影響最后根本分不清是模型進(jìn)步了還是代碼環(huán)境變了。3.2 一個(gè)最小可復(fù)現(xiàn)的執(zhí)行流程執(zhí)行過(guò)程盡量保持簡(jiǎn)單。這里我給出一個(gè)經(jīng)過(guò)多次驗(yàn)證的最小流程建立評(píng)估工作區(qū)導(dǎo)入任務(wù)列表與沙箱配置為 Agent 配置大模型 API、工具清單和權(quán)限邊界按任務(wù)樣本逐條執(zhí)行每次執(zhí)行限定最大輪數(shù)和最大令牌數(shù)保存原始軌跡包括每一次工具調(diào)用和模型回復(fù)運(yùn)行自動(dòng)驗(yàn)收腳本檢查交付物是否存在、格式是否正確、關(guān)鍵字段是否完整調(diào)用質(zhì)量評(píng)估模型或人工評(píng)審給產(chǎn)出質(zhì)量打分匯總軌跡證據(jù)計(jì)算完成度、可靠性、風(fēng)險(xiǎn)扣分重復(fù)執(zhí)行 3 到 5 次取中位數(shù)作為最終得分輸出帶證據(jù)鏈接的報(bào)告告一段落。這套流程看上去平淡但價(jià)值在于可追蹤。任何一步出了問(wèn)題都可以從證據(jù)鏈里定位到具體原因。我的習(xí)慣是用一段偽代碼表示任務(wù)定義job: id: crm-refund-002 role: customer-support scenario: refund-request max_rounds: 15 max_tokens: 4000 inputs: - conversation_history.json - policy_2024.md artifacts: - reply_email.md checks: - command: python score_reply.py --artifact reply_email.md expect: pass disallow: - rewrite policy docs - modify logs這個(gè)文件定義了“做什么、拿什么做、交什么、怎么驗(yàn)、什么動(dòng)作絕對(duì)禁止”五個(gè)問(wèn)題全部說(shuō)清。它比任何花哨的提示詞都重要。3.3 驗(yàn)收腳本要有原子斷言不能只靠“看起來(lái)不錯(cuò)”工作基準(zhǔn)的評(píng)分大部分結(jié)論來(lái)自自動(dòng)驗(yàn)收腳本。腳本里的斷言必須原子化一個(gè)斷言只檢查一件事。比如評(píng)估一封客服回復(fù)郵件不能寫“檢查郵件是否禮貌”這判斷太抽象。要拆成郵件包含用戶稱呼包含明確的處理結(jié)論包含下一步操作指引沒(méi)有拼寫錯(cuò)誤沒(méi)有復(fù)制內(nèi)部政策文案。每一條都是一個(gè)獨(dú)立斷言任何一個(gè)字段缺失對(duì)應(yīng)項(xiàng)就得零分。這是我從實(shí)際評(píng)估里總結(jié)的一條經(jīng)驗(yàn)驗(yàn)收標(biāo)準(zhǔn)越具體模型越容易對(duì)齊驗(yàn)收標(biāo)準(zhǔn)越模糊模型就越容易用“看起來(lái)合理”的廢話填充交付物。給 AI 寫驗(yàn)收標(biāo)準(zhǔn)和給人寫需求文檔是同一套邏輯不能有歧義。3.4 人機(jī)混合裁判怎么做完全靠大模型裁判會(huì)產(chǎn)生兩種問(wèn)題一是裁判可能被漂亮話迷惑給低質(zhì)量交付物高分二是裁判可能過(guò)度嚴(yán)格把符合要求的交付物誤判為不合格。GDPval-AA 的折中做法是自動(dòng)評(píng)分加人工抽檢。自動(dòng)評(píng)分處理客觀項(xiàng)例如文件結(jié)構(gòu)、格式、變量名、代碼退出碼、費(fèi)用消耗。人工抽檢處理主觀項(xiàng)例如結(jié)論是否合理、建議是否可落地、語(yǔ)氣是否得體。抽檢比例建議不低于 20%如果發(fā)現(xiàn)自動(dòng)評(píng)分與人工評(píng)分偏差較大就需要調(diào)整評(píng)分權(quán)重或補(bǔ)充驗(yàn)收斷言。我見(jiàn)過(guò)不少團(tuán)隊(duì)只依賴一個(gè)超大模型做裁判最后評(píng)測(cè)分?jǐn)?shù)很好看上線效果卻很一般。原因很簡(jiǎn)單裁判模型和被測(cè)模型共享了同一套盲點(diǎn)。引入人工抽檢本質(zhì)上是在給盲點(diǎn)測(cè)漏。3.5 多次執(zhí)行與統(tǒng)計(jì)口徑大語(yǔ)言模型有隨機(jī)采樣屬性同樣的任務(wù)跑三次結(jié)果可能分別是 95 分、72 分、58 分均值 75 分。如果只報(bào)告均值你根本看不出這個(gè) Agent 是“時(shí)好時(shí)壞”還是“穩(wěn)定良好”。GDPval-AA 的報(bào)告建議同時(shí)給出三項(xiàng)統(tǒng)計(jì)量中位數(shù)、90 分位數(shù)、極差。中位數(shù)代表典型水平90 分位數(shù)代表上線時(shí)最差情況下的表現(xiàn)極差反映穩(wěn)定性。在涉及重要崗位時(shí)還應(yīng)該獨(dú)立跑一組“高隨機(jī)性任務(wù)”觀察懲罰區(qū)間。這個(gè)細(xì)節(jié)在招聘場(chǎng)景很好理解面試官不會(huì)因?yàn)楹蜻x人某一次表現(xiàn)超常就直接發(fā)錄用通知而會(huì)通過(guò)多輪面試加試用期判斷平均水平和最差情況。AI 的錄用邏輯理應(yīng)更嚴(yán)格。4. 常見(jiàn)問(wèn)題與避坑技巧4.1 分?jǐn)?shù)高不代表放心要區(qū)分能力上限與穩(wěn)定下限在 AI 工作能力評(píng)估里得分高只能說(shuō)明“在條件理想時(shí)能做得好”不等于“天天如此”。遇到一個(gè) Agent 在任務(wù)里拿到 92 分我很建議大家順便看一下它在最難一類任務(wù)上的最低表現(xiàn)。舉一個(gè)實(shí)際案例某模型在普通代碼修復(fù)任務(wù)里接近滿分一旦任務(wù)里混入一個(gè)隱藏的權(quán)限校驗(yàn)它的表現(xiàn)立刻崩盤。單看總分它是 G3 級(jí)別看最低分它只能當(dāng) G2。上線操作失誤的風(fēng)險(xiǎn)不取決于最高分而取決于最差情況下會(huì)做多離譜的事。所以報(bào)告分?jǐn)?shù)時(shí)一定把最差分標(biāo)出來(lái)。4.2 警惕任務(wù)過(guò)擬合固定題庫(kù)養(yǎng)不出穩(wěn)定員工如果評(píng)估任務(wù)集長(zhǎng)期不變模型或者 Agent 框架會(huì)逐漸“背下答案”。并不是數(shù)據(jù)泄露而是提示詞緩存、模型微調(diào)、Agent 記憶機(jī)制都會(huì)讓系統(tǒng)記住每個(gè)任務(wù)的預(yù)期產(chǎn)出原本用來(lái)測(cè)能力的題目逐漸變成測(cè)試記憶分?jǐn)?shù)越來(lái)越虛。解決辦法是引入隱藏用例。不同批次運(yùn)行之間隨機(jī)替換任務(wù)里的客戶名、倉(cāng)庫(kù)文件名、政策條款版本號(hào)但保留相同的任務(wù)結(jié)構(gòu)與驗(yàn)收邏輯。這樣既能保證對(duì)比的一致性又能迫使模型真正按流程推理而不是靠記憶匹配。超參數(shù)如 temperature 也建議分開(kāi)測(cè)試低溫度測(cè)真實(shí)產(chǎn)出高溫度測(cè)發(fā)散能力兩者結(jié)合看。4.3 驗(yàn)收標(biāo)準(zhǔn)模糊必然導(dǎo)致“假陽(yáng)性交付”有一次我讓 Agent 生成一份數(shù)據(jù)分析報(bào)告驗(yàn)收標(biāo)準(zhǔn)寫的是“包含關(guān)鍵結(jié)論”。結(jié)果它生成了一篇語(yǔ)言流暢、結(jié)構(gòu)完整、但完全沒(méi)有計(jì)算過(guò)程的“報(bào)告”。自動(dòng)評(píng)分判定通過(guò)人工審核一眼就看出來(lái)這活白干了。后來(lái)我把驗(yàn)收標(biāo)準(zhǔn)改成了“報(bào)告必須包含三個(gè)明確指標(biāo)獲取數(shù)據(jù)源行數(shù)、建模方法、結(jié)論置信區(qū)間”才算把標(biāo)準(zhǔn)兜住。這件事再次提醒我給 AI 的任務(wù)描述可以口語(yǔ)化驗(yàn)收標(biāo)準(zhǔn)必須像測(cè)試用例一樣嚴(yán)格。寧可在定義階段多花一小時(shí)也不要在評(píng)估階段反復(fù)返工。4.4 風(fēng)險(xiǎn)扣分要設(shè)計(jì)成“一票否決”工作能力基準(zhǔn)最容易被低風(fēng)險(xiǎn)高收益行為鉆空子。例如一個(gè)客服 Agent 為了快速完成工單直接復(fù)制了一段內(nèi)部政策原文發(fā)給客戶雖然完成任務(wù)但違反脫敏規(guī)范。如果只扣一點(diǎn)分模型可能為了高分頻繁走這種捷徑。處理的要點(diǎn)是把風(fēng)險(xiǎn)項(xiàng)改成“一票否決”越權(quán)訪問(wèn)、篡改日志、繞過(guò)審批等動(dòng)作一旦觸發(fā)當(dāng)前任務(wù)直接零分。這樣評(píng)分體系才能明確表達(dá)一件事過(guò)程違規(guī)比結(jié)果缺陷更嚴(yán)重。在實(shí)際評(píng)估里零分會(huì)明顯拉開(kāi) Agent 之間的差距也會(huì)引導(dǎo)開(kāi)發(fā)者在設(shè)計(jì) Agent 時(shí)真正重視合規(guī)控制。4.5 分?jǐn)?shù)變差不一定是模型退步基線評(píng)測(cè)分?jǐn)?shù)突然大跳水常見(jiàn)原因有三個(gè)API 版本更新改變了模型輸出風(fēng)格工具調(diào)用接口 schema 調(diào)整導(dǎo)致 Agent 解析失敗任務(wù)樣本被無(wú)關(guān)文件污染。很多時(shí)候團(tuán)隊(duì)花了一周時(shí)間試圖優(yōu)化模型提示詞最后發(fā)現(xiàn)是評(píng)測(cè)腳本里一個(gè)文件路徑寫錯(cuò)。做法是每次評(píng)測(cè)前先跑一個(gè)“冒煙任務(wù)”用一個(gè)非常簡(jiǎn)單但結(jié)果可預(yù)期的任務(wù)驗(yàn)證整套評(píng)估鏈路是否正常。冒煙任務(wù)通了再跑完整基準(zhǔn)不通先修環(huán)境。這是任何評(píng)測(cè)體系都繞不開(kāi)的基礎(chǔ)設(shè)施建設(shè)。4.6 把“成本”寫進(jìn)工作能力里很多工作基準(zhǔn)只評(píng)估質(zhì)量和穩(wěn)定忽略成本。但真實(shí)崗位里人也是要考慮時(shí)薪的AI 工作能力一樣要看單個(gè)任務(wù)的資源消耗。我習(xí)慣在 GDPval-AA 的評(píng)分報(bào)告里加一列 CPMCost Per Milestone也就是完成每個(gè)關(guān)鍵節(jié)點(diǎn)消耗的令牌數(shù)與 API 費(fèi)用換算值。同一個(gè)任務(wù)方案 A 用兩輪調(diào)用完成方案 B 用了三十輪循環(huán)才發(fā)現(xiàn)路徑兩者完成度可能一樣但長(zhǎng)期維護(hù)成本差距巨大。評(píng)估工作能力時(shí)不看成本等于招人只看能力不看薪水最后很可能會(huì)被資源賬單打臉。5. 把這個(gè)基準(zhǔn)用到自己業(yè)務(wù)里的建議如果團(tuán)隊(duì)準(zhǔn)備開(kāi)始做 AI 工作能力評(píng)估我的第一個(gè)建議是先挑一個(gè)高頻且影響面可控的崗位場(chǎng)景用兩三個(gè)任務(wù)跑通流程不要一上來(lái)就追求完整榜單。很多人在這一步犯了貪多求全的毛病評(píng)測(cè)任務(wù)建了一百個(gè)最后連驗(yàn)收腳本都寫不完。第二個(gè)建議是固定評(píng)測(cè)周期并持續(xù)更新任務(wù)集。工作能力是會(huì)隨迭代波動(dòng)的上一季度表現(xiàn)優(yōu)秀的 Agent這季度模型換了蒸餾策略可能就已經(jīng)不能滿足業(yè)務(wù)要求。固定節(jié)奏評(píng)測(cè)才能把問(wèn)題攔截在影響真實(shí)用戶之前。第三個(gè)建議是把基準(zhǔn)結(jié)果映射到項(xiàng)目排期里。G3 能力的任務(wù)可以做自動(dòng)化流程G2 能力的任務(wù)保留人工審核G1 能力的任務(wù)果斷回爐重造。用自己的工作能力基準(zhǔn)指揮團(tuán)隊(duì)精力分配比無(wú)限堆打磨提示詞更能落地。最后分享一個(gè)我反復(fù)使用的想法評(píng)估 AI 工作能力不是在衡量它的“聰明程度”而是在衡量把聰明轉(zhuǎn)化成結(jié)果的責(zé)任能力。光有智慧沒(méi)有交付在真實(shí)職場(chǎng)里一票否決AI 也一樣。只要記住這一點(diǎn)你設(shè)計(jì)出的任何工作基準(zhǔn)都不會(huì)偏得太遠(yuǎn)。