客服助手沒有按照格式回答可以改提示不知道最新政策可以提供資料大量任務(wù)中始終采用不合適的表達(dá)方式可能需要考慮訓(xùn)練調(diào)整。它們都能改變輸出卻改變了系統(tǒng)的不同部分。如果沒有區(qū)分這些差異常見結(jié)果是用很長(zhǎng)的提示彌補(bǔ)缺少的數(shù)據(jù)用反復(fù)訓(xùn)練追逐每天變化的事實(shí)或者搭建復(fù)雜檢索之后才發(fā)現(xiàn)問題其實(shí)出在任務(wù)定義。判斷應(yīng)該改哪里可以從一次回答形成之前哪些信息和行為已經(jīng)確定開始。文章目錄提示改變當(dāng)前任務(wù)的輸入檢索改變當(dāng)前可用的外部證據(jù)微調(diào)改變模型參數(shù)中的行為傾向三者可以配合效果需要拆開判斷先定位缺失再選擇改動(dòng)提示改變當(dāng)前任務(wù)的輸入模型開始生成時(shí)會(huì)看到當(dāng)前請(qǐng)求提供的指令、問題、資料和示例。這些內(nèi)容共同構(gòu)成上下文。調(diào)整提示就是在不改變模型參數(shù)的情況下改變它這一次收到的信息和任務(wù)要求。假設(shè)要把客戶留言整理成工單?！罢硪幌隆睕]有說明字段、缺失信息的處理方式也沒有說明能否推斷。改成“提取產(chǎn)品型號(hào)、故障現(xiàn)象和購買時(shí)間原文沒有的信息留空”就明確了任務(wù)邊界。補(bǔ)充示例還可以展示抽象規(guī)則難以表達(dá)的區(qū)別。例如客戶說“上個(gè)月買的”系統(tǒng)可以保留原話卻不應(yīng)在缺少當(dāng)前日期時(shí)擅自轉(zhuǎn)換成具體日期。示例的價(jià)值是呈現(xiàn)判斷關(guān)系不能只展示一種固定措辭否則模型可能學(xué)會(huì)表面模板。提示可以利用模型已有能力使它在當(dāng)前任務(wù)中采用某種格式或處理方式。但如果輸入沒有最新保修期限一句“務(wù)必準(zhǔn)確”并沒有補(bǔ)上這條事實(shí)。提示中的要求與支持要求的信息需要分別檢查。上下文還有長(zhǎng)度和組織成本。每次都附上大量不相關(guān)規(guī)則會(huì)增加處理內(nèi)容也可能讓真正重要的要求難以被穩(wěn)定使用。因此提示不是越長(zhǎng)越可靠而應(yīng)包含當(dāng)前任務(wù)需要且不相互沖突的信息。檢索改變當(dāng)前可用的外部證據(jù)當(dāng)所需資料無法全部直接放入請(qǐng)求時(shí)可以先從外部集合中尋找相關(guān)內(nèi)容再提供給模型。這樣的檢索增強(qiáng)方式使事實(shí)資料的維護(hù)與模型訓(xùn)練分開。政策更新后系統(tǒng)可以更新文檔和索引讓后續(xù)查詢?nèi)〉眯掳姹尽ＤＰ筒槐貫榱诉@一項(xiàng)政策重新訓(xùn)練。但資料更新能否及時(shí)反映在答案中仍取決于解析、索引更新、版本篩選與實(shí)際檢索結(jié)果。檢索適合按問題獲取證據(jù)不天然解決全部資料任務(wù)。需要統(tǒng)計(jì)所有投訴類別時(shí)只拿最相關(guān)的幾條投訴可能漏掉大量記錄需要回答某一產(chǎn)品的維修條件時(shí)按對(duì)象篩選適用條款則很有價(jià)值。另一個(gè)邊界是行為能力。模型收到正確條款后仍把條件理解錯(cuò)說明資料進(jìn)入輸入只是必要的一步。需要檢查任務(wù)要求、表達(dá)方式、模型能力或判斷流程不能把所有錯(cuò)誤都?xì)w結(jié)為“再多找一些資料”。檢索本身也引入了新的可變部分。相同問題在資料變化后可能收到不同證據(jù)因此評(píng)價(jià)時(shí)要保留適用版本和實(shí)際輸入否則無法判斷新答案的變化來自哪里。微調(diào)改變模型參數(shù)中的行為傾向微調(diào)是在已有模型基礎(chǔ)上利用一批訓(xùn)練樣本繼續(xù)調(diào)整參數(shù)。它會(huì)影響模型之后處理同類輸入的傾向而不只是改變某一次請(qǐng)求中的材料。如果大量工單需要穩(wěn)定遵循某種分類體系、輸出約定或?qū)I(yè)表達(dá)方式經(jīng)過驗(yàn)證的訓(xùn)練樣本可能幫助模型適應(yīng)這類任務(wù)。但樣本必須體現(xiàn)正確判斷不能只有格式漂亮的最終答案更不能把未經(jīng)核對(duì)的模型輸出直接當(dāng)成可靠標(biāo)準(zhǔn)。例如訓(xùn)練集中“沒有購買時(shí)間”的留言都被隨意補(bǔ)成最近日期模型可能更穩(wěn)定地重復(fù)這個(gè)錯(cuò)誤。數(shù)據(jù)規(guī)模變大不會(huì)自動(dòng)糾正標(biāo)簽規(guī)則反而可能讓不合適的行為更難察覺。微調(diào)可以使模型學(xué)到或記住新的事實(shí)但不能因此把參數(shù)當(dāng)作能夠逐條更新、精確查詢并返回出處的數(shù)據(jù)庫。某個(gè)客戶昨天修改地址后業(yè)務(wù)系統(tǒng)可以準(zhǔn)確更新對(duì)應(yīng)記錄通過訓(xùn)練修改這一事實(shí)則難以提供同樣明確的更新、刪除和追蹤邊界。微調(diào)還需要考慮訓(xùn)練與評(píng)估成本、供應(yīng)方支持、數(shù)據(jù)適用權(quán)利和回退方式。它應(yīng)當(dāng)回答一個(gè)已被觀測(cè)到的任務(wù)問題而不應(yīng)只是因?yàn)椤坝袛?shù)據(jù)”就成為默認(rèn)步驟。三者可以配合效果需要拆開判斷一個(gè)系統(tǒng)可以同時(shí)使用三種方法經(jīng)過訓(xùn)練的模型遵循工單字段規(guī)范提示明確這次要處理哪個(gè)請(qǐng)求檢索提供當(dāng)前產(chǎn)品政策。它們并不互相排斥關(guān)鍵是各自承擔(dān)的作用能夠解釋。如果一次更換了模型、訓(xùn)練數(shù)據(jù)、提示和檢索方式結(jié)果變好也很難知道收益來自哪一處。實(shí)際改進(jìn)可以先固定評(píng)價(jià)樣本和判斷標(biāo)準(zhǔn)再按已定位的問題調(diào)整必要部分。對(duì)于同一組留言至少需要檢查型號(hào)提取、缺失字段處理、分類正確性以及原先正常的情況是否退化。對(duì)于政策問答還要檢查證據(jù)版本與適用范圍。單獨(dú)看到輸出格式更整齊不能說明事實(shí)正確性隨之提高。成本也需要對(duì)應(yīng)實(shí)際任務(wù)。長(zhǎng)提示可能增加每次調(diào)用的輸入負(fù)擔(dān)檢索需要維護(hù)資料處理和查詢微調(diào)需要準(zhǔn)備訓(xùn)練數(shù)據(jù)并維護(hù)模型版本。哪個(gè)更合適取決于任務(wù)頻率、錯(cuò)誤來源、資料變化速度和需要達(dá)到的穩(wěn)定程度沒有統(tǒng)一的最便宜路線。先定位缺失再選擇改動(dòng)當(dāng)助手答錯(cuò)時(shí)先確認(rèn)它有沒有獲得正確資料。沒有資料需要補(bǔ)輸入、接入查詢或改善檢索資料齊全但任務(wù)邊界含糊需要明確指令與示例要求清楚仍持續(xù)出現(xiàn)同類能力問題再評(píng)估是否需要更合適的模型或訓(xùn)練適配。這種判斷并不保證每個(gè)問題都能迅速解決但可以避免在錯(cuò)誤層面反復(fù)投入。提示控制當(dāng)前任務(wù)檢索提供外部證據(jù)微調(diào)調(diào)整參數(shù)中的行為傾向。把三者的作用和限制分清才能在組合使用時(shí)知道每一部分為什么存在。參考資料Anthropic上下文組織 · 檢索增強(qiáng)生成 · Andrej Karpathy語言模型的訓(xùn)練與使用。本文討論方法所改變的部分不給出脫離任務(wù)條件的模型或服務(wù)推薦。AI 工程知識(shí)庫