誰(shuí)沒(méi)有過(guò)這種時(shí)候一個(gè)線上事故折騰了兩三天才定位回看聊天記錄才發(fā)現(xiàn)同事上周就提過(guò)類似風(fēng)險(xiǎn)一個(gè)需求上線后數(shù)據(jù)沒(méi)漲翻需求評(píng)審文檔才發(fā)現(xiàn)當(dāng)時(shí)大家糾結(jié)過(guò)同一個(gè)假設(shè)。事情做完了回頭看全都明明白白可當(dāng)時(shí)就是沒(méi)人抓住關(guān)鍵點(diǎn)。我把這套用于“事后有依據(jù)地回頭看”的流程做成了一個(gè)小項(xiàng)目名字直接叫“hindsight”。這不是什么高深算法而是用 Dify 把開(kāi)會(huì)錄音、聊天記錄、排期文檔這些零散材料統(tǒng)一吃進(jìn)去跑成結(jié)構(gòu)化復(fù)盤結(jié)論再把每一次復(fù)盤沉淀下來(lái)等下一次遇到相似節(jié)奏時(shí)自動(dòng)調(diào)出來(lái)參考。這個(gè)項(xiàng)目適合誰(shuí)只要你的工作里有會(huì)議、有決策、有返工就值得抄一份。開(kāi)發(fā)、產(chǎn)品、運(yùn)營(yíng)、項(xiàng)目管理都能用最樸素的場(chǎng)景就是每周花二十分鐘讓 AI 把一周的原始材料按照時(shí)間線、決策點(diǎn)、失敗信號(hào)拆好然后你只看結(jié)論。整個(gè)鏈路的工具就是 Dify 平臺(tái)、一個(gè)大模型 API、一份可以寫(xiě)入的存儲(chǔ)路徑不需要專門寫(xiě)前端頁(yè)面也不需要對(duì)模型做微調(diào)。這個(gè)標(biāo)題看起來(lái)只是一個(gè)英文單詞但真正動(dòng)手做的時(shí)候你會(huì)發(fā)現(xiàn)難點(diǎn)根本不在“回顧”這兩個(gè)字上而在怎么把零散材料變成可檢索、可對(duì)比、可避免重蹈覆轍的記錄。下面我按項(xiàng)目從設(shè)計(jì)到落地的順序把思路、配置和踩過(guò)的坑一次性講透。1. 項(xiàng)目定位為什么需要“事后記錄”以及 Dify 好在哪1.1 “事后”不是記憶力問(wèn)題是現(xiàn)場(chǎng)信息沒(méi)被結(jié)構(gòu)化很多人會(huì)把 hindsight 這種需求歸類為“整理文檔”或者“寫(xiě)周報(bào)”我一開(kāi)始也這么想。直到有一次復(fù)盤我翻出半個(gè)月前的會(huì)議錄音才發(fā)現(xiàn)當(dāng)時(shí)的結(jié)論和幾個(gè)人真正擔(dān)心的事情根本不是同一件事。問(wèn)題不是大家記性差而是現(xiàn)場(chǎng)信息是以對(duì)話流形式存在的人耳聽(tīng)完就散根本留不下結(jié)構(gòu)化痕跡。這個(gè)項(xiàng)目的核心思路很簡(jiǎn)單在信息還熱乎的時(shí)候把原始材料切成事件單元給每個(gè)事件打上時(shí)間、參與者、決策、疑問(wèn)、待辦幾個(gè)維度。等一周結(jié)束后行成一個(gè)“過(guò)去的我到底在想什么、怕什么、忽略了什么”的索引。聽(tīng)起來(lái)像寫(xiě)日記但做出來(lái)的東西比日記可靠得多因?yàn)樗皇强炕貞浂强慨?dāng)時(shí)的原始素材。所以“hindsight”在我的定義里不是記錄工具也不是總結(jié)工具而是一個(gè)最小可用的個(gè)人或團(tuán)隊(duì)經(jīng)驗(yàn)沉淀系統(tǒng)。它的本質(zhì)是把無(wú)序材料轉(zhuǎn)成有序結(jié)構(gòu)再把有序結(jié)構(gòu)放進(jìn)檢索池子里。后面什么時(shí)候需要就什么時(shí)候查。1.2 為什么偏偏選 Dify 而不是自己寫(xiě)腳本我最早是用 Python 寫(xiě)的流水線調(diào)用轉(zhuǎn)錄接口、把文本切塊、調(diào)大模型總結(jié)、存進(jìn) SQLite。跑了兩個(gè)禮拜問(wèn)題來(lái)了每次換參數(shù)要改代碼跑完沒(méi)有可視化日志同事想用還得手把手教命令行。后來(lái)?yè)Q到 Dify 重做看中的是三點(diǎn)。第一它把工作流、模型、知識(shí)庫(kù)這三塊東西做成了可視化節(jié)點(diǎn)改動(dòng)不需要重新發(fā)布整套代碼。第二它有現(xiàn)成的數(shù)據(jù)標(biāo)注和日志追蹤Prompt 改一下就能對(duì)比效果。第三Dify 的知識(shí)庫(kù)自帶向量檢索我不用自己去維護(hù)向量數(shù)據(jù)庫(kù)的切割和入庫(kù)流程。當(dāng)然用 LangChain 或者 FastAPI 也能實(shí)現(xiàn)一樣的效果但那是從零開(kāi)始造輪子。Dify 把“應(yīng)用編排”“模型調(diào)用”“知識(shí)檢索”統(tǒng)一在一個(gè)界面里對(duì)我這種以業(yè)務(wù)結(jié)果為導(dǎo)向的開(kāi)發(fā)者來(lái)說(shuō)少維護(hù)一層是一層。特別是定時(shí)觸發(fā)和 API 輸出這兩個(gè)能力直接把“每周自動(dòng)跑一次復(fù)盤”變成了配置項(xiàng)這個(gè)比手寫(xiě) cron 加回調(diào)舒服得多。2. 整體方案設(shè)計(jì)與數(shù)據(jù)流2.1 一條復(fù)盤鏈路從材料進(jìn)入到結(jié)論沉淀的五個(gè)環(huán)節(jié)整個(gè) hindsight 項(xiàng)目的數(shù)據(jù)鏈路我拆成了五個(gè)環(huán)節(jié)缺一個(gè)都會(huì)讓“后見(jiàn)之明”變得不完整。第一個(gè)環(huán)節(jié)是材料采集?，F(xiàn)在大多數(shù)工具都有導(dǎo)出功能飛書(shū)會(huì)議有轉(zhuǎn)錄企業(yè)微信會(huì)話可以導(dǎo)出工單系統(tǒng)能拉 CSVGit 倉(cāng)庫(kù)有 commit log。我不追求自動(dòng)化抓取所有來(lái)源而是每周手動(dòng)把關(guān)鍵素材丟到一個(gè)固定目錄里這比強(qiáng)行接一堆 API 更可靠。第二個(gè)環(huán)節(jié)是文本預(yù)處理。錄音先轉(zhuǎn)成文字文字如果太長(zhǎng)按時(shí)間或段落切分。這里有個(gè)關(guān)鍵原則寧可多切一刀也不要讓上下文被截?cái)喑蓺垙U。我一般按五百字左右一個(gè)塊塊與塊之間保留五十字重疊這樣后面做整體分析的時(shí)候信息不會(huì)斷在邊界上。第三個(gè)環(huán)節(jié)是事件結(jié)構(gòu)化。這一步是 Dify 工作流的核心也就是讓大模型把原始文本變成時(shí)間線、決策點(diǎn)、風(fēng)險(xiǎn)信號(hào)、行動(dòng)項(xiàng)四類信息。每個(gè)信息條目都要求帶原文時(shí)間或者引用語(yǔ)而不是讓模型自由發(fā)揮。第四個(gè)環(huán)節(jié)是沉淀入庫(kù)。結(jié)構(gòu)化輸出以 JSON 或 Markdown 格式寫(xiě)回本地同時(shí)寫(xiě)入 Dify 知識(shí)庫(kù)。知識(shí)庫(kù)這里有一個(gè)很微妙的好處下次不管是一次新的會(huì)議還是一個(gè)新話題模型在理解當(dāng)下材料時(shí)可以先去檢索歷史復(fù)盤把高度相似的舊事件一并帶入上下文。第五個(gè)環(huán)節(jié)是定期回顧。我設(shè)定每周日晚上自動(dòng)跑一次匯總?cè)蝿?wù)把這一周新入庫(kù)的內(nèi)容按主題聚類生成若干條“要注意什么”“其實(shí)早就出現(xiàn)過(guò)什么”推送給自己或者群機(jī)器人。2.2 模塊選型轉(zhuǎn)錄引擎、分塊策略、存儲(chǔ)方式和模型的選擇這部分我不推薦鎖死某一個(gè)供應(yīng)商只說(shuō)選型邏輯。轉(zhuǎn)錄引擎我試過(guò)開(kāi)源的 Whisper 和幾家云端 ASR結(jié)果差異很大。普通話會(huì)議、多人說(shuō)話、有英文術(shù)語(yǔ)這些場(chǎng)景云端識(shí)別率明顯高一些但如果你對(duì)數(shù)據(jù)出境敏感那就本地部署 Whisper加一點(diǎn)后端修正規(guī)則。我的經(jīng)驗(yàn)是轉(zhuǎn)錄文本的質(zhì)量直接影響后面大模型的分析上限轉(zhuǎn)錄錯(cuò)了復(fù)盤結(jié)論就是一本正經(jīng)地胡說(shuō)八道。分塊策略這一點(diǎn)很多新手會(huì)忽略。默認(rèn)按字?jǐn)?shù)切塊確實(shí)省事但會(huì)議記錄里往往一個(gè)話題跨越好幾個(gè)人發(fā)言機(jī)械切塊會(huì)把“提出問(wèn)題”和“確認(rèn)風(fēng)險(xiǎn)”拆成兩段。我后來(lái)改成按話題邊界切做法是先讓模型跑一遍“粗分段”給它一個(gè)提示把內(nèi)容里話題切換的位置標(biāo)記出來(lái)再按這個(gè)標(biāo)記去切。雖然多調(diào)一次模型但后續(xù)結(jié)構(gòu)化的準(zhǔn)確度明顯上升。存儲(chǔ)方式我用的是 Dify 知識(shí)庫(kù)加本地文件夾雙寫(xiě)。向量檢索負(fù)責(zé)語(yǔ)義召回本地文件負(fù)責(zé)留底和人工復(fù)查。兩個(gè)都寫(xiě)看起來(lái)啰嗦但萬(wàn)一模型抽風(fēng)至少能回到原始材料核對(duì)。模型選擇上我做這件事的基本原則是不要用一個(gè)模型干所有活。轉(zhuǎn)錄后的話題切分用中檔模型就夠最終的結(jié)構(gòu)化輸出用當(dāng)前推理能力更強(qiáng)一點(diǎn)的模型如果是做普通查詢回復(fù)輕量模型反而響應(yīng)更快。Dify 支持不同節(jié)點(diǎn)配不同模型這個(gè)特性一定用起來(lái)又省錢又能控制效果。2.3 給“后見(jiàn)之明”做差分不是給結(jié)論而是給對(duì)比hindsight 這個(gè)詞總是讓人聯(lián)想到“事后諸葛亮”但我在這個(gè)項(xiàng)目里最想避免的也是這一點(diǎn)。真正的后見(jiàn)之明不應(yīng)該是馬后炮而是能看出“當(dāng)時(shí)的決策依據(jù)和最終結(jié)果的偏差”。所以方案里我專門設(shè)計(jì)了一個(gè)差分邏輯。每次跑周度回顧時(shí)不是單純讓模型看本周內(nèi)容而是強(qiáng)制讓它做兩個(gè)動(dòng)作第一把本周出現(xiàn)的問(wèn)題和上周的復(fù)盤條目做相似性比對(duì)第二列出哪些風(fēng)險(xiǎn)是舊問(wèn)題重提哪些是舊問(wèn)題演化出了新形態(tài)。這兩個(gè)動(dòng)作在 Dify 里實(shí)現(xiàn)起來(lái)不復(fù)雜知識(shí)庫(kù)檢索命中后把命中條目的摘要拼到當(dāng)前文本后面然后告訴模型上下文里的舊條目必須被引用。這種設(shè)計(jì)能在數(shù)據(jù)結(jié)構(gòu)上避免“每次都像第一次遇到問(wèn)題”的感覺(jué)。團(tuán)隊(duì)協(xié)作里最怕的不是遇到新問(wèn)題而是同一個(gè)坑換了件外衣又踩一次。差分這一步才是 hindsight 的價(jià)值核心。3. 實(shí)操?gòu)牧愦罱ㄒ粋€(gè) Dify 復(fù)盤應(yīng)用3.1 創(chuàng)建應(yīng)用工作流和對(duì)話助手分工不要混在一個(gè)應(yīng)用里我第一次做的時(shí)候把上傳材料、結(jié)構(gòu)化分析、問(wèn)答檢索全塞進(jìn)了一個(gè) Chatbot結(jié)果對(duì)話上下文越攢越長(zhǎng)輸出越來(lái)越慢還經(jīng)常把“用戶的一句話”當(dāng)成“待復(fù)盤的材料”來(lái)處理。后來(lái)我把職責(zé)拆開(kāi)建了兩個(gè)應(yīng)用。第一個(gè)應(yīng)用叫“hindsight_ingest”類型選工作流只負(fù)責(zé)吃材料、做結(jié)構(gòu)化摘要、寫(xiě)存儲(chǔ)。這個(gè)應(yīng)用不面向用戶直接對(duì)話每次處理完一個(gè)文件就結(jié)束輸出一個(gè)干凈的 Markdown 或 JSON。第二個(gè)應(yīng)用叫“hindsight_chat”類型是聊天助手掛上 Dify 知識(shí)庫(kù)專門負(fù)責(zé)回答“上次我們說(shuō)過(guò)什么”“這個(gè)風(fēng)險(xiǎn)和過(guò)往有沒(méi)有關(guān)聯(lián)”這類問(wèn)題。前端只把聊天助手暴露給團(tuán)隊(duì)工作流留在后臺(tái)避免誤操作。這個(gè)拆分是我踩坑以后強(qiáng)烈建議的處理和問(wèn)答的上下文邏輯完全不同硬湊在一起早晚會(huì)遇到上下文污染。3.2 配置工作流節(jié)點(diǎn)文檔提取、LLM 結(jié)構(gòu)化、知識(shí)庫(kù)檢索下面我按 Dify 工作流編輯器里的節(jié)點(diǎn)順序來(lái)寫(xiě)操作步驟版本更新后名稱可能有差異但邏輯是通用的。先配置“文檔提取器”節(jié)點(diǎn)接收上傳的 txt、md 或?qū)С龅?CSV 文本。這時(shí)候不要直接丟給模型先把文本長(zhǎng)度做一個(gè)判斷超過(guò)模型上下文長(zhǎng)度的就按之前說(shuō)的話題邊界分塊策略拆成多個(gè)塊。Dify 的迭代節(jié)點(diǎn)可以處理這種分批執(zhí)行我這里沒(méi)有用循環(huán)拉平寫(xiě)法而是直接在“文檔提取器”后面接一個(gè)“LLM 節(jié)點(diǎn)”專門負(fù)責(zé)話題分段再接過(guò)“迭代”節(jié)點(diǎn)逐段處理。第二個(gè)是 LLM 結(jié)構(gòu)化節(jié)點(diǎn)這是整個(gè)工作流最關(guān)鍵的部分。我用的系統(tǒng)提示詞大致如下你是一個(gè)復(fù)盤分析器。請(qǐng)你根據(jù)已有的原始文本提取并輸出以下結(jié)構(gòu) 1. 事件主題一句話概括發(fā)生了什么。 2. 時(shí)間線事件內(nèi)的關(guān)鍵節(jié)點(diǎn)盡量帶上原文中出現(xiàn)的時(shí)間信息。 3. 決策點(diǎn)當(dāng)時(shí)做了什么決定依據(jù)是什么是誰(shuí)提出的。 4. 風(fēng)險(xiǎn)信號(hào)任何被提及但當(dāng)時(shí)沒(méi)有深入驗(yàn)證的疑點(diǎn)。 5. 行動(dòng)項(xiàng)后續(xù)需要跟進(jìn)的待辦如果有負(fù)責(zé)人也一并標(biāo)出。 輸出格式為 Markdown且必須嚴(yán)格從原文信息中提取。 如果原文沒(méi)有某個(gè)字段的內(nèi)容直接寫(xiě)“未提及”不要補(bǔ)充推測(cè)。這個(gè)提示詞看起來(lái)很簡(jiǎn)單但實(shí)際調(diào)了很多輪。關(guān)鍵句是“不要補(bǔ)充推測(cè)”。沒(méi)有這句模型特別喜歡生成看似合理但根本不在原文里的細(xì)節(jié)讓復(fù)盤完全失真。第三個(gè)節(jié)點(diǎn)是知識(shí)庫(kù)檢索。我是在 LLM 結(jié)構(gòu)化完成之后把輸出里的“事件主題”和“風(fēng)險(xiǎn)信號(hào)”作為檢索 query去搜索歷史復(fù)盤知識(shí)庫(kù)然后把返回的相似條目拼到當(dāng)前結(jié)果后面。這樣每次輸出都是帶著歷史上下文的而不是孤立事件。最后是寫(xiě)回節(jié)點(diǎn)。Dify 里可以用 HTTP 請(qǐng)求節(jié)點(diǎn)把結(jié)果 POST 到自己的存儲(chǔ)服務(wù)也可以直接落一條文本文件。我當(dāng)時(shí)是用文件工具寫(xiě)入本地磁盤再定時(shí)把新文件批量導(dǎo)入知識(shí)庫(kù)。這里注意導(dǎo)入知識(shí)庫(kù)的動(dòng)作要放到結(jié)構(gòu)化結(jié)果檢查完之后避免錯(cuò)漏數(shù)據(jù)污染整個(gè)檢索池。3.3 配置定時(shí)觸發(fā)與周度匯總播報(bào)Dify 的工作流觸發(fā)器里有一個(gè)定時(shí)觸發(fā)配置我用的是每周日晚上十點(diǎn)跑一次“hindsight_weekflow”。這個(gè)周度工作流不是重新處理一遍所有材料而是讀取本周新入庫(kù)的復(fù)盤記錄做一次主題聚類和趨勢(shì)對(duì)比。定時(shí)觸發(fā)節(jié)點(diǎn)的頻率、時(shí)區(qū)我不廢話了只說(shuō)一個(gè)坑定時(shí)任務(wù)跑的時(shí)候依賴的上游數(shù)據(jù)必須是齊全的。所以我在前面加了一步“檢查文件目錄里有沒(méi)有本周新文件”如果沒(méi)有就走一個(gè)分支直接結(jié)束不浪費(fèi)模型調(diào)用。這步判斷用 Dify 的條件分支節(jié)點(diǎn)很好寫(xiě)很多新手忽略了結(jié)果每周日模型空跑一輪錢花的冤枉。周度匯總的輸出我會(huì)讓模型生成三段本周重復(fù)出現(xiàn)的風(fēng)險(xiǎn)、與歷史記錄相似的舊問(wèn)題、值得寫(xiě)進(jìn)下周待辦的行動(dòng)建議。然后通過(guò) HTTP 節(jié)點(diǎn)把這段文本推到企業(yè)微信群機(jī)器人或者釘釘群自定義機(jī)器人這樣團(tuán)隊(duì)不用主動(dòng)打開(kāi)后臺(tái)就能收到。這一步真的建議做上因?yàn)槿瞬粫?huì)主動(dòng)去查復(fù)盤工具但推送大概率會(huì)看。3.4 Chat 應(yīng)用的氣泡里怎么查“后見(jiàn)之明”聊天助手這邊配置簡(jiǎn)單但提示詞同樣很關(guān)鍵。知識(shí)庫(kù)里的內(nèi)容不是把所有歷史記錄一股腦給模型而是靠檢索召回所以聊天助手的問(wèn)題往往決定了檢索質(zhì)量。我給 hindsight_chat 加了一段開(kāi)場(chǎng)提示詞你可以訪問(wèn)團(tuán)隊(duì)的歷史復(fù)盤知識(shí)庫(kù)。用戶的問(wèn)題通常是關(guān)于過(guò)去某個(gè)事件、決策或風(fēng)險(xiǎn)的回顧。 回答時(shí)遵循以下規(guī)則 1. 先說(shuō)明知識(shí)庫(kù)中是否有相關(guān)內(nèi)容并引用來(lái)源時(shí)間。 2. 如果知識(shí)庫(kù)內(nèi)容不足明確說(shuō)出“沒(méi)有找到歷史記錄”不要編造。 3. 將當(dāng)前問(wèn)題和歷史相似問(wèn)題做對(duì)照提醒可能的重蹈覆轍風(fēng)險(xiǎn)。比如你問(wèn)“上次關(guān)于權(quán)限系統(tǒng)慢的問(wèn)題結(jié)論是什么”模型會(huì)去知識(shí)庫(kù)里檢索“權(quán)限系統(tǒng)慢”相關(guān)的分塊然后引用當(dāng)時(shí)定的行動(dòng)項(xiàng)回復(fù)你。我實(shí)際用下來(lái)最大的感受是團(tuán)隊(duì)終于有一個(gè)不靠私聊記錄來(lái)助記的公共大腦了。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 長(zhǎng)文本超限導(dǎo)致輸出被截?cái)噙@是最常遇到的一個(gè)問(wèn)題。會(huì)議記錄動(dòng)輒上萬(wàn)字如果直接把全文本丟給模型經(jīng)常出現(xiàn)后半段完全沒(méi)有被分析的情況。于是我改成“先分段、后結(jié)構(gòu)化、再合并”的三步流程。但合并也有坑每個(gè)分塊單獨(dú)輸出一個(gè) Markdown 列表如果我不做一次“最終合并 LLM 節(jié)點(diǎn)”得到的復(fù)盤就是一塊一塊的碎片沒(méi)法形成完整的時(shí)間線。所以現(xiàn)在我的做法是在迭代節(jié)點(diǎn)結(jié)束后再接一個(gè) LLM 節(jié)點(diǎn)把分塊的結(jié)構(gòu)化結(jié)果拼成一個(gè)臨時(shí)文本再讓模型“調(diào)整順序合并重復(fù)項(xiàng)保留時(shí)間順序”。這個(gè)二次加工節(jié)點(diǎn)成本不高但輸出質(zhì)量直接從“可以看”變成“能直接貼進(jìn)周報(bào)”。4.2 模型的“事后諸葛亮”濾鏡太厚專挑說(shuō)得通的說(shuō)法我第一次跑周度匯總時(shí)輸出的內(nèi)容全是一廂情愿的“當(dāng)時(shí)的考慮是合理的只是執(zhí)行有偏差”。這種話沒(méi)有任何價(jià)值。問(wèn)題是模型在總結(jié)時(shí)天然偏向給行為找合理性把失敗歸因成外部變化。要解決這個(gè)問(wèn)題我在提示詞里加了兩條硬性約束一是在決策點(diǎn)后面單獨(dú)列“當(dāng)時(shí)是否有人提出反對(duì)意見(jiàn)”必須從原文里找證據(jù)沒(méi)有就寫(xiě)未提及二是在風(fēng)險(xiǎn)信號(hào)里要求“用原文原句來(lái)證明禁止轉(zhuǎn)述”。這兩條看起來(lái)是形式要求實(shí)際作用非常大能逼著模型回到對(duì)話原文里的相反聲音而不是只順著結(jié)論線走。順帶說(shuō)一個(gè)經(jīng)驗(yàn)不要直接用“總結(jié)一下”這種提示詞。你要做復(fù)盤就明確要求“列出至少兩個(gè)被提出但沒(méi)有被重視的擔(dān)心”。這種量詞式的指令比泛泛地講“注意風(fēng)險(xiǎn)”有效得多。4.3 數(shù)據(jù)脫敏沒(méi)做好復(fù)盤內(nèi)容反而成了安全風(fēng)險(xiǎn)這個(gè)坑我是在一次檢查日志時(shí)發(fā)現(xiàn)的。把會(huì)議全文交給大模型處理后輸出雖然只保留了結(jié)構(gòu)化信息但原始材料里可能有密碼、手機(jī)號(hào)、客戶敏感信息。如果只是存在本地還好但要是寫(xiě)進(jìn)了知識(shí)庫(kù)或者推送到了群里問(wèn)題就大了。所以我在文檔提取節(jié)點(diǎn)后面加了一個(gè)脫敏步驟用一條正則表達(dá)式把手機(jī)號(hào)、身份證、密鑰串替換成占位符然后在提示詞里再加一句“如識(shí)別到 API Key 或密碼返回時(shí)統(tǒng)一替換為[已脫敏]”。Dify 的文本處理節(jié)點(diǎn)能跑正則不需要另寫(xiě)服務(wù)這個(gè)步驟一定要有。復(fù)盤要做安全邊界更要守住。4.4 知識(shí)庫(kù)內(nèi)容一旦錯(cuò)漏就會(huì)被當(dāng)成真理知識(shí)庫(kù)檢索有個(gè)陷阱:它只會(huì)召回相似文本不會(huì)判斷那個(gè)文本是錯(cuò)的。模型會(huì)把歷史上的錯(cuò)誤結(jié)論當(dāng)成依據(jù)來(lái)回答問(wèn)題。所以我的補(bǔ)救辦法是,在入庫(kù)前做人工抽查而且是真抽查不是走形式。每周跑完批量導(dǎo)入后我會(huì)隨機(jī)挑三到五條結(jié)構(gòu)化摘要回原文比對(duì)有沒(méi)有失真。一旦發(fā)現(xiàn)某條摘要和原文矛盾立刻把它從知識(shí)庫(kù)刪除并記錄是哪個(gè)環(huán)節(jié)導(dǎo)致失真再修正提示詞。這個(gè)習(xí)慣比任何調(diào)參都重要。知識(shí)庫(kù)里的內(nèi)容質(zhì)量決定了“后見(jiàn)之明”是幫手還是禍害。最后再分享一個(gè)小技巧。日常過(guò)程中你可以直接把一周的聊天記錄導(dǎo)出成文本丟進(jìn)這個(gè)流程里跑一遍不用等周度定時(shí)任務(wù)。你會(huì)很驚訝地發(fā)現(xiàn)很多你覺(jué)得“當(dāng)時(shí)完全沒(méi)人提醒過(guò)”的事情其實(shí)當(dāng)時(shí)已經(jīng)有人反復(fù)提過(guò)整整三次只是那些話淹沒(méi)在了一長(zhǎng)串回復(fù)里。hindsight 這個(gè)項(xiàng)目不會(huì)改變過(guò)去但至少能保證下一次做決定時(shí)你手里拿到的不是一個(gè)失真的記憶。