1. 為什么“再完整”的答案也值得二次檢查1.1 一個(gè)讓我吃過虧的真實(shí)場景前陣子幫一個(gè)做電商的朋友處理訂單數(shù)據(jù)對賬的問題。他們每天要從三個(gè)渠道導(dǎo)出訂單明細(xì)字段格式各不相同人工核對一次要花兩個(gè)多小時(shí)。我順手把需求丟給AI讓它生成一段Python腳本做自動匹配。AI給回來的代碼結(jié)構(gòu)清晰、注釋完整、邏輯看起來無懈可擊連異常處理都寫了。我掃了一眼覺得沒問題直接跑了一遍結(jié)果匹配率只有六成多。問題出在哪AI默認(rèn)把三個(gè)渠道的訂單號都當(dāng)成了純數(shù)字字符串去比對但其中一個(gè)渠道的訂單號帶字母前綴另一個(gè)渠道的訂單號在導(dǎo)出時(shí)被表格軟件自動轉(zhuǎn)成了科學(xué)計(jì)數(shù)法。AI不知道這些“臟數(shù)據(jù)”的存在它給出的答案在邏輯層面是完整的但在現(xiàn)實(shí)層面是殘缺的。這件事之后我給自己定了一條規(guī)矩AI給的答案再完整也必須先檢查三處——數(shù)據(jù)源的真實(shí)狀態(tài)、邏輯鏈條的隱含假設(shè)、邊界條件的覆蓋程度。這三處檢查花不了幾分鐘但能擋掉絕大多數(shù)“看起來對、跑起來錯(cuò)”的坑。1.2 這三處檢查分別針對什么問題很多人用AI輔助工作習(xí)慣是“提問—復(fù)制—粘貼—運(yùn)行”中間缺少一個(gè)“審”的環(huán)節(jié)。不是不想審是不知道審什么。面對一段結(jié)構(gòu)完整、排版漂亮的答案很容易產(chǎn)生“它都寫這么全了應(yīng)該沒問題”的心理暗示。我把這三處檢查拆開說第一處數(shù)據(jù)源的真實(shí)狀態(tài)。AI只能基于你描述的數(shù)據(jù)特征來推理它看不到你本地文件里那些空值、編碼錯(cuò)誤、格式混亂、隱藏字符。所以任何涉及數(shù)據(jù)處理的答案第一步永遠(yuǎn)是拿真實(shí)數(shù)據(jù)去驗(yàn)證輸入假設(shè)。第二處邏輯鏈條的隱含假設(shè)。AI在生成答案時(shí)會“腦補(bǔ)”很多它認(rèn)為理所當(dāng)然的前提。比如你問它怎么做用戶留存分析它默認(rèn)你的用戶ID是唯一的、默認(rèn)時(shí)間字段是標(biāo)準(zhǔn)格式、默認(rèn)沒有跨天會話。這些假設(shè)不成立整個(gè)分析就是空中樓閣。第三處邊界條件的覆蓋程度。正常流程跑通不代表沒問題真正容易翻車的是空輸入、超大輸入、并發(fā)沖突、網(wǎng)絡(luò)超時(shí)這些邊界場景。AI通常會把主流程寫得很漂亮但邊界處理往往一筆帶過甚至完全忽略。這三處檢查不是對AI的不信任而是對實(shí)際業(yè)務(wù)復(fù)雜度的尊重。下面我逐個(gè)展開把每一處檢查的具體操作方法、常見坑點(diǎn)和實(shí)操心得講透。2. 第一處檢查數(shù)據(jù)源的真實(shí)狀態(tài)2.1 為什么AI看不到你的“臟數(shù)據(jù)”AI在回答問題時(shí)只能依據(jù)你在對話中提供的信息。你告訴它“我有一個(gè)包含訂單號、金額、時(shí)間的表格”它就會按照標(biāo)準(zhǔn)表格的結(jié)構(gòu)去設(shè)計(jì)處理邏輯。但現(xiàn)實(shí)中的表格往往長這樣訂單號列里混著文本和數(shù)字兩種格式金額列里有“待確認(rèn)”這樣的中文描述時(shí)間列里既有“2024-01-15”也有“2024/1/15”還有“Jan 15, 2024”。這些細(xì)節(jié)你不說AI就不知道。它給出的代碼或方案是在“理想數(shù)據(jù)”假設(shè)下成立的。所以第一處檢查的核心動作就是在把AI的答案應(yīng)用到真實(shí)數(shù)據(jù)之前先做一輪數(shù)據(jù)摸底。具體怎么做我通常分三步走。第一步看數(shù)據(jù)的基本輪廓。用最簡單的命令快速了解數(shù)據(jù)規(guī)模、字段類型、空值比例。比如處理表格數(shù)據(jù)時(shí)我會先跑一遍import pandas as pd df pd.read_csv(orders.csv) print(df.shape) # 行列數(shù) print(df.dtypes) # 字段類型 print(df.isnull().sum()) # 空值統(tǒng)計(jì) print(df.head(10)) # 前10行樣本這四行輸出能讓我在30秒內(nèi)判斷出AI的答案是否建立在錯(cuò)誤的數(shù)據(jù)假設(shè)上。如果AI假設(shè)訂單號是整數(shù)但實(shí)際讀進(jìn)來是object類型那就說明里面有非數(shù)字字符需要先清洗。第二步看字段的實(shí)際取值分布。這一步很多人會跳過但它恰恰是最容易發(fā)現(xiàn)問題的地方。比如AI寫了一個(gè)按省份分組統(tǒng)計(jì)的邏輯你跑一下df[province].value_counts()可能會發(fā)現(xiàn)“廣東省”和“廣東”同時(shí)存在“北京市”和“北京”混著用。這種問題不提前發(fā)現(xiàn)分組結(jié)果就是錯(cuò)的。第三步看時(shí)間字段和數(shù)值字段的邊界。時(shí)間字段要檢查最早和最晚日期是否在合理范圍內(nèi)有沒有未來日期或1970年的異常值。數(shù)值字段要檢查最大值、最小值、均值、中位數(shù)看看有沒有明顯離譜的數(shù)字。我見過最夸張的一次金額列里有一個(gè)值是99999999后來查出來是測試數(shù)據(jù)沒清干凈。2.2 常見的數(shù)據(jù)陷阱與排查清單做了這么多年數(shù)據(jù)處理我總結(jié)了一份“數(shù)據(jù)摸底排查清單”每次拿到新數(shù)據(jù)源都會過一遍。這份清單也適用于檢查AI答案的數(shù)據(jù)假設(shè)是否成立。檢查項(xiàng)常見問題快速排查方法字段類型數(shù)字存成文本、日期存成字符串df.dtypes看類型空值空字符串、NULL、NaN混用df.isnull().sum()重復(fù)值主鍵重復(fù)、整行重復(fù)df.duplicated().sum()格式不一致日期格式多樣、大小寫混用取樣查看value_counts()隱藏字符空格、換行符、制表符df[col].str.strip()前后對比編碼問題中文亂碼、特殊符號讀取時(shí)指定encoding試數(shù)值異常負(fù)數(shù)、超大值、精度丟失df.describe()看分布時(shí)間異常未來日期、時(shí)區(qū)混亂排序后看首尾這張表里的每一項(xiàng)我都實(shí)際踩過坑。說一個(gè)最隱蔽的隱藏字符。有一次AI生成的匹配邏輯怎么跑都對不上我查了兩個(gè)小時(shí)最后發(fā)現(xiàn)是其中一個(gè)數(shù)據(jù)源的訂單號末尾帶了一個(gè)不可見的換行符。用strip()處理一下就好了但如果不做數(shù)據(jù)摸底這種問題能讓人崩潰。注意數(shù)據(jù)摸底不是一次性的工作。每次數(shù)據(jù)源更新、每次換一批文件都要重新跑一遍。我習(xí)慣把摸底代碼封裝成一個(gè)函數(shù)每次新數(shù)據(jù)進(jìn)來先調(diào)用它輸出一份“數(shù)據(jù)體檢報(bào)告”。2.3 把數(shù)據(jù)檢查變成肌肉記憶剛開始做數(shù)據(jù)檢查會覺得麻煩覺得耽誤時(shí)間。但算一筆賬就明白了花5分鐘做數(shù)據(jù)摸底可能省掉2小時(shí)的debug。而且隨著經(jīng)驗(yàn)積累很多檢查可以并行完成實(shí)際耗時(shí)更短。我的做法是把常用檢查寫成腳本模板新項(xiàng)目直接改路徑就能用。比如下面這個(gè)函數(shù)輸入一個(gè)DataFrame自動輸出關(guān)鍵檢查結(jié)果def data_health_check(df, namedataset): print(f {name} 數(shù)據(jù)體檢報(bào)告 ) print(f行列數(shù): {df.shape}) print(f重復(fù)行: {df.duplicated().sum()}) print(f空值統(tǒng)計(jì):\n{df.isnull().sum()}) print(f字段類型:\n{df.dtypes}) for col in df.select_dtypes(includeobject).columns: sample df[col].dropna().head(3).tolist() print(f字段 {col} 樣本值: {sample}) print(f數(shù)值字段描述:\n{df.describe()})這個(gè)函數(shù)不復(fù)雜但能覆蓋八成以上的常見問題。每次AI給出數(shù)據(jù)處理方案后我先跑這個(gè)函數(shù)確認(rèn)數(shù)據(jù)狀態(tài)和AI的假設(shè)一致再往下走。3. 第二處檢查邏輯鏈條的隱含假設(shè)3.1 AI最愛“腦補(bǔ)”的幾類假設(shè)AI生成答案時(shí)會基于訓(xùn)練數(shù)據(jù)中的常見模式來補(bǔ)全信息。這在大多數(shù)時(shí)候是好事能幫你省去很多描述成本。但在實(shí)際業(yè)務(wù)場景中這些“腦補(bǔ)”出來的假設(shè)往往是錯(cuò)誤的源頭。我梳理了一下AI最常腦補(bǔ)的假設(shè)集中在幾個(gè)方面唯一性假設(shè)。AI默認(rèn)你給的ID字段是唯一的、不重復(fù)的。但現(xiàn)實(shí)中一個(gè)用戶可能有多個(gè)賬號一個(gè)訂單號可能在退款后重新生成一個(gè)設(shè)備ID可能被多人共用。如果AI的邏輯依賴唯一性而實(shí)際數(shù)據(jù)不滿足結(jié)果就會重復(fù)計(jì)算或漏算。時(shí)序假設(shè)。AI默認(rèn)數(shù)據(jù)是按時(shí)間順序排列的默認(rèn)沒有跨天、跨月、跨年的邊界問題。但實(shí)際數(shù)據(jù)可能是亂序的可能有時(shí)區(qū)差異可能有夏令時(shí)切換。我處理過一個(gè)跨時(shí)區(qū)的日志分析AI給的方案默認(rèn)所有時(shí)間都是UTC但實(shí)際數(shù)據(jù)里混著三個(gè)時(shí)區(qū)的時(shí)間戳直接算出來的會話時(shí)長全是錯(cuò)的。完整性假設(shè)。AI默認(rèn)你給的數(shù)據(jù)是完整的沒有缺失關(guān)鍵字段。但現(xiàn)實(shí)中用戶可能沒填手機(jī)號、訂單可能沒有收貨地址、日志可能丟了幾條。AI的方案如果沒有考慮缺失值處理跑起來就會報(bào)錯(cuò)或者產(chǎn)生誤導(dǎo)性結(jié)果。獨(dú)立性假設(shè)。AI默認(rèn)各個(gè)字段之間是獨(dú)立的但現(xiàn)實(shí)中字段之間往往有關(guān)聯(lián)。比如“訂單狀態(tài)”和“支付時(shí)間”是聯(lián)動的——已支付的訂單一定有支付時(shí)間未支付的訂單支付時(shí)間應(yīng)該為空。如果AI分別處理這兩個(gè)字段就可能出現(xiàn)邏輯矛盾。3.2 如何快速定位關(guān)鍵假設(shè)檢查邏輯假設(shè)不需要逐行讀代碼那樣太慢。我的方法是反向驗(yàn)證不看AI寫了什么而是問自己“這個(gè)方案在什么情況下會出錯(cuò)”。具體操作分三步第一步找出方案中的關(guān)鍵判斷節(jié)點(diǎn)。任何涉及條件判斷、數(shù)據(jù)關(guān)聯(lián)、聚合計(jì)算的地方都是假設(shè)集中的地方。比如if status paid這個(gè)判斷隱含假設(shè)是status字段的取值只有paid和not paid兩種但實(shí)際可能有pending、cancelled、refunded等多種狀態(tài)。第二步針對每個(gè)判斷節(jié)點(diǎn)列出所有可能的取值和邊界情況。這一步可以借助AI本身來完成——我會問它“這個(gè)判斷如果遇到空值會怎樣如果遇到大小寫不一致會怎樣如果遇到中文描述會怎樣”讓AI自己列出潛在問題往往能發(fā)現(xiàn)它第一遍回答時(shí)忽略的細(xì)節(jié)。第三步用真實(shí)數(shù)據(jù)做小樣本驗(yàn)證。不要等全量跑完再看結(jié)果先取100條數(shù)據(jù)跑一遍人工核對輸出是否符合預(yù)期。這一步能快速暴露假設(shè)錯(cuò)誤而且成本極低。3.3 一個(gè)典型的假設(shè)翻車案例說一個(gè)我印象深刻的案例。有個(gè)朋友讓我?guī)兔匆粋€(gè)用戶活躍度分析的腳本AI生成的邏輯是按用戶ID分組統(tǒng)計(jì)每個(gè)用戶的操作次數(shù)然后按次數(shù)排序取前20%作為活躍用戶。邏輯看起來很清晰對吧但實(shí)際跑出來的結(jié)果里有幾個(gè)用戶的操