一、一分鐘挑出十篇的那次復(fù)盤最早發(fā)現(xiàn)這個(gè)問題是在一次稿子復(fù)盤上。運(yùn)營同事把十篇機(jī)器生成的稿子混在三篇人工稿里讓我們挑我們不到一分鐘就把那十篇全挑出來了理由說不上來就是讀起來一個(gè)味兒。為了把這種感覺變成能動手改的東西我們把那十三篇稿子做了一遍統(tǒng)計(jì)。統(tǒng)計(jì)出來的幾個(gè)數(shù)和直覺對得上。機(jī)器稿的平均句長是四十二個(gè)字人工稿是二十六個(gè)連接詞密度是每百字出現(xiàn)四點(diǎn)七次人工稿是一點(diǎn)二次段落長度的標(biāo)準(zhǔn)差機(jī)器稿是三點(diǎn)八個(gè)字人工稿是十九個(gè)。幾組數(shù)字?jǐn)[在一起那種一眼看出來的感覺就有了落點(diǎn)。這批稿子一萬兩千多字我們把它們按句和按段切開做標(biāo)注切出來一千三百多個(gè)句子和兩百多個(gè)段落。后面所有改動都對著這幾組數(shù)字來驗(yàn)證改完的新稿子句長方差抬上去了連接詞密度降到每百字一點(diǎn)五次以內(nèi)。二、機(jī)器味的來源是均勻機(jī)器味的來源不是某一個(gè)詞是均勻。句子長度均勻、段落長度均勻、連接詞按固定間隔出現(xiàn)這幾件事加在一起讀的人很快就能感覺到節(jié)奏是平的人工寫作里那種忽長忽短的起伏沒有。連接詞密度最直觀。而且、因此、此外、首先、最后這幾個(gè)詞在機(jī)器稿里幾乎每段都有位置也差不多段首一個(gè)段中一個(gè)。人工稿里這些詞是缺的因?yàn)槿藢懙臅r(shí)候靠意思推著走不靠連接詞把關(guān)系標(biāo)出來。句長方差低說明句子的結(jié)構(gòu)在重復(fù)長句套短句的模式被反復(fù)使用。段落長度方差低說明每一段都在承擔(dān)差不多份量的信息沒有哪一段只寫兩句就收尾。這三種表現(xiàn)都能算出來所以也就可以被針對性地打散。三、改提示詞還是改結(jié)果第一條路是改提示詞讓模型自己寫得更接近人。這條路省事代價(jià)是效果不穩(wěn)定同一段提示詞重跑十次會有兩三次又回到原來的樣子而且這種波動沒法在結(jié)果側(cè)攔住。第二條路是拿到文本之后做一次后處理按可量化的規(guī)則去改。它穩(wěn)定可重復(fù)改完能立刻用那三個(gè)指標(biāo)驗(yàn)收代價(jià)是只能動表層動不了內(nèi)容里的事實(shí)錯(cuò)誤而且改得過頭會把意思改歪。我們兩條都用了重心放在第二條上。提示詞負(fù)責(zé)把平均句長壓下來后處理負(fù)責(zé)把剩下的均勻打散。判斷依據(jù)很簡單提示詞的效果不好度量后處理的效果能被那三個(gè)數(shù)直接量出來誰更容易驗(yàn)收就先做誰。還有一條我們試了一半就放下的路是用另一個(gè)模型把稿子重寫一遍讓它讀起來更像人寫的。效果確實(shí)有連接詞密度能掉到每百字兩次以內(nèi)代價(jià)是一次改寫要多花一倍的時(shí)間而且新的模型也會帶上它自己的均勻句子長短整齊得很等于把一種機(jī)器味換成了另一種最后還是回到規(guī)則改寫這條路上。四、三步流水與詞表替換后處理做成三步流水串在生成和入庫之間。第一步按標(biāo)點(diǎn)把文本切句第二步對句子做重排和替換第三步重新組裝段落并對齊長度。每一步都有開關(guān)和強(qiáng)度參數(shù)默認(rèn)全開強(qiáng)度按零到一之間取。替換這一步按詞表做詞表里放的是需要被換掉的連接詞和它們的候選寫法每條候選帶一個(gè)權(quán)重。匹配用 AC 自動機(jī)一次掃過全文比逐條做文本查找快很多一萬字的稿子匹配加替換在三十毫秒上下。這套改寫規(guī)則現(xiàn)在內(nèi)置在 AI智能媒體助理 的內(nèi)容處理環(huán)節(jié)可在配置里開關(guān)和調(diào)強(qiáng)度。上線之后我們把它調(diào)成默認(rèn)開啟強(qiáng)度寫零點(diǎn)六個(gè)別偏正式的欄目單獨(dú)關(guān)掉。五、句長、段落與詞頻句長處理不是隨機(jī)刪字是按標(biāo)點(diǎn)切分之后重新組合。一個(gè)超過四十字的句子先按逗號切成小句然后按長短交替的順序重排遇到引號或者書名號包起來的內(nèi)容整塊保留不參與切分避免把專有名稱或者引用切開。段落長度打散的做法是給每個(gè)目標(biāo)段落算一個(gè)長度區(qū)間按區(qū)間把句子重新分配。短句多的段落就并兩句長句多的段落就拆一句出來單獨(dú)成段但單句成段要滿足一個(gè)下限太短的段落讀起來更奇怪。詞頻統(tǒng)計(jì)用哈希表統(tǒng)計(jì)的是兩個(gè)字以上的詞目的是找出在當(dāng)前文本里出現(xiàn)次數(shù)偏多的詞把它們按同義寫法替換掉一部分降低集中度。替換有上限同一個(gè)詞最多換掉它出現(xiàn)次數(shù)的三成超過就停手。三個(gè)步驟的順序不能顛倒。切句必須在替換之前否則替換出來的同義寫法會改變句子長度后面再按長度重排就對不齊段落重組必須在替換之后因?yàn)樘鎿Q會改變句子的字?jǐn)?shù)先分組再改會讓各段的長度重新變回均勻。六、三個(gè)坑的現(xiàn)場記錄第一個(gè)坑是替換之后出現(xiàn)重復(fù)短語?，F(xiàn)象是同一段里連著出現(xiàn)兩處一模一樣的短句讀起來比原來更假。根因是同一個(gè)連接詞被替換成了同一條候選兩條候選權(quán)重相同隨機(jī)也落在了同一條上。改法是在替換時(shí)記下已經(jīng)用過的候選同一個(gè)詞在本段內(nèi)不重復(fù)使用候選不夠就把整段降級為不替換。第二個(gè)坑是專有名稱被同義替換破壞?，F(xiàn)象是一個(gè)村級服務(wù)站的名稱被換成了近義說法讀者看不懂指的是什么。根因是詞表里放了通用詞而這些詞恰好是某些名稱的組成部分。改法是在詞表里加一份保護(hù)名單命中保護(hù)名單的位置跳過替換名單從數(shù)據(jù)字典里同步而不是手寫。第三個(gè)坑是標(biāo)點(diǎn)全角半角混用?，F(xiàn)象是同一段里既有中文逗號又有半角逗號冒號形態(tài)也不一致。根因是模型輸出的原文就混著兩種后處理又按半角標(biāo)點(diǎn)切句切出來的位置和中文標(biāo)點(diǎn)對不上。改法是先做一次標(biāo)點(diǎn)歸一化再切句全文的逗號句號冒號統(tǒng)一成全角切句只按全角標(biāo)點(diǎn)切。七、只能改形狀不能改內(nèi)容這套處理改的是形狀不是內(nèi)容。句子讀起來順了事實(shí)錯(cuò)誤、數(shù)字自相矛盾、邏輯跳躍它一樣都發(fā)現(xiàn)不了這些必須靠另外的校驗(yàn)。我們在這條流水后面還掛了一道數(shù)字核對把稿子里的數(shù)字和知識庫里的原值逐個(gè)比對。強(qiáng)度也不是越高越好。強(qiáng)度調(diào)到一點(diǎn)零之后句子被切得很碎段落長度倒是整齊了讀起來像一串短促的標(biāo)語可讀性反而往下走。我們最后把默認(rèn)值定在零點(diǎn)六這個(gè)位置上讀感能被接受再高就需要人工過一遍。八、三組數(shù)字成了發(fā)布前的檢查項(xiàng)這三個(gè)指標(biāo)后來變成了發(fā)布前的固定檢查項(xiàng)稿子出去之前會跑一遍連接詞密度超過每百字兩次的會被攔回來重跑一次句長方差低于閾值的一并攔回省掉了不少人眼再過一遍的時(shí)間。上面這組參數(shù)是 AI智能媒體助理 上統(tǒng)計(jì)了上萬段生成文本才定下來的不是拍腦袋寫的。每過一段時(shí)間我們會重新采一批稿子對一次閾值跟著調(diào)但三者之間的相對關(guān)系一直沒變過。