在調(diào)試一個(gè)多進(jìn)程程序的時(shí)候我碰到過一個(gè)讓新手極其困惑的現(xiàn)象父進(jìn)程里打印某個(gè)全局變量的地址是0x601040fork 出來的子進(jìn)程里打印同一個(gè)變量地址還是0x601040。兩個(gè)進(jìn)程明明是兩個(gè)獨(dú)立的執(zhí)行體為什么變量地址會(huì)一模一樣更讓人想不通的是子進(jìn)程改了這個(gè)變量的值父進(jìn)程那邊紋絲不動(dòng)既然地址一樣改的不應(yīng)該是同一塊內(nèi)存嗎這兩個(gè)問題指向的都是進(jìn)程地址空間這套機(jī)制。它解決了操作系統(tǒng)里最核心的矛盾之一多個(gè)進(jìn)程如何在一個(gè)物理內(nèi)存有限的機(jī)器上互不干擾地運(yùn)行。理解進(jìn)程地址空間、頁表、寫時(shí)拷貝和虛擬地址這幾件事你才能真正看懂 fork 的代價(jià)、內(nèi)存映射文件的共享語義、以及為什么一個(gè)野指針有時(shí)候崩有時(shí)候不崩。這篇內(nèi)容偏向操作系統(tǒng)底層與系統(tǒng)編程適合寫過一點(diǎn) C、用過 fork 和 malloc但對(duì)背后機(jī)制還停留在“知道有這么回事”階段的讀者。我會(huì)從“為什么要設(shè)計(jì)它”講起一路拆到頁表項(xiàng)里的每一個(gè)標(biāo)志位和寫時(shí)拷貝觸發(fā)的那一刻中間配上可以直接跑起來的驗(yàn)證代碼。1. 從一次段錯(cuò)誤說起進(jìn)程地址空間到底解決了什么問題1.1 虛擬地址不是障眼法是精心設(shè)計(jì)的隔離層很多人第一次接觸虛擬地址會(huì)覺得這就是操作系統(tǒng)玩的障眼法應(yīng)用程序看到的是假的地址硬件在背后偷偷換算成真的。這個(gè)理解沒錯(cuò)但只說對(duì)了表象真正值得琢磨的是為什么非要做這層換算。設(shè)想一個(gè)沒有虛擬地址的世界程序編譯出來直接操作物理地址。那么你在寫代碼時(shí)就得操心我這次 malloc 拿到的地址會(huì)不會(huì)和隔壁進(jìn)程要用的地址撞上操作系統(tǒng)加載第二個(gè)程序時(shí)得先掃描物理內(nèi)存找到一塊足夠大且連續(xù)的空洞把程序搬進(jìn)去還要把程序里所有寫死的地址重新改一遍才能跑。物理內(nèi)存一旦碎片化一個(gè)需要 100MB 連續(xù)空間的程序哪怕總空閑有 200MB 也起不來。更要命的是任何一個(gè)進(jìn)程的野指針都可以直接踩到別的進(jìn)程的數(shù)據(jù)一個(gè) bug 能連帶毀掉整臺(tái)機(jī)器上所有在跑的東西。虛擬地址機(jī)制把“程序看到的地址”和“內(nèi)存條上的實(shí)際位置”徹底解耦。每個(gè)進(jìn)程拿到一張獨(dú)立的映射表表里寫著“我的 0x601040 對(duì)應(yīng)物理內(nèi)存的某一塊”。編譯器生成的地址是虛擬地址鏈接器算的也是虛擬地址CPU 執(zhí)行時(shí)先查表再訪存。物理內(nèi)存怎么擺放是內(nèi)核的事程序完全不用管。這就是解耦帶來的最直接的價(jià)值程序不再需要關(guān)心自己被加載到哪也不需要關(guān)心別人在哪。1.2 為什么每個(gè)進(jìn)程都以為自己獨(dú)占整臺(tái)機(jī)器的內(nèi)存虛擬地址帶來的第二個(gè)紅利是“獨(dú)占”的錯(cuò)覺。在 64 位系統(tǒng)上每個(gè)用戶進(jìn)程都擁有一套從 0 到某個(gè)上限的地址范圍看起來整臺(tái)機(jī)器的地址空間都是它的。所有進(jìn)程的地址空間布局幾乎是相同的代碼段在上方數(shù)據(jù)段、堆、共享庫(kù)、棧按固定的相對(duì)位置排布。這種一致性有個(gè)巨大的好處就是可預(yù)測(cè)性。棧地址的起始位置、堆的起始位置、共享庫(kù)的加載區(qū)域內(nèi)核會(huì)做一定的隨機(jī)化處理但整體格局不變。調(diào)試器看到某個(gè)地址立刻能判斷它大概率落在哪個(gè)區(qū)程序里errno或者線程局部存儲(chǔ)的偏移也是基于這套布局設(shè)計(jì)的。如果地址空間不統(tǒng)一每次加載都要重新規(guī)劃調(diào)試信息和 core dump 的分析會(huì)變得極其痛苦。注意所謂“進(jìn)程看到的是連續(xù)地址空間”指的是虛擬地址連續(xù)背后的物理頁幾乎一定不連續(xù)。一個(gè) 10MB 的數(shù)組映射到物理內(nèi)存上可能是散落在幾十個(gè)頁里。把虛擬地址連續(xù)等同于物理連續(xù)是初學(xué)階段最容易帶偏后續(xù)理解的誤區(qū)。1.3 地址空間的布局不是隨機(jī)排的每一塊都有講究拿一個(gè)典型的 64 位 Linux 進(jìn)程來說用戶空間布局大致是這樣的最低地址往后是代碼段text只讀可執(zhí)行接著是已經(jīng)初始化的數(shù)據(jù)段和未初始化的 BSS 段可讀寫再往上是堆用 brk 或 mmap 向上生長(zhǎng)中間一大片留空然后是動(dòng)態(tài)鏈接庫(kù)的映射區(qū)mmap 出來的匿名頁和文件映射也落在這一帶棧從高地址往低地址生長(zhǎng)環(huán)境變量和命令行參數(shù)就在棧頂。內(nèi)核空間和用戶空間之間有一道分界線x86-64 上這條線大約在地址的高半部分用戶空間占低 128TB內(nèi)核空間占高半部分。每個(gè)進(jìn)程的頁表里都包含內(nèi)核空間的映射但頁表項(xiàng)上標(biāo)記了只有特權(quán)級(jí) 0 才能訪問所以用戶代碼跑過去立刻觸發(fā)保護(hù)異常。這種設(shè)計(jì)的巧思在于發(fā)生系統(tǒng)調(diào)用或者進(jìn)程從用戶態(tài)切換到內(nèi)核態(tài)時(shí)不需要切換頁表基址寄存器內(nèi)核代碼可以直接沿用當(dāng)前進(jìn)程的頁表訪問內(nèi)核空間省掉一次代價(jià)很高的地址空間切換。2. 地址空間存在的深層原因隔離、共享與按需分配2.1 進(jìn)程隔離是底線但不能只靠邊界檢查有人會(huì)問操作系統(tǒng)不是有特權(quán)級(jí)嗎為什么不能讓用戶進(jìn)程直接用物理地址靠硬件在每個(gè)訪存指令上做邊界檢查來隔離答案在于性能和靈活性邊界檢查只能保證不越界保證不了兩個(gè)進(jìn)程不重疊。每個(gè)進(jìn)程的合法區(qū)間是動(dòng)態(tài)變化的堆會(huì)漲棧會(huì)擴(kuò)mmap 會(huì)新增映射。如果靠“給每個(gè)進(jìn)程登記一個(gè)物理區(qū)間”來管理一旦堆和棧之間的空檔被別的進(jìn)程占了這個(gè)進(jìn)程就再也長(zhǎng)不大了。物理內(nèi)存的連續(xù)性和進(jìn)程需求的不連續(xù)性天然沖突。虛擬地址把“需求”和“供給”拆開。進(jìn)程要向內(nèi)核申請(qǐng)內(nèi)存內(nèi)核只需要在它的地址空間里找一段空閑的虛擬區(qū)間分配幾個(gè)物理頁掛上去就行物理頁在哪完全無所謂。進(jìn)程之間的虛擬區(qū)間可以重疊只要映射到不同的物理頁即可。隔離從“物理上不碰撞”變成了“映射表上不指向同一塊”這個(gè)轉(zhuǎn)換是整套機(jī)制能成立的關(guān)鍵。2.2 共享內(nèi)存和寫時(shí)拷貝都建立在地址空間之上隔離不是目的可控的共享才是。兩個(gè)進(jìn)程想共享一塊數(shù)據(jù)有了地址空間之后變得很自然把各自的虛擬區(qū)間映射到相同的物理頁就行。共享庫(kù)的代碼段就是這么處理的同一個(gè)libc.so的代碼頁在物理內(nèi)存里只有一份幾百個(gè)進(jìn)程都映射到它只讀不寫內(nèi)存利用率直線上升。寫時(shí)拷貝也建立在同一套機(jī)制上。fork 的時(shí)候子進(jìn)程的地址空間和父進(jìn)程的地址空間內(nèi)容完全一樣但并不是把物理頁復(fù)制一遍。內(nèi)核把父子進(jìn)程的頁表都指向同一批物理頁然后把這些頁在雙方的頁表項(xiàng)里都標(biāo)記成只讀。任何一方要寫觸發(fā)頁保護(hù)異常內(nèi)核才真正復(fù)制出一份新的頁給寫入方。這套機(jī)制把 fork 的代價(jià)從“復(fù)制整個(gè)地址空間”降低到了“復(fù)制頁表”進(jìn)程創(chuàng)建的語義沒變開銷卻小了一個(gè)數(shù)量級(jí)。沒有虛擬地址這套間接層寫時(shí)拷貝根本無從談起。2.3 按需分配與缺頁異常內(nèi)存可以“看著有實(shí)際沒有”地址空間還有一個(gè)容易被低估的作用它讓內(nèi)存分配可以做到承諾與兌現(xiàn)分離。malloc 申請(qǐng) 1GB 內(nèi)存內(nèi)核可以立刻返回一個(gè)虛擬地址但一個(gè)物理頁都不給只在這段虛擬區(qū)間上做標(biāo)記。等你真正去讀或者寫某個(gè)地址時(shí)MMU 查表發(fā)現(xiàn)頁表項(xiàng)是空的觸發(fā)缺頁異常內(nèi)核這時(shí)候才分配物理頁、建立映射。這個(gè)動(dòng)作叫按需調(diào)頁。這個(gè)設(shè)計(jì)在現(xiàn)實(shí)里的價(jià)值極高。程序習(xí)慣性地預(yù)留大塊地址空間但只用其中很小一部分或者進(jìn)程啟動(dòng)時(shí)先 mmap 一大塊當(dāng)內(nèi)存池這些場(chǎng)景下按需分配能省下大量物理內(nèi)存。也正因?yàn)槿绱四悴艜?huì)看到進(jìn)程的虛擬內(nèi)存大小VSZ可能有幾個(gè) G而實(shí)際駐留內(nèi)存RSS只有幾十兆。這兩者的差距不是虛胖是地址空間機(jī)制允許的“延遲兌現(xiàn)”。2.4 地址空間與安全頁表項(xiàng)上的權(quán)限位是最后一道閘門頁表項(xiàng)里除了物理頁號(hào)還有一組權(quán)限標(biāo)志位它們才是運(yùn)行時(shí)安全真正落地的地方。常見的標(biāo)志包括存在位頁面是否在物理內(nèi)存里、讀寫位、用戶/超級(jí)用戶位、可執(zhí)行位、臟位、訪問位。代碼段被標(biāo)記為只讀且可執(zhí)行你往函數(shù)體里寫數(shù)據(jù)會(huì)直接觸發(fā)段錯(cuò)誤棧和堆標(biāo)記為不可執(zhí)行這是緩解緩沖區(qū)溢出攻擊的常規(guī)手段。這些標(biāo)志不是建議性的是 MMU 在每次地址轉(zhuǎn)換時(shí)強(qiáng)制性檢查的。用戶態(tài)代碼試圖訪問標(biāo)記為超級(jí)用戶的頁MMU 直接拒絕連內(nèi)核代碼路徑都不會(huì)走到。理解這一點(diǎn)之后你就能明白為什么緩沖區(qū)溢出攻擊過去那么容易得手而現(xiàn)在要先想方設(shè)法繞過不可執(zhí)行棧也能明白為什么某些嵌入式和實(shí)時(shí)系統(tǒng)為了性能會(huì)放松這些保護(hù)代價(jià)是什么。3. 頁表虛擬地址到物理地址的翻譯官3.1 頁表的最基本形態(tài)與地址拆分方式頁表的核心作用只有一個(gè)給定虛擬地址查出對(duì)應(yīng)的物理頁號(hào)然后拼上頁內(nèi)偏移得到物理地址。這個(gè)過程由 MMU 硬件完成內(nèi)核負(fù)責(zé)維護(hù)頁表內(nèi)容。地址被拆成“頁號(hào)”和“頁內(nèi)偏移”兩部分拆分位置由頁大小決定。假設(shè)頁大小是 4KB也就是 2 的 12 次方那么虛擬地址的低 12 位就是頁內(nèi)偏移高位是虛擬頁號(hào)。32 位地址下虛擬頁號(hào)有 20 位能索引 100 萬個(gè)頁面64 位地址下虛擬頁號(hào)有 52 位理論上有 400 多萬億個(gè)頁。如果直接用一張單級(jí)大表每個(gè)進(jìn)程一張每個(gè)條目哪怕只占 8 字節(jié)64 位下一個(gè)進(jìn)程的頁表本身就要占用幾十 TB 的空間顯然不現(xiàn)實(shí)。所以現(xiàn)實(shí)中的頁表都是多級(jí)的。32 位系統(tǒng)常用兩級(jí)頁表把 20 位虛擬頁號(hào)再拆成 10 位 10 位第一級(jí) 1024 個(gè)條目每個(gè)條目指向一張第二級(jí)頁表第二級(jí) 1024 個(gè)條目。64 位系統(tǒng)常用四級(jí)把 52 位拆成 9999剩下 16 位留給高半部分的內(nèi)核空間劃分每一級(jí)指向下一級(jí)的表。這套結(jié)構(gòu)本質(zhì)上是一棵多叉樹只有實(shí)際用到的分支才會(huì)被分配內(nèi)存。3.2 多級(jí)頁表省內(nèi)存的原理只分配用到的分支多級(jí)頁表省內(nèi)存的關(guān)鍵在于稀疏分配的天然適配。一個(gè)進(jìn)程真正用到的地址空間往往只占理論范圍的極小一部分代碼幾兆、數(shù)據(jù)幾兆、棧幾兆、堆看需求共享庫(kù)幾十兆。這些區(qū)域在 64 位地址空間里是極其稀疏地散落的。用一棵四級(jí)樹去索引大部分分支根本不存在對(duì)應(yīng)的中間層頁表壓根不用創(chuàng)建。算一筆賬就清楚了。假設(shè)一個(gè)進(jìn)程實(shí)際占用了 100MB 內(nèi)存按 4KB 一頁算有 25600 個(gè)頁。這些頁如果分布在一個(gè)完全不連續(xù)的區(qū)域里最壞情況下需要 25600 個(gè)葉子頁表?xiàng)l目分散在若干個(gè)葉子頁表里。每個(gè)葉子頁表能裝 512 個(gè)條目最壞需要 50 個(gè)葉子頁表。每一層向上需要的表數(shù)量繼續(xù)收縮。整個(gè)頁表占用的內(nèi)存大概是葉子層 50 張、中間層可能十幾張、再上層幾張每張 4KB總共不到 1MB。如果換成單級(jí)表64 位下要占幾十 TB差了七個(gè)數(shù)量級(jí)。這就是“用層級(jí)換空間”的經(jīng)典權(quán)衡。維度單級(jí)頁表四級(jí)頁表頁表體積與地址空間總大小成正比64 位下不可接受與實(shí)際使用量成正比稀疏場(chǎng)景下極小查表次數(shù)1 次訪存4 次訪存未命中緩存時(shí)分配粒度全有或全無按需逐層分配缺頁處理簡(jiǎn)單需要逐層檢查路徑3.3 頁表項(xiàng)里的標(biāo)志位與訪存過程的完整鏈條一個(gè)頁表項(xiàng)不是只有物理頁號(hào)它是一堆字段的集合。存在位告訴你這個(gè)頁當(dāng)前是否在內(nèi)存里如果不在訪問時(shí)會(huì)觸發(fā)缺頁異常讀寫位決定這個(gè)頁是可寫還是只讀用戶位決定用戶態(tài)能不能訪問可執(zhí)行位配合硬件提供的執(zhí)行保護(hù)決定這個(gè)頁能不能當(dāng)指令執(zhí)行訪問位和臟位由 MMU 自動(dòng)維護(hù)供頁面置換算法參考此外還有緩存控制位、全局位等等。一次完整的訪存長(zhǎng)這樣CPU 發(fā)出虛擬地址MMU 先查 TLB轉(zhuǎn)換后備緩沖區(qū)本質(zhì)是頁表項(xiàng)的緩存命中就直接拿到物理地址沒命中就按頁表基址寄存器指向的根表逐級(jí)往下查。每一級(jí)查表都是一次內(nèi)存訪問四級(jí)頁表意味著最多四次訪存才能完成一次地址轉(zhuǎn)換。查完之后把結(jié)果塞回 TLB后續(xù)再訪問同一頁就能直接命中。這也是為什么頁表結(jié)構(gòu)的變化對(duì)性能影響很大多一級(jí)就多一次可能的訪存。提示TLB 的存在使得頁表查詢的開銷在大多數(shù)情況下被隱藏。但進(jìn)程切換時(shí) TLB 需要刷新或者打上地址空間標(biāo)識(shí)來區(qū)分這是上下文切換成本的重要來源之一。理解這一點(diǎn)才能理解為什么大量的線程同進(jìn)程運(yùn)行比大量獨(dú)立進(jìn)程切換要便宜。3.4 頁表基址寄存器與進(jìn)程切換時(shí)發(fā)生了什么每個(gè)進(jìn)程都有自己的頁表樹根表的物理地址存在一個(gè)專門的寄存器里。x86-64 上是 CR3ARM64 上是 TTBR0/TTBR1。進(jìn)程切換時(shí)內(nèi)核要做的關(guān)鍵動(dòng)作之一就是把這個(gè)寄存器換成新進(jìn)程的根表地址。這個(gè)動(dòng)作叫切換地址空間。換完之后TLB 里緩存的老進(jìn)程的頁表項(xiàng)就全部失效了如果不做處理新的地址會(huì)被錯(cuò)誤翻譯。所以切換時(shí)要清 TLB或者用地址空間標(biāo)識(shí)ASID給 TLB 條目打標(biāo)簽讓不同進(jìn)程的條目可以共存而不互相污染?，F(xiàn)代處理器一般支持 ASID這樣切換進(jìn)程時(shí)不必整體刷 TLB只需要切換當(dāng)前的 ASID開銷小很多。這也解釋了為什么在支持 ASID 的平臺(tái)上進(jìn)程創(chuàng)建和切換的實(shí)測(cè)性能會(huì)更好。4. 寫時(shí)拷貝fork 之后到底發(fā)生了幾次內(nèi)存復(fù)制4.1 fork 的直覺實(shí)現(xiàn)與它不可接受的開銷教科書上講 fork 會(huì)創(chuàng)建一個(gè)和父進(jìn)程幾乎一模一樣的子進(jìn)程包括地址空間內(nèi)容的完整副本。如果嚴(yán)格按字面實(shí)現(xiàn)fork 的代價(jià)就是復(fù)制整個(gè)地址空間代碼段不用復(fù)制只讀可以共享但數(shù)據(jù)段、堆、棧全都要復(fù)制一份。一個(gè)占用了 500MB 內(nèi)存的進(jìn)程 fork 一次就要再消耗 500MB 物理內(nèi)存還要花時(shí)間做復(fù)制?，F(xiàn)實(shí)中的使用模式卻往往是 fork 之后立刻 exec 別的程序。也就是說剛復(fù)制完的 500MB 馬上就會(huì)被 exec 整個(gè)丟掉這次復(fù)制純屬浪費(fèi)。即使不 exec子進(jìn)程往往也只改動(dòng)其中很小一部分?jǐn)?shù)據(jù)其余部分父子完全一致。這兩種場(chǎng)景都說明全量復(fù)制是極其低效的。寫時(shí)拷貝就是為了消掉這筆開銷而設(shè)計(jì)的。4.2 寫時(shí)拷貝的完整實(shí)現(xiàn)思路fork 時(shí)內(nèi)核做的是這樣幾件事子進(jìn)程獲得一份父進(jìn)程頁表的副本注意是頁表副本不是物理頁副本頁表項(xiàng)里指向的物理頁還是父進(jìn)程原來那些同時(shí)內(nèi)核把所有可寫的頁表項(xiàng)在父子雙方的頁表里都改成只讀并在頁表項(xiàng)里打上一個(gè)“寫時(shí)拷貝”的內(nèi)部標(biāo)記頁面本身的引用計(jì)數(shù)加一。接下來任何一方對(duì)這些頁發(fā)起寫操作MMU 會(huì)先檢查讀寫位發(fā)現(xiàn)是只讀頁觸發(fā)頁保護(hù)異常。內(nèi)核進(jìn)入缺頁處理路徑發(fā)現(xiàn)地址所在的頁帶著寫時(shí)拷貝標(biāo)記就明白這不是真的非法訪問而是需要兌現(xiàn)復(fù)制。此時(shí)內(nèi)核分配一個(gè)新的物理頁把老頁的內(nèi)容復(fù)制過去更新觸發(fā)寫入那一方的頁表項(xiàng)指向新頁并恢復(fù)可寫減少老頁的引用計(jì)數(shù)。如果老頁的引用計(jì)數(shù)已經(jīng)降到只剩另一方在用那也可以直接把老頁的只讀屬性改回可寫省掉一次復(fù)制。這套機(jī)制的妙處在于它讓“復(fù)制整個(gè)地址空間”這個(gè)語義保持不變但實(shí)際搬運(yùn)只發(fā)生在真正被寫到的頁上。父子進(jìn)程共享不變的部分只在分歧處各自持有副本。從程序員的視角看fork 之后兩個(gè)進(jìn)程的內(nèi)存是完全隔離的改誰都不影響誰這個(gè)保證一點(diǎn)沒丟。4.3 一次寫操作觸發(fā)寫時(shí)拷貝的微觀過程把觸發(fā)過程走一遍會(huì)理解得更扎實(shí)。假設(shè)父進(jìn)程有一個(gè)全局?jǐn)?shù)組arrfork 之前它是可寫的對(duì)應(yīng)某個(gè)物理頁 P。fork 之后這個(gè)頁在父和子雙方的頁表項(xiàng)里都變成只讀標(biāo)記寫時(shí)拷貝P 的引用計(jì)數(shù)變成 2。子進(jìn)程執(zhí)行arr[0] 1。CPU 發(fā)出寫請(qǐng)求MMU 查頁表發(fā)現(xiàn)頁是只讀的硬件拋出一個(gè)頁錯(cuò)誤異常把出錯(cuò)的虛擬地址和錯(cuò)誤碼塞進(jìn)特定寄存器跳到內(nèi)核的缺頁處理函數(shù)。內(nèi)核根據(jù)錯(cuò)誤碼判斷這是一次寫保護(hù)錯(cuò)誤而不是頁不存在錯(cuò)誤。接著它去找對(duì)應(yīng)的虛擬內(nèi)存區(qū)域描述符確認(rèn)這個(gè)地址本來應(yīng)該是可寫的再檢查頁表項(xiàng)上的寫時(shí)拷貝標(biāo)記。確認(rèn)無誤后內(nèi)核分配新頁 Q把 P 的內(nèi)容復(fù)制到 Q更新子進(jìn)程的頁表項(xiàng)讓它指向 Q 并設(shè)為可寫P 的引用計(jì)數(shù)減到 1。對(duì)于父進(jìn)程既然現(xiàn)在只有它自己在用 P把 P 的頁表項(xiàng)改回可寫寫時(shí)拷貝標(biāo)記清掉。整個(gè)處理結(jié)束重新執(zhí)行剛才那條寫指令這次 MMU 看到的是可寫頁寫入成功。這一整套下來只有真正被寫的那一頁被復(fù)制了其他頁原封不動(dòng)依然共享。4.4 寫時(shí)拷貝的幾個(gè)實(shí)戰(zhàn)陷阱寫時(shí)拷貝聽起來很美用的時(shí)候有幾個(gè)坑很容易踩。第一個(gè)是引用計(jì)數(shù)的維護(hù)成本。每一頁的引用計(jì)數(shù)都要在 fork 時(shí)增加、寫時(shí)拷貝時(shí)減少、進(jìn)程退出時(shí)清理內(nèi)核在頁結(jié)構(gòu)上維護(hù)這個(gè)計(jì)數(shù)鎖競(jìng)爭(zhēng)在高并發(fā) fork 場(chǎng)景下會(huì)成為瓶頸。有些老版本的內(nèi)核在這方面有過比較明顯的性能問題。第二個(gè)是寫時(shí)拷貝會(huì)放大內(nèi)存峰值。fork 一個(gè)占內(nèi)存很大的進(jìn)程如果父子都開始大量寫物理內(nèi)存可能瞬間翻倍觸發(fā)內(nèi)存回收甚至 OOM。容器場(chǎng)景下內(nèi)存限額卡得緊這種突發(fā)很容易被誤判為內(nèi)存泄漏。第三個(gè)是大頁與寫時(shí)拷貝的互動(dòng)。透明大頁讓一次寫時(shí)拷貝的復(fù)制粒度從 4KB 變成 2MB單次復(fù)制的開銷明顯變大延遲毛刺更容易出現(xiàn)。注意不要假設(shè) fork 之后子進(jìn)程立刻擁有獨(dú)立內(nèi)存。如果你的邏輯依賴“fork 后父子內(nèi)存已經(jīng)隔離”這個(gè)事實(shí)那是對(duì)的但如果你的邏輯依賴“fork 后內(nèi)存已經(jīng)復(fù)制完成”那就是錯(cuò)的。物理復(fù)制是延遲到寫入那一刻的。這個(gè)區(qū)別在分析內(nèi)存占用和性能曲線時(shí)非常關(guān)鍵。5. 動(dòng)手驗(yàn)證親手看清虛擬地址、頁表與寫時(shí)拷貝5.1 打印變量地址看清虛擬地址的一致性與獨(dú)立性先寫一段最直接的代碼驗(yàn)證“父子進(jìn)程同一變量地址相同但值互不影響”。#include stdio.h #include unistd.h #include sys/wait.h int shared_var 100; int main(void) { printf(before fork: shared_var %p, value %d\n, (void*)shared_var, shared_var); pid_t pid fork(); if (pid 0) { printf(child : shared_var %p, value %d\n, (void*)shared_var, shared_var); shared_var 200; printf(child after write: shared_var %p, value %d\n, (void*)shared_var, shared_var); _exit(0); } waitpid(pid, NULL, 0); printf(parent: shared_var %p, value %d\n, (void*)shared_var, shared_var); return 0; }編譯運(yùn)行之后你會(huì)看到子進(jìn)程打印的地址和父進(jìn)程完全一致都是同一個(gè)虛擬地址子進(jìn)程把它改成 200 之后父進(jìn)程讀到的仍然是 100。這正是寫時(shí)拷貝在起作用。地址一致是因?yàn)樽舆M(jìn)程復(fù)制了父進(jìn)程的頁表虛擬地址到物理頁的映射關(guān)系被復(fù)制了值隔離是因?yàn)閷懭胗|發(fā)了復(fù)制子進(jìn)程寫到一張新頁上父進(jìn)程那張頁仍保持原值。值得多說一句的是地址為什么能一致。因?yàn)?fork 復(fù)制的是地址空間的結(jié)構(gòu)子進(jìn)程的地址空間布局和父進(jìn)程一模一樣同一變量自然占據(jù)同一個(gè)虛擬地址。如果這里看到的地址不一樣那才是出了問題。5.2 用引用計(jì)數(shù)和內(nèi)存統(tǒng)計(jì)觀察寫時(shí)拷貝的實(shí)際開銷光看值變化還不夠我們想量化寫時(shí)拷貝。可以在 fork 前后讀取/proc/self/status里的 VmRSS駐留物理內(nèi)存和/proc/self/smaps里的共享內(nèi)存字段。寫一段對(duì)照實(shí)驗(yàn)先 fork 一個(gè)吃掉幾百兆內(nèi)存的子進(jìn)程讓父子都只讀觀察 RSS再讓父子都大量寫觀察 RSS 變化。# 簡(jiǎn)化示意查看當(dāng)前進(jìn)程的駐留內(nèi)存與共享內(nèi)存 grep -E VmRSS|VmSize|RssAnon|RssFile|RssShmem /proc/self/status實(shí)測(cè)下來會(huì)發(fā)現(xiàn)一個(gè)典型現(xiàn)象fork 之后、寫入之前父子的 {RssShmem} 都會(huì)包含同一批頁總和并不等于兩者之和因?yàn)槲锢眄撝挥幸环菀坏╇p方開始寫同一批頁RSS 總量會(huì)上升上升的幅度大致等于被寫的頁數(shù)乘以頁大小。這個(gè)測(cè)量方法是判斷“寫時(shí)拷貝有沒有真正生效”最直接的手段比看代碼推測(cè)靠譜得多。提示觀察時(shí)要注意頁緩存和匿名頁的區(qū)別。文件映射的頁在寫時(shí)拷貝里走的是另一條路徑復(fù)制到匿名頁只盯著 VmRSS 會(huì)漏掉部分信息把 RssAnon 和 RssShmem 一起看才完整。5.3 用頁錯(cuò)誤計(jì)數(shù)器確認(rèn)寫時(shí)拷貝的觸發(fā)時(shí)機(jī)如果內(nèi)核支持 perf可以直接統(tǒng)計(jì)缺頁事件把寫時(shí)拷貝的觸發(fā)點(diǎn)抓出來。perf stat -e page-faults,minor-faults,major-faults ./cow_demominor fault 是頁已經(jīng)在內(nèi)存里但頁表項(xiàng)需要更新的情況寫時(shí)拷貝觸發(fā)的正是這一類。跑一個(gè)只讀子進(jìn)程minor fault 數(shù)量很低跑一個(gè)寫完整個(gè)數(shù)據(jù)區(qū)的子進(jìn)程minor fault 數(shù)量會(huì)明顯上升大約和寫入的頁數(shù)同量級(jí)。這個(gè)對(duì)應(yīng)關(guān)系非常直觀是做性能分析時(shí)的常用佐證。另一個(gè)手段是/proc/pid/pagemap和/proc/pid/smaps能拿到每個(gè)虛擬頁對(duì)應(yīng)的物理頁幀號(hào)需要相應(yīng)權(quán)限把父子進(jìn)程同一虛擬地址的物理幀號(hào)對(duì)比就能看到寫入前相同、寫入后不同。這個(gè)驗(yàn)證比任何文字說明都有說服力強(qiáng)烈建議自己動(dòng)手做一遍做過之后對(duì)寫時(shí)拷貝的理解會(huì)從“背下來的概念”變成“親眼見過的事實(shí)”。5.4 觀察棧、堆、共享庫(kù)的地址分布理解地址空間布局最后再補(bǔ)一個(gè)小實(shí)驗(yàn)把各區(qū)域的地址打印出來驗(yàn)證地址空間的布局。#include stdio.h #include stdlib.h int g_init 1; int g_bss; int main(void) { int local 2; int *heap malloc(sizeof(int)); printf(text approx : %p\n, (void*)main); printf(data : %p\n, (void*)g_init); printf(bss : %p\n, (void*)g_bss); printf(heap : %p\n, (void*)heap); printf(stack : %p\n, (void*)local); printf(libc printf : %p\n, (void*)printf); free(heap); return 0; }跑出來通常是代碼段地址最低數(shù)據(jù)段緊隨其后堆在數(shù)據(jù)段上方并且向上增長(zhǎng)棧地址明顯偏高共享庫(kù)落在中間偏上的映射區(qū)。每次運(yùn)行的具體數(shù)值因?yàn)殡S機(jī)化會(huì)略有差異但相對(duì)次序穩(wěn)定。把這個(gè)次序和前面講的布局對(duì)上地址空間就不再是一個(gè)抽象名詞而是一張你能畫出來的圖。6. 常見問題與踩坑記錄6.1 寫時(shí)拷貝與虛擬地址相關(guān)問題速查現(xiàn)象可能原因排查與處理思路fork 后子進(jìn)程改數(shù)據(jù)父進(jìn)程也變了誤用了共享內(nèi)存映射或全局可變狀態(tài)被其他路徑影響確認(rèn)是否用了 MAP_SHARED 的 mmap檢查是否有信號(hào)處理函數(shù)或其他線程在改數(shù)據(jù)父子進(jìn)程變量地址相同但值不同懷疑程序有 bug其實(shí)是寫時(shí)拷貝的正常表現(xiàn)這是預(yù)期行為虛擬地址相同不代表物理頁相同內(nèi)存占用統(tǒng)計(jì)出現(xiàn)雙份懷疑泄漏寫時(shí)拷貝被大量觸發(fā)物理頁真的復(fù)制了關(guān)注 RssAnon 與 minor fault 數(shù)量確認(rèn)是否大量寫入共享頁程序訪問某地址崩潰換一次運(yùn)行卻不崩訪問落在未映射區(qū)間或落在依賴環(huán)境的內(nèi)存布局上別依賴未定義行為用調(diào)試器看崩潰地址落在哪個(gè)區(qū)域頁表分析工具讀不到物理幀號(hào)權(quán)限不足或內(nèi)核配置限制了 pagemap 訪問檢查權(quán)限容器環(huán)境里這類信息通常被屏蔽大頁開啟后延遲毛刺變多寫時(shí)拷貝按大頁粒度復(fù)制單次開銷變大對(duì)延遲敏感的進(jìn)程可考慮關(guān)閉透明大頁或調(diào)整策略6.2 幾個(gè)我在實(shí)際排查中踩過的坑第一個(gè)坑是把虛擬地址當(dāng)成唯一標(biāo)識(shí)。做進(jìn)程間通信時(shí)曾經(jīng)想用變量地址當(dāng) key 去共享數(shù)據(jù)結(jié)果兩個(gè)進(jìn)程地址一樣但根本指向不同的物理頁數(shù)據(jù)完全對(duì)不上。正確做法是用文件映射或者顯式的共享內(nèi)存區(qū)并約定偏移量而不是拿虛擬地址當(dāng)索引。第二個(gè)坑是忽略寫時(shí)拷貝導(dǎo)致的延遲抖動(dòng)。某個(gè)服務(wù) fork 出工作進(jìn)程后工作進(jìn)程第一筆請(qǐng)求的延遲總是偏高一開始以為是冷啟動(dòng)。后來用 perf 看 minor fault發(fā)現(xiàn)是寫時(shí)拷貝在第一次寫大量頁時(shí)集中觸發(fā)復(fù)制開銷堆在了請(qǐng)求路徑上。處理方式是在 fork 之后、開始服務(wù)之前先主動(dòng)預(yù)熱一遍要寫的數(shù)據(jù)區(qū)把復(fù)制成本前移。第三個(gè)坑是誤判內(nèi)存泄漏。容器里看著內(nèi)存一直在漲實(shí)際上是因?yàn)?fork 出來的子進(jìn)程和父進(jìn)程都在寫同一批頁寫時(shí)拷貝復(fù)制了物理頁父進(jìn)程的 RSS 沒降子進(jìn)程的 RSS 又漲上來總和翻倍。這不是泄漏是寫時(shí)拷貝的正常開銷進(jìn)程退出后會(huì)釋放。區(qū)分這兩種情況的關(guān)鍵是看增長(zhǎng)曲線是否收斂以及是否與 fork 事件強(qiáng)相關(guān)。第四個(gè)坑是頁表項(xiàng)的權(quán)限位理解不到位導(dǎo)致誤判。有同學(xué)寫了一段往只讀段寫數(shù)據(jù)的代碼看到崩潰就以為是段錯(cuò)誤機(jī)制沒生效實(shí)際上是編譯器把那個(gè)“變量”優(yōu)化進(jìn)了寄存器壓根沒發(fā)生內(nèi)存寫。這類問題最好在編譯時(shí)關(guān)掉優(yōu)化-O0再觀察或者把變量聲明成volatile并實(shí)際取地址避免被優(yōu)化掉。6.3 關(guān)于頁表與地址空間幾個(gè)值得記住的經(jīng)驗(yàn)判斷遇到與內(nèi)存相關(guān)的詭異問題時(shí)我一般按這個(gè)順序排查先確認(rèn)崩潰地址落在哪個(gè)區(qū)域是代碼段、堆、棧還是未映射區(qū)再看/proc/pid/maps確認(rèn)這個(gè)區(qū)域的權(quán)限是否符合預(yù)期接著看/proc/pid/smaps里的詳細(xì)字段確認(rèn)是共享頁還是私有頁最后用 perf 或 strace 看系統(tǒng)調(diào)用路徑。這個(gè)順序能把大部分問題定位在一兩分鐘內(nèi)。關(guān)于頁表有個(gè)判斷標(biāo)準(zhǔn)值得分享如果一個(gè)進(jìn)程的 VSZ 很大但 RSS 很小別急著喊內(nèi)存泄漏先看是不是按需分配的正常表現(xiàn)如果 RSS 持續(xù)增長(zhǎng)且不收斂再看是不是寫時(shí)拷貝復(fù)制了物理頁。這兩個(gè)統(tǒng)計(jì)量配合 minor fault 計(jì)數(shù)一起看基本能覆蓋 90% 的內(nèi)存困惑。最后一個(gè)經(jīng)驗(yàn)是關(guān)于寫時(shí)拷貝的使用邊界。它在“fork 后 exec”和“fork 后少量寫”這兩種模式下收益最大在“fork 后大量寫”的模式下反而會(huì)把開銷堆到后面甚至比直接復(fù)制更差。如果你的程序?qū)儆诘谌N模式不要指望寫時(shí)拷貝來救場(chǎng)直接改成線程模型或者在 fork 前把共享數(shù)據(jù)整理成只讀可能才是更合適的做法。