構(gòu)、緩存機(jī)制與調(diào)優(yōu)實(shí)踐)
1. 從一次數(shù)據(jù)恢復(fù)的困惑說起NAT到底在F2FS里扮演什么角色前陣子幫一個(gè)做嵌入式存儲(chǔ)的朋友排查一個(gè)詭異的問題設(shè)備在長時(shí)間寫入小文件后偶爾會(huì)出現(xiàn)文件內(nèi)容錯(cuò)亂讀出來的數(shù)據(jù)塊指向了完全不相干的位置。日志里沒有任何報(bào)錯(cuò)fsck跑一遍也顯示正常。折騰了兩天最后把懷疑的目光投向了F2FS的Node Address Table也就是NAT。問題的根源是NAT緩存回收時(shí)的一個(gè)邊界條件處理不當(dāng)導(dǎo)致某個(gè)node block的物理地址映射被錯(cuò)誤覆蓋。這件事讓我意識(shí)到很多人用F2FS只停留在“它比ext4更適合閃存”這個(gè)層面對(duì)NAT這張核心索引表的理解非常模糊。而恰恰是NAT決定了F2FS能否在閃存上高效、可靠地完成邏輯地址到物理地址的轉(zhuǎn)換。這篇文章就把NAT的結(jié)構(gòu)、設(shè)計(jì)邏輯、實(shí)操中的關(guān)鍵細(xì)節(jié)和踩坑經(jīng)驗(yàn)完整梳理一遍。F2FS是專為NAND閃存特性設(shè)計(jì)的文件系統(tǒng)它的核心思路是把存儲(chǔ)空間劃分成固定大小的Segment再以Node和Data兩類Block來組織數(shù)據(jù)。NAT就是Node的“通訊錄”——給定一個(gè)Node IDNIDNAT負(fù)責(zé)告訴你這個(gè)Node實(shí)際存放在哪個(gè)物理Block上。沒有NATF2FS就無法在閃存的異地更新特性下維持文件元數(shù)據(jù)的一致性。這篇文章適合正在閱讀F2FS源碼的開發(fā)者、做存儲(chǔ)固件的工程師以及任何想深入理解閃存文件系統(tǒng)索引機(jī)制的技術(shù)人員。2. NAT的整體設(shè)計(jì)思路與核心定位2.1 為什么F2FS需要一張獨(dú)立的Node地址表傳統(tǒng)文件系統(tǒng)如ext4inode的物理位置在創(chuàng)建時(shí)就固定了通過inode號(hào)可以直接計(jì)算出磁盤偏移。但F2FS面對(duì)的是閃存閃存有個(gè)硬性約束不能原地覆寫必須先擦除再寫入而擦除的粒度遠(yuǎn)大于寫入粒度。這意味著F2FS必須采用異地更新策略——每次修改Node都要寫到新位置然后更新索引。如果每次修改Node都要去更新父目錄的dentry或者inode中的指針那寫入放大會(huì)非常嚴(yán)重。F2FS的解法是引入一層間接映射所有Node的物理位置統(tǒng)一記錄在NAT中Node內(nèi)部只保存NID不保存自己的物理地址。這樣當(dāng)Node被搬到新位置時(shí)只需要更新NAT中對(duì)應(yīng)的一條記錄不需要遞歸更新整條引用鏈。這個(gè)設(shè)計(jì)思路和虛擬內(nèi)存的頁表非常相似。你可以把NID理解為虛擬地址NAT理解為頁表物理Block地址理解為物理頁幀號(hào)。CPU通過頁表把虛擬地址翻譯成物理地址F2FS通過NAT把NID翻譯成物理Block地址。理解了這層類比NAT的很多設(shè)計(jì)決策就順理成章了。2.2 NAT在F2FS元數(shù)據(jù)體系中的位置F2FS的元數(shù)據(jù)布局大致分為幾個(gè)區(qū)域Super Block、Checkpoint、SITSegment Information Table、NAT、SSASegment Summary Area以及Main Area。NAT位于SIT之后、SSA之前占據(jù)連續(xù)的物理區(qū)域。NAT區(qū)域本身又細(xì)分為幾個(gè)部分NAT位圖區(qū)、NAT數(shù)據(jù)區(qū)、以及可能的NAT日志區(qū)。NAT位圖用于標(biāo)記哪些NAT entry是有效的NAT數(shù)據(jù)區(qū)存放實(shí)際的映射條目NAT日志則在Checkpoint機(jī)制中用于記錄自上次Checkpoint以來的NAT變更。從尋址路徑來看一次文件讀取的流程大致是通過inode的NID找到NAT entry從NAT entry中取出物理Block地址再去Main Area讀取對(duì)應(yīng)的Node BlockNode Block中保存了數(shù)據(jù)塊的地址或下一級(jí)Node的NID。整個(gè)鏈路中NAT是第一步也是最關(guān)鍵的一步。2.3 NAT entry的兩種形態(tài)正常映射與日志映射NAT entry在磁盤上有兩種存在形式。一種是NAT數(shù)據(jù)區(qū)中的常規(guī)entry每個(gè)entry固定占用一定字節(jié)數(shù)記錄NID對(duì)應(yīng)的物理地址和版本信息。另一種是NAT日志區(qū)中的日志entry用于在Checkpoint間隔內(nèi)記錄NAT的增量修改。這種雙形態(tài)設(shè)計(jì)和數(shù)據(jù)庫的WALWrite-Ahead Logging思路一致。常規(guī)entry是“主數(shù)據(jù)”日志entry是“增量日志”。Checkpoint發(fā)生時(shí)日志entry會(huì)被合并回常規(guī)entry然后日志區(qū)被清空。這樣做的好處是避免了每次NAT修改都要隨機(jī)寫入NAT數(shù)據(jù)區(qū)而是順序追加到日志區(qū)大幅提升了寫入性能。3. NAT結(jié)構(gòu)的核心細(xì)節(jié)拆解3.1 NAT entry的字段構(gòu)成與位域布局一個(gè)NAT entry在磁盤上通常占用固定大小的空間具體大小取決于編譯時(shí)配置的地址位寬。以常見的32位地址配置為例一個(gè)NAT entry的核心字段包括block_addrNode Block在Main Area中的物理塊地址這是最核心的字段決定了NID到物理位置的映射。version版本號(hào)每次該NAT entry被更新時(shí)遞增用于Checkpoint恢復(fù)時(shí)判斷entry的新舊。flag標(biāo)記位用于標(biāo)識(shí)該entry的狀態(tài)比如是否為臟、是否有效等。這些字段在內(nèi)存中通過位域bitfield緊湊排列以減少內(nèi)存占用。在源碼中NAT entry通常定義為一個(gè)結(jié)構(gòu)體字段之間可能有填充位以保證對(duì)齊。理解位域布局非常重要因?yàn)镹AT entry的數(shù)量與設(shè)備容量成正比一個(gè)TB級(jí)設(shè)備可能有數(shù)千萬個(gè)NAT entry每個(gè)entry節(jié)省幾個(gè)字節(jié)就是幾十MB的內(nèi)存差異。注意不同內(nèi)核版本的F2FS可能對(duì)NAT entry的位域定義有微調(diào)閱讀源碼時(shí)務(wù)必以當(dāng)前版本的頭文件為準(zhǔn)不要憑記憶套用舊版本的字段偏移。3.2 NAT位圖的作用與操作時(shí)機(jī)NAT位圖是一塊連續(xù)的位數(shù)組每個(gè)bit對(duì)應(yīng)一個(gè)NAT entry。bit為1表示該entry已被分配且有效bit為0表示該entry空閑或未使用。位圖的核心作用有兩個(gè)一是快速查找空閑NAT entry二是在掛載時(shí)快速判斷哪些NID是有效的。沒有位圖的話掛載時(shí)需要遍歷整個(gè)NAT區(qū)域來構(gòu)建內(nèi)存中的映射關(guān)系對(duì)于大容量設(shè)備來說這是不可接受的。位圖的操作時(shí)機(jī)主要集中在NID分配和釋放時(shí)。當(dāng)F2FS需要為一個(gè)新Node分配NID時(shí)會(huì)從位圖中查找第一個(gè)為0的bit將其置1并初始化對(duì)應(yīng)的NAT entry。當(dāng)Node被刪除時(shí)對(duì)應(yīng)的bit被清0entry被標(biāo)記為無效。3.3 NAT緩存內(nèi)存中的加速層磁盤上的NAT entry數(shù)量龐大不可能全部常駐內(nèi)存。F2FS設(shè)計(jì)了一套NAT緩存機(jī)制只把最近訪問的NAT entry加載到內(nèi)存中。緩存的基本單位是NAT entry通過哈希表或紅黑樹來組織支持快速查找。緩存的管理策略直接影響到文件系統(tǒng)的讀寫性能。如果緩存命中率高大部分NID到物理地址的翻譯都可以在內(nèi)存中完成不需要讀磁盤。如果命中率低每次翻譯都要觸發(fā)一次磁盤IO性能會(huì)急劇下降。F2FS的NAT緩存采用了類似LRU的淘汰策略但做了一些針對(duì)閃存特性的優(yōu)化。比如對(duì)于頻繁訪問的NAT entry會(huì)盡量保持在緩存中對(duì)于一次性訪問的entry則優(yōu)先淘汰。緩存的大小可以通過掛載參數(shù)調(diào)整默認(rèn)值通常是根據(jù)設(shè)備容量和可用內(nèi)存動(dòng)態(tài)計(jì)算的。3.4 NAT日志區(qū)的寫入與回放機(jī)制NAT日志區(qū)是NAT結(jié)構(gòu)中最容易被忽視但最影響性能的部分。它的核心思想是在兩次Checkpoint之間所有NAT修改不直接寫回NAT數(shù)據(jù)區(qū)而是順序追加到NAT日志區(qū)。這樣做的好處非常明顯。NAT數(shù)據(jù)區(qū)的寫入是隨機(jī)的因?yàn)椴煌琋ID對(duì)應(yīng)的entry在物理上可能相隔很遠(yuǎn)。而NAT日志區(qū)的寫入是順序的閃存對(duì)順序?qū)懭氲挠押枚冗h(yuǎn)高于隨機(jī)寫入。通過把隨機(jī)寫轉(zhuǎn)化為順序?qū)慒2FS的寫入性能可以提升數(shù)倍。日志區(qū)的回放發(fā)生在Checkpoint時(shí)。F2FS會(huì)遍歷日志區(qū)中的所有entry按照NID找到對(duì)應(yīng)的常規(guī)entry用日志entry的內(nèi)容覆蓋常規(guī)entry然后清空日志區(qū)。這個(gè)過程需要保證原子性否則在回放過程中斷電可能導(dǎo)致NAT狀態(tài)不一致。4. NAT相關(guān)操作的完整實(shí)操流程4.1 掛載時(shí)NAT的初始化過程F2FS掛載時(shí)NAT的初始化是一個(gè)關(guān)鍵步驟。整個(gè)過程大致分為以下幾個(gè)階段讀取Super Block和Checkpoint從磁盤固定位置讀取Super Block獲取文件系統(tǒng)的基本參數(shù)包括NAT區(qū)域的起始地址和大小。然后讀取最近的Checkpoint獲取NAT位圖和NAT日志區(qū)的當(dāng)前狀態(tài)。構(gòu)建NAT位圖的內(nèi)存副本將磁盤上的NAT位圖加載到內(nèi)存中后續(xù)的NID分配和釋放都基于這個(gè)內(nèi)存副本進(jìn)行定期或按需同步回磁盤?；胤臢AT日志如果Checkpoint中記錄了未回放的NAT日志需要先回放日志把日志中的修改合并到NAT數(shù)據(jù)區(qū)。這一步保證了文件系統(tǒng)狀態(tài)的一致性。初始化NAT緩存根據(jù)可用內(nèi)存大小初始化NAT緩存的數(shù)據(jù)結(jié)構(gòu)設(shè)置緩存容量和淘汰策略。校驗(yàn)NAT一致性在調(diào)試模式下可以遍歷NAT區(qū)域檢查位圖與entry的一致性發(fā)現(xiàn)潛在的元數(shù)據(jù)損壞。實(shí)操心得在嵌入式設(shè)備上掛載時(shí)間是一個(gè)敏感指標(biāo)。如果NAT日志區(qū)積累了大量未回放的entry掛載時(shí)的回放過程會(huì)顯著延長掛載時(shí)間。定期觸發(fā)Checkpoint可以有效控制日志區(qū)的長度避免掛載時(shí)間過長。4.2 NID分配與NAT entry初始化的代碼路徑當(dāng)F2FS需要?jiǎng)?chuàng)建一個(gè)新的Node時(shí)會(huì)調(diào)用NID分配函數(shù)。這個(gè)函數(shù)的邏輯可以簡化為以下步驟// 偽代碼示意非真實(shí)內(nèi)核代碼 nid_t f2fs_alloc_nid(struct f2fs_sb_info *sbi) { // 1. 從NAT位圖中查找第一個(gè)空閑bit nid find_next_zero_bit(nat_bitmap, max_nid, last_alloc_nid); // 2. 如果找不到觸發(fā)NAT位圖的同步和重試 if (nid max_nid) { sync_nat_bitmap(sbi); nid find_next_zero_bit(nat_bitmap, max_nid, 0); } // 3. 設(shè)置位圖中對(duì)應(yīng)的bit set_bit(nid, nat_bitmap); // 4. 初始化NAT entry nat_entry get_nat_entry(sbi, nid); nat_entry-block_addr NEW_ADDR; // 初始為NEW_ADDR表示尚未分配物理塊 nat_entry-version 0; // 5. 將NAT entry加入日志區(qū) add_nat_log(sbi, nid, nat_entry); return nid; }這段邏輯中有幾個(gè)關(guān)鍵點(diǎn)值得注意。首先NID的分配是從上次分配位置開始順序查找的而不是每次都從頭開始這樣可以減少位圖掃描的開銷。其次新分配的NAT entry的block_addr被設(shè)置為NEW_ADDR這是一個(gè)特殊值表示該Node還沒有寫入物理塊。當(dāng)Node真正被寫入時(shí)才會(huì)更新block_addr為實(shí)際的物理地址。4.3 NAT entry的更新與日志追加當(dāng)Node被修改并寫入新位置時(shí)對(duì)應(yīng)的NAT entry需要更新。更新的流程如下在NAT緩存中查找對(duì)應(yīng)的entry如果緩存未命中從磁盤加載。更新entry的block_addr為新寫入的物理地址。遞增entry的version字段。將更新后的entry追加到NAT日志區(qū)。標(biāo)記該entry為臟等待Checkpoint時(shí)回寫。這里有一個(gè)容易踩坑的地方version字段的遞增必須嚴(yán)格單調(diào)否則在Checkpoint恢復(fù)時(shí)可能無法正確判斷entry的新舊。如果version溢出需要特殊處理不能簡單地回繞到0。4.4 Checkpoint時(shí)NAT的持久化流程Checkpoint是F2FS保證一致性的核心機(jī)制NAT的持久化是Checkpoint的重要組成部分。整個(gè)流程大致如下凍結(jié)文件系統(tǒng)暫停所有寫操作確保NAT狀態(tài)不再變化?；胤臢AT日志將日志區(qū)中的所有entry合并到NAT數(shù)據(jù)區(qū)。寫回臟NAT entry將NAT緩存中所有臟entry寫回磁盤。同步NAT位圖將內(nèi)存中的NAT位圖寫回磁盤。寫Checkpoint包將Checkpoint信息寫入磁盤包括NAT日志區(qū)的起始位置和長度。解凍文件系統(tǒng)恢復(fù)寫操作。這個(gè)流程中步驟2和步驟3的順序不能顛倒。必須先回放日志再寫回臟entry否則可能導(dǎo)致日志中的修改被臟entry的舊值覆蓋。5. 常見問題與排查技巧實(shí)錄5.1 NAT緩存命中率低的排查思路NAT緩存命中率低是最常見的性能問題之一。表現(xiàn)是文件讀寫速度明顯下降尤其是大量小文件操作時(shí)。排查思路如下排查項(xiàng)檢查方法可能原因緩存大小查看掛載參數(shù)中的nat_cache_size緩存過小無法容納工作集訪問模式用ftrace跟蹤NAT緩存查找訪問模式隨機(jī)緩存頻繁淘汰內(nèi)存壓力查看系統(tǒng)內(nèi)存使用情況系統(tǒng)內(nèi)存不足緩存被壓縮淘汰策略分析緩存淘汰日志淘汰策略不適合當(dāng)前負(fù)載一個(gè)實(shí)用的技巧是如果發(fā)現(xiàn)緩存命中率低可以先嘗試增大緩存大小。如果增大后仍然沒有改善說明訪問模式本身有問題可能需要從應(yīng)用層優(yōu)化文件訪問模式比如合并小文件、減少隨機(jī)寫等。5.2 NAT日志區(qū)滿導(dǎo)致的寫入阻塞NAT日志區(qū)的大小是有限的。如果兩次Checkpoint之間產(chǎn)生了大量NAT修改日志區(qū)可能被寫滿。一旦寫滿F2FS必須強(qiáng)制觸發(fā)Checkpoint來清空日志區(qū)這會(huì)導(dǎo)致寫入阻塞表現(xiàn)為寫入延遲突然飆升。排查這個(gè)問題的方法是監(jiān)控NAT日志區(qū)的使用率。如果發(fā)現(xiàn)日志區(qū)頻繁接近滿的狀態(tài)說明Checkpoint間隔太長需要調(diào)整Checkpoint的觸發(fā)策略?？梢酝ㄟ^掛載參數(shù)縮短Checkpoint間隔或者在應(yīng)用層控制寫入速率避免突發(fā)大量寫入。注意強(qiáng)制Checkpoint會(huì)凍結(jié)文件系統(tǒng)期間所有寫操作都會(huì)被阻塞。在高負(fù)載場景下這可能導(dǎo)致請(qǐng)求堆積進(jìn)一步加劇延遲。因此預(yù)防日志區(qū)寫滿比事后處理更重要。5.3 NAT entry版本號(hào)異常的恢復(fù)方法版本號(hào)異常通常表現(xiàn)為Checkpoint恢復(fù)后文件系統(tǒng)狀態(tài)不一致比如文件內(nèi)容錯(cuò)亂、目錄結(jié)構(gòu)損壞等。這類問題的根源往往是版本號(hào)在更新過程中出現(xiàn)了非單調(diào)遞增?；謴?fù)方法取決于異常的嚴(yán)重程度。如果只是個(gè)別entry的版本號(hào)異?？梢允謩?dòng)修正版本號(hào)然后重新觸發(fā)Checkpoint。如果大量entry的版本號(hào)異?？赡苄枰獜膫浞莸腃heckpoint恢復(fù)或者使用fsck工具進(jìn)行修復(fù)。預(yù)防版本號(hào)異常的關(guān)鍵是確保所有NAT更新都經(jīng)過統(tǒng)一的更新函數(shù)不要在代碼中直接修改entry的version字段。統(tǒng)一的更新函數(shù)可以保證版本號(hào)的遞增是原子的、單調(diào)的。5.4 掛載失敗與NAT相關(guān)的錯(cuò)誤碼解讀F2FS掛載失敗時(shí)內(nèi)核日志中通常會(huì)打印錯(cuò)誤碼。與NAT相關(guān)的常見錯(cuò)誤碼包括EINVALNAT區(qū)域參數(shù)無效可能是Super Block中的NAT起始地址或大小不正確。ENOMEM內(nèi)存不足無法為NAT位圖或緩存分配內(nèi)存。EIO讀取NAT區(qū)域時(shí)發(fā)生IO錯(cuò)誤可能是閃存壞塊或介質(zhì)損壞。EFSCORRUPTEDNAT元數(shù)據(jù)損壞位圖與entry不一致或者日志區(qū)數(shù)據(jù)異常。遇到掛載失敗時(shí)首先查看內(nèi)核日志中的詳細(xì)錯(cuò)誤信息然后根據(jù)錯(cuò)誤碼定位問題。對(duì)于EFSCORRUPTED可以嘗試使用fsck.f2fs工具進(jìn)行修復(fù)但修復(fù)前務(wù)必備份原始數(shù)據(jù)因?yàn)樾迯?fù)過程可能不可逆。6. 從源碼到實(shí)踐幾個(gè)值得深挖的細(xì)節(jié)6.1 NAT entry在內(nèi)存中的組織方式NAT entry在內(nèi)存中并不是簡單地按NID順序排列的數(shù)組而是通過radix tree或哈希表來組織。這樣做的原因是NID空間可能非常大但實(shí)際使用的NID是稀疏的。如果用數(shù)組會(huì)浪費(fèi)大量內(nèi)存。radix tree的優(yōu)點(diǎn)是查找效率高且支持稀疏存儲(chǔ)。每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)一個(gè)NAT entry內(nèi)部節(jié)點(diǎn)用于索引。查找一個(gè)NID對(duì)應(yīng)的entry時(shí)間復(fù)雜度是O(log N)N是NID空間的大小。哈希表的優(yōu)點(diǎn)是實(shí)現(xiàn)簡單查找效率在哈希沖突少的情況下接近O(1)。但哈希表需要處理沖突且擴(kuò)容時(shí)會(huì)有性能抖動(dòng)。F2FS在不同版本中可能采用不同的數(shù)據(jù)結(jié)構(gòu)閱讀源碼時(shí)需要確認(rèn)當(dāng)前版本使用的是哪種。6.2 NAT與SIT的協(xié)同工作NAT和SIT是F2FS中兩個(gè)緊密協(xié)作的元數(shù)據(jù)結(jié)構(gòu)。NAT負(fù)責(zé)NID到物理塊的映射SIT負(fù)責(zé)Segment的分配狀態(tài)和有效塊計(jì)數(shù)。當(dāng)NAT entry更新時(shí)SIT中對(duì)應(yīng)Segment的有效塊計(jì)數(shù)也需要更新。這種協(xié)同關(guān)系意味著NAT的修改往往會(huì)觸發(fā)SIT的修改。如果兩者不一致會(huì)導(dǎo)致空間泄漏或數(shù)據(jù)損壞。F2FS通過Checkpoint機(jī)制來保證兩者的原子性更新但在異常斷電等場景下仍然可能出現(xiàn)不一致。排查NAT與SIT不一致的問題時(shí)可以對(duì)比NAT中所有有效entry的物理地址所對(duì)應(yīng)的Segment與SIT中標(biāo)記為有效的Segment是否一致。如果不一致說明存在元數(shù)據(jù)損壞需要修復(fù)。6.3 大容量設(shè)備上NAT的內(nèi)存開銷估算NAT的內(nèi)存開銷是設(shè)計(jì)F2FS設(shè)備時(shí)必須考慮的因素。以一個(gè)1TB的F2FS設(shè)備為例假設(shè)Node Block大小為4KB每個(gè)Node Block對(duì)應(yīng)一個(gè)NID那么NID的總數(shù)約為2.68億個(gè)。每個(gè)NAT entry在內(nèi)存中占用約16字節(jié)那么僅NAT entry就需要約4.3GB內(nèi)存。這顯然是不可接受的。實(shí)際上F2FS不會(huì)把所有NAT entry都加載到內(nèi)存中而是只加載最近訪問的部分。但NAT位圖是需要全部加載的每個(gè)NID對(duì)應(yīng)一個(gè)bit2.68億個(gè)bit約等于32MB。這個(gè)開銷是可以接受的。在嵌入式設(shè)備上內(nèi)存更加緊張NAT緩存的大小需要仔細(xì)權(quán)衡。緩存太小會(huì)導(dǎo)致命中率低緩存太大又會(huì)影響其他子系統(tǒng)的內(nèi)存使用。通常需要根據(jù)實(shí)際工作負(fù)載來調(diào)優(yōu)。6.4 NAT日志區(qū)的容量規(guī)劃與調(diào)優(yōu)NAT日志區(qū)的容量規(guī)劃是一個(gè)經(jīng)驗(yàn)活。日志區(qū)太小容易寫滿導(dǎo)致強(qiáng)制Checkpoint日志區(qū)太大浪費(fèi)存儲(chǔ)空間且掛載時(shí)回放時(shí)間長。一個(gè)實(shí)用的估算方法是統(tǒng)計(jì)兩次Checkpoint之間平均產(chǎn)生多少NAT修改然后乘以一個(gè)安全系數(shù)通常2到3倍作為日志區(qū)的最小容量。如果工作負(fù)載波動(dòng)大安全系數(shù)需要相應(yīng)增大。調(diào)優(yōu)時(shí)可以通過掛載參數(shù)調(diào)整Checkpoint間隔間接控制日志區(qū)的使用量。如果發(fā)現(xiàn)日志區(qū)頻繁寫滿可以縮短Checkpoint間隔如果發(fā)現(xiàn)Checkpoint過于頻繁影響性能可以適當(dāng)延長間隔但要注意日志區(qū)的容量限制。7. 幾個(gè)容易混淆的概念澄清7.1 NAT與SSA的區(qū)別NAT和SSA都是F2FS的元數(shù)據(jù)但職責(zé)完全不同。NAT記錄的是NID到物理塊的映射是“邏輯到物理”的翻譯表。SSA記錄的是每個(gè)Segment中各個(gè)Block的摘要信息包括Block的類型和所屬的NID是“物理到邏輯”的反向索引。SSA的主要作用是在垃圾回收時(shí)快速判斷一個(gè)Block是否有效以及它屬于哪個(gè)NID。如果沒有SSA垃圾回收時(shí)需要遍歷所有NAT entry來構(gòu)建反向映射效率極低。7.2 NAT entry與inode的關(guān)系NAT entry和inode是兩個(gè)不同層面的概念。inode是文件系統(tǒng)層面的元數(shù)據(jù)記錄文件的屬性、權(quán)限、大小等信息。NAT entry是存儲(chǔ)層面的元數(shù)據(jù)記錄Node的物理位置。一個(gè)文件的inode本身也是一個(gè)Node也有對(duì)應(yīng)的NID和NAT entry。當(dāng)讀取一個(gè)文件時(shí)首先通過inode的NID找到NAT entry然后通過NAT entry找到inode的物理位置讀取inode內(nèi)容再從inode中找到數(shù)據(jù)塊的NID或地址繼續(xù)后續(xù)的讀取流程。7.3 NAT緩存與Page Cache的層次關(guān)系NAT緩存和Page Cache是F2FS中兩個(gè)不同層次的緩存。Page Cache緩存的是文件數(shù)據(jù)頁位于VFS層對(duì)所有文件系統(tǒng)通用。NAT緩存緩存的是NAT entry位于F2FS層是F2FS特有的。兩者的關(guān)系是讀取文件數(shù)據(jù)時(shí)如果Page Cache未命中需要經(jīng)過NAT翻譯找到物理塊然后從磁盤讀取數(shù)據(jù)。如果NAT緩存命中翻譯過程不需要磁盤IO如果NAT緩存未命中翻譯過程本身就需要一次磁盤IO讀取文件數(shù)據(jù)又需要一次磁盤IO總共有兩次IO。因此NAT緩存的命中率直接影響文件讀取的性能。在優(yōu)化F2FS性能時(shí)NAT緩存是一個(gè)重要的調(diào)優(yōu)點(diǎn)。8. 實(shí)際調(diào)優(yōu)中的經(jīng)驗(yàn)與建議8.1 根據(jù)工作負(fù)載選擇合適的NAT緩存大小NAT緩存的大小沒有萬能的最優(yōu)值需要根據(jù)實(shí)際工作負(fù)載來定。對(duì)于大量小文件隨機(jī)讀寫的場景NAT緩存需要足夠大以容納活躍文件的NID集合。對(duì)于少量大文件順序讀寫的場景NAT緩存的需求相對(duì)較小。一個(gè)實(shí)用的調(diào)優(yōu)方法是先用默認(rèn)配置運(yùn)行監(jiān)控NAT緩存的命中率。如果命中率低于90%逐步增大緩存直到命中率不再顯著提升。同時(shí)監(jiān)控系統(tǒng)內(nèi)存使用情況確保緩存增大不會(huì)導(dǎo)致內(nèi)存壓力。8.2 合理設(shè)置Checkpoint間隔以平衡性能與一致性Checkpoint間隔直接影響NAT日志區(qū)的使用量和文件系統(tǒng)的一致性保證。間隔太短Checkpoint頻繁寫入性能下降間隔太長日志區(qū)容易寫滿且異常斷電時(shí)丟失的數(shù)據(jù)更多。一個(gè)經(jīng)驗(yàn)法則是Checkpoint間隔應(yīng)該使得NAT日志區(qū)的使用率在兩次Checkpoint之間不超過70%。這樣既留有余量應(yīng)對(duì)突發(fā)寫入又不會(huì)因?yàn)殚g隔太短而影響性能。8.3 監(jiān)控NAT相關(guān)指標(biāo)及時(shí)發(fā)現(xiàn)潛在問題在生產(chǎn)環(huán)境中建議監(jiān)控以下NAT相關(guān)指標(biāo)NAT緩存命中率低于90%需要關(guān)注。NAT日志區(qū)使用率持續(xù)高于70%需要關(guān)注。Checkpoint觸發(fā)頻率過于頻繁需要調(diào)整間隔。NAT相關(guān)錯(cuò)誤日志任何錯(cuò)誤都需要及時(shí)排查。這些指標(biāo)可以通過F2FS提供的sysfs接口或內(nèi)核tracepoint來獲取。定期監(jiān)控這些指標(biāo)可以在問題惡化之前發(fā)現(xiàn)并處理。8.4 調(diào)試NAT問題時(shí)常用的工具與方法調(diào)試NAT問題時(shí)以下工具和方法非常有用ftrace跟蹤NAT相關(guān)函數(shù)的調(diào)用分析調(diào)用頻率和耗時(shí)。debugfs查看F2FS的內(nèi)部狀態(tài)包括NAT位圖、緩存狀態(tài)等。fsck.f2fs檢查和修復(fù)NAT元數(shù)據(jù)損壞。內(nèi)核日志查看NAT相關(guān)的錯(cuò)誤和警告信息。使用這些工具時(shí)建議先在測試環(huán)境中復(fù)現(xiàn)問題再在生產(chǎn)環(huán)境中謹(jǐn)慎操作。特別是fsck.f2fs修復(fù)操作可能不可逆務(wù)必先備份數(shù)據(jù)。8.5 從NAT設(shè)計(jì)中學(xué)到的通用存儲(chǔ)優(yōu)化思路NAT的設(shè)計(jì)體現(xiàn)了幾個(gè)通用的存儲(chǔ)優(yōu)化思路值得在其他存儲(chǔ)系統(tǒng)設(shè)計(jì)中借鑒第一間接映射層可以解耦邏輯地址和物理地址使得物理位置的變更不需要遞歸更新引用鏈。這個(gè)思路在日志結(jié)構(gòu)文件系統(tǒng)、SSD固件、分布式存儲(chǔ)中都有廣泛應(yīng)用。第二日志化寫入可以把隨機(jī)寫轉(zhuǎn)化為順序?qū)懘蠓嵘龑懭胄阅堋＿@個(gè)思路在數(shù)據(jù)庫、消息隊(duì)列、文件系統(tǒng)中都是經(jīng)典優(yōu)化手段。第三分層緩存可以根據(jù)訪問頻率和內(nèi)存容量動(dòng)態(tài)調(diào)整緩存內(nèi)容在有限的內(nèi)存中最大化緩存收益。這個(gè)思路在CPU緩存、數(shù)據(jù)庫緩沖池、文件系統(tǒng)緩存中都是核心設(shè)計(jì)。理解這些通用思路不僅有助于深入理解F2FS的NAT也有助于在其他存儲(chǔ)系統(tǒng)中舉一反三。9. 一個(gè)真實(shí)的NAT緩存調(diào)優(yōu)案例某嵌入式設(shè)備運(yùn)行F2FS主要負(fù)載是持續(xù)寫入小文件每個(gè)文件幾KB到幾十KB。設(shè)備內(nèi)存有限NAT緩存默認(rèn)配置較小。運(yùn)行一段時(shí)間后發(fā)現(xiàn)寫入速度逐漸下降從最初的20MB/s降到5MB/s以下。排查過程首先用ftrace跟蹤NAT緩存查找發(fā)現(xiàn)緩存命中率只有60%左右。進(jìn)一步分析發(fā)現(xiàn)工作負(fù)載的NID訪問模式非常隨機(jī)大量NID被頻繁訪問但緩存容量不足以容納整個(gè)工作集。調(diào)優(yōu)方案將NAT緩存大小從默認(rèn)值增大到原來的3倍同時(shí)調(diào)整淘汰策略優(yōu)先保留頻繁訪問的entry。調(diào)整后緩存命中率提升到92%寫入速度恢復(fù)到18MB/s左右。這個(gè)案例的啟示是NAT緩存的大小必須與工作集大小匹配。如果工作集遠(yuǎn)大于緩存容量無論怎么調(diào)整淘汰策略命中率都無法提升。此時(shí)唯一的解法是增大緩存或者從應(yīng)用層優(yōu)化訪問模式減小工作集。實(shí)操心得在嵌入式設(shè)備上調(diào)優(yōu)NAT緩存時(shí)不要只看緩存命中率還要關(guān)注內(nèi)存壓力。緩存增大可能導(dǎo)致其他子系統(tǒng)內(nèi)存不足引發(fā)連鎖問題。建議在調(diào)優(yōu)時(shí)同時(shí)監(jiān)控系統(tǒng)整體內(nèi)存使用情況找到平衡點(diǎn)。10. 后續(xù)可以繼續(xù)深挖的方向NAT只是F2FS元數(shù)據(jù)體系中的一環(huán)圍繞它還有很多值得深入的方向。比如NAT與Checkpoint的交互細(xì)節(jié)特別是在異常斷電場景下如何保證NAT的一致性NAT緩存的淘汰策略在不同內(nèi)核版本中的演進(jìn)NAT日志區(qū)的壓縮與合并優(yōu)化以及NAT在多設(shè)備場景下的擴(kuò)展性設(shè)計(jì)。我個(gè)人在實(shí)際操作中的體會(huì)是理解NAT的關(guān)鍵不在于記住每個(gè)字段的偏移量而在于理解它為什么存在、解決了什么問題、以及它的設(shè)計(jì)約束是什么。掌握了這些閱讀源碼時(shí)就能快速定位關(guān)鍵邏輯排查問題時(shí)也能更快找到根因。最后再分享一個(gè)小技巧調(diào)試NAT問題時(shí)先在內(nèi)存中打印NAT緩存的狀態(tài)看看哪些entry被頻繁淘汰往往能直接定位到問題所在。 F2FS NAT深度解析：Node地址表結(jié)構(gòu)、緩存機(jī)制與調(diào)優(yōu)實(shí)踐
1. 從一次數(shù)據(jù)恢復(fù)的困惑說起NAT到底在F2FS里扮演什么角色前陣子幫一個(gè)做嵌入式存儲(chǔ)的朋友排查一個(gè)詭異的問題設(shè)備在長時(shí)間寫入小文件后偶爾會(huì)出現(xiàn)文件內(nèi)容錯(cuò)亂讀出來的數(shù)據(jù)塊指向了完全不相干的位置。日志里沒有任何報(bào)錯(cuò)fsck跑一遍也顯示正常。折騰了兩天最后把懷疑的目光投向了F2FS的Node Address Table也就是NAT。問題的根源是NAT緩存回收時(shí)的一個(gè)邊界條件處理不當(dāng)導(dǎo)致某個(gè)node block的物理地址映射被錯(cuò)誤覆蓋。這件事讓我意識(shí)到很多人用F2FS只停留在“它比ext4更適合閃存”這個(gè)層面對(duì)NAT這張核心索引表的理解非常模糊。而恰恰是NAT決定了F2FS能否在閃存上高效、可靠地完成邏輯地址到物理地址的轉(zhuǎn)換。這篇文章就把NAT的結(jié)構(gòu)、設(shè)計(jì)邏輯、實(shí)操中的關(guān)鍵細(xì)節(jié)和踩坑經(jīng)驗(yàn)完整梳理一遍。F2FS是專為NAND閃存特性設(shè)計(jì)的文件系統(tǒng)它的核心思路是把存儲(chǔ)空間劃分成固定大小的Segment再以Node和Data兩類Block來組織數(shù)據(jù)。NAT就是Node的“通訊錄”——給定一個(gè)Node IDNIDNAT負(fù)責(zé)告訴你這個(gè)Node實(shí)際存放在哪個(gè)物理Block上。沒有NATF2FS就無法在閃存的異地更新特性下維持文件元數(shù)據(jù)的一致性。這篇文章適合正在閱讀F2FS源碼的開發(fā)者、做存儲(chǔ)固件的工程師以及任何想深入理解閃存文件系統(tǒng)索引機(jī)制的技術(shù)人員。2. NAT的整體設(shè)計(jì)思路與核心定位2.1 為什么F2FS需要一張獨(dú)立的Node地址表傳統(tǒng)文件系統(tǒng)如ext4inode的物理位置在創(chuàng)建時(shí)就固定了通過inode號(hào)可以直接計(jì)算出磁盤偏移。但F2FS面對(duì)的是閃存閃存有個(gè)硬性約束不能原地覆寫必須先擦除再寫入而擦除的粒度遠(yuǎn)大于寫入粒度。這意味著F2FS必須采用異地更新策略——每次修改Node都要寫到新位置然后更新索引。如果每次修改Node都要去更新父目錄的dentry或者inode中的指針那寫入放大會(huì)非常嚴(yán)重。F2FS的解法是引入一層間接映射所有Node的物理位置統(tǒng)一記錄在NAT中Node內(nèi)部只保存NID不保存自己的物理地址。這樣當(dāng)Node被搬到新位置時(shí)只需要更新NAT中對(duì)應(yīng)的一條記錄不需要遞歸更新整條引用鏈。這個(gè)設(shè)計(jì)思路和虛擬內(nèi)存的頁表非常相似。你可以把NID理解為虛擬地址NAT理解為頁表物理Block地址理解為物理頁幀號(hào)。CPU通過頁表把虛擬地址翻譯成物理地址F2FS通過NAT把NID翻譯成物理Block地址。理解了這層類比NAT的很多設(shè)計(jì)決策就順理成章了。2.2 NAT在F2FS元數(shù)據(jù)體系中的位置F2FS的元數(shù)據(jù)布局大致分為幾個(gè)區(qū)域Super Block、Checkpoint、SITSegment Information Table、NAT、SSASegment Summary Area以及Main Area。NAT位于SIT之后、SSA之前占據(jù)連續(xù)的物理區(qū)域。NAT區(qū)域本身又細(xì)分為幾個(gè)部分NAT位圖區(qū)、NAT數(shù)據(jù)區(qū)、以及可能的NAT日志區(qū)。NAT位圖用于標(biāo)記哪些NAT entry是有效的NAT數(shù)據(jù)區(qū)存放實(shí)際的映射條目NAT日志則在Checkpoint機(jī)制中用于記錄自上次Checkpoint以來的NAT變更。從尋址路徑來看一次文件讀取的流程大致是通過inode的NID找到NAT entry從NAT entry中取出物理Block地址再去Main Area讀取對(duì)應(yīng)的Node BlockNode Block中保存了數(shù)據(jù)塊的地址或下一級(jí)Node的NID。整個(gè)鏈路中NAT是第一步也是最關(guān)鍵的一步。2.3 NAT entry的兩種形態(tài)正常映射與日志映射NAT entry在磁盤上有兩種存在形式。一種是NAT數(shù)據(jù)區(qū)中的常規(guī)entry每個(gè)entry固定占用一定字節(jié)數(shù)記錄NID對(duì)應(yīng)的物理地址和版本信息。另一種是NAT日志區(qū)中的日志entry用于在Checkpoint間隔內(nèi)記錄NAT的增量修改。這種雙形態(tài)設(shè)計(jì)和數(shù)據(jù)庫的WALWrite-Ahead Logging思路一致。常規(guī)entry是“主數(shù)據(jù)”日志entry是“增量日志”。Checkpoint發(fā)生時(shí)日志entry會(huì)被合并回常規(guī)entry然后日志區(qū)被清空。這樣做的好處是避免了每次NAT修改都要隨機(jī)寫入NAT數(shù)據(jù)區(qū)而是順序追加到日志區(qū)大幅提升了寫入性能。3. NAT結(jié)構(gòu)的核心細(xì)節(jié)拆解3.1 NAT entry的字段構(gòu)成與位域布局一個(gè)NAT entry在磁盤上通常占用固定大小的空間具體大小取決于編譯時(shí)配置的地址位寬。以常見的32位地址配置為例一個(gè)NAT entry的核心字段包括block_addrNode Block在Main Area中的物理塊地址這是最核心的字段決定了NID到物理位置的映射。version版本號(hào)每次該NAT entry被更新時(shí)遞增用于Checkpoint恢復(fù)時(shí)判斷entry的新舊。flag標(biāo)記位用于標(biāo)識(shí)該entry的狀態(tài)比如是否為臟、是否有效等。這些字段在內(nèi)存中通過位域bitfield緊湊排列以減少內(nèi)存占用。在源碼中NAT entry通常定義為一個(gè)結(jié)構(gòu)體字段之間可能有填充位以保證對(duì)齊。理解位域布局非常重要因?yàn)镹AT entry的數(shù)量與設(shè)備容量成正比一個(gè)TB級(jí)設(shè)備可能有數(shù)千萬個(gè)NAT entry每個(gè)entry節(jié)省幾個(gè)字節(jié)就是幾十MB的內(nèi)存差異。注意不同內(nèi)核版本的F2FS可能對(duì)NAT entry的位域定義有微調(diào)閱讀源碼時(shí)務(wù)必以當(dāng)前版本的頭文件為準(zhǔn)不要憑記憶套用舊版本的字段偏移。3.2 NAT位圖的作用與操作時(shí)機(jī)NAT位圖是一塊連續(xù)的位數(shù)組每個(gè)bit對(duì)應(yīng)一個(gè)NAT entry。bit為1表示該entry已被分配且有效bit為0表示該entry空閑或未使用。位圖的核心作用有兩個(gè)一是快速查找空閑NAT entry二是在掛載時(shí)快速判斷哪些NID是有效的。沒有位圖的話掛載時(shí)需要遍歷整個(gè)NAT區(qū)域來構(gòu)建內(nèi)存中的映射關(guān)系對(duì)于大容量設(shè)備來說這是不可接受的。位圖的操作時(shí)機(jī)主要集中在NID分配和釋放時(shí)。當(dāng)F2FS需要為一個(gè)新Node分配NID時(shí)會(huì)從位圖中查找第一個(gè)為0的bit將其置1并初始化對(duì)應(yīng)的NAT entry。當(dāng)Node被刪除時(shí)對(duì)應(yīng)的bit被清0entry被標(biāo)記為無效。3.3 NAT緩存內(nèi)存中的加速層磁盤上的NAT entry數(shù)量龐大不可能全部常駐內(nèi)存。F2FS設(shè)計(jì)了一套NAT緩存機(jī)制只把最近訪問的NAT entry加載到內(nèi)存中。緩存的基本單位是NAT entry通過哈希表或紅黑樹來組織支持快速查找。緩存的管理策略直接影響到文件系統(tǒng)的讀寫性能。如果緩存命中率高大部分NID到物理地址的翻譯都可以在內(nèi)存中完成不需要讀磁盤。如果命中率低每次翻譯都要觸發(fā)一次磁盤IO性能會(huì)急劇下降。F2FS的NAT緩存采用了類似LRU的淘汰策略但做了一些針對(duì)閃存特性的優(yōu)化。比如對(duì)于頻繁訪問的NAT entry會(huì)盡量保持在緩存中對(duì)于一次性訪問的entry則優(yōu)先淘汰。緩存的大小可以通過掛載參數(shù)調(diào)整默認(rèn)值通常是根據(jù)設(shè)備容量和可用內(nèi)存動(dòng)態(tài)計(jì)算的。3.4 NAT日志區(qū)的寫入與回放機(jī)制NAT日志區(qū)是NAT結(jié)構(gòu)中最容易被忽視但最影響性能的部分。它的核心思想是在兩次Checkpoint之間所有NAT修改不直接寫回NAT數(shù)據(jù)區(qū)而是順序追加到NAT日志區(qū)。這樣做的好處非常明顯。NAT數(shù)據(jù)區(qū)的寫入是隨機(jī)的因?yàn)椴煌琋ID對(duì)應(yīng)的entry在物理上可能相隔很遠(yuǎn)。而NAT日志區(qū)的寫入是順序的閃存對(duì)順序?qū)懭氲挠押枚冗h(yuǎn)高于隨機(jī)寫入。通過把隨機(jī)寫轉(zhuǎn)化為順序?qū)慒2FS的寫入性能可以提升數(shù)倍。日志區(qū)的回放發(fā)生在Checkpoint時(shí)。F2FS會(huì)遍歷日志區(qū)中的所有entry按照NID找到對(duì)應(yīng)的常規(guī)entry用日志entry的內(nèi)容覆蓋常規(guī)entry然后清空日志區(qū)。這個(gè)過程需要保證原子性否則在回放過程中斷電可能導(dǎo)致NAT狀態(tài)不一致。4. NAT相關(guān)操作的完整實(shí)操流程4.1 掛載時(shí)NAT的初始化過程F2FS掛載時(shí)NAT的初始化是一個(gè)關(guān)鍵步驟。整個(gè)過程大致分為以下幾個(gè)階段讀取Super Block和Checkpoint從磁盤固定位置讀取Super Block獲取文件系統(tǒng)的基本參數(shù)包括NAT區(qū)域的起始地址和大小。然后讀取最近的Checkpoint獲取NAT位圖和NAT日志區(qū)的當(dāng)前狀態(tài)。構(gòu)建NAT位圖的內(nèi)存副本將磁盤上的NAT位圖加載到內(nèi)存中后續(xù)的NID分配和釋放都基于這個(gè)內(nèi)存副本進(jìn)行定期或按需同步回磁盤?；胤臢AT日志如果Checkpoint中記錄了未回放的NAT日志需要先回放日志把日志中的修改合并到NAT數(shù)據(jù)區(qū)。這一步保證了文件系統(tǒng)狀態(tài)的一致性。初始化NAT緩存根據(jù)可用內(nèi)存大小初始化NAT緩存的數(shù)據(jù)結(jié)構(gòu)設(shè)置緩存容量和淘汰策略。校驗(yàn)NAT一致性在調(diào)試模式下可以遍歷NAT區(qū)域檢查位圖與entry的一致性發(fā)現(xiàn)潛在的元數(shù)據(jù)損壞。實(shí)操心得在嵌入式設(shè)備上掛載時(shí)間是一個(gè)敏感指標(biāo)。如果NAT日志區(qū)積累了大量未回放的entry掛載時(shí)的回放過程會(huì)顯著延長掛載時(shí)間。定期觸發(fā)Checkpoint可以有效控制日志區(qū)的長度避免掛載時(shí)間過長。4.2 NID分配與NAT entry初始化的代碼路徑當(dāng)F2FS需要?jiǎng)?chuàng)建一個(gè)新的Node時(shí)會(huì)調(diào)用NID分配函數(shù)。這個(gè)函數(shù)的邏輯可以簡化為以下步驟// 偽代碼示意非真實(shí)內(nèi)核代碼 nid_t f2fs_alloc_nid(struct f2fs_sb_info *sbi) { // 1. 從NAT位圖中查找第一個(gè)空閑bit nid find_next_zero_bit(nat_bitmap, max_nid, last_alloc_nid); // 2. 如果找不到觸發(fā)NAT位圖的同步和重試 if (nid max_nid) { sync_nat_bitmap(sbi); nid find_next_zero_bit(nat_bitmap, max_nid, 0); } // 3. 設(shè)置位圖中對(duì)應(yīng)的bit set_bit(nid, nat_bitmap); // 4. 初始化NAT entry nat_entry get_nat_entry(sbi, nid); nat_entry-block_addr NEW_ADDR; // 初始為NEW_ADDR表示尚未分配物理塊 nat_entry-version 0; // 5. 將NAT entry加入日志區(qū) add_nat_log(sbi, nid, nat_entry); return nid; }這段邏輯中有幾個(gè)關(guān)鍵點(diǎn)值得注意。首先NID的分配是從上次分配位置開始順序查找的而不是每次都從頭開始這樣可以減少位圖掃描的開銷。其次新分配的NAT entry的block_addr被設(shè)置為NEW_ADDR這是一個(gè)特殊值表示該Node還沒有寫入物理塊。當(dāng)Node真正被寫入時(shí)才會(huì)更新block_addr為實(shí)際的物理地址。4.3 NAT entry的更新與日志追加當(dāng)Node被修改并寫入新位置時(shí)對(duì)應(yīng)的NAT entry需要更新。更新的流程如下在NAT緩存中查找對(duì)應(yīng)的entry如果緩存未命中從磁盤加載。更新entry的block_addr為新寫入的物理地址。遞增entry的version字段。將更新后的entry追加到NAT日志區(qū)。標(biāo)記該entry為臟等待Checkpoint時(shí)回寫。這里有一個(gè)容易踩坑的地方version字段的遞增必須嚴(yán)格單調(diào)否則在Checkpoint恢復(fù)時(shí)可能無法正確判斷entry的新舊。如果version溢出需要特殊處理不能簡單地回繞到0。4.4 Checkpoint時(shí)NAT的持久化流程Checkpoint是F2FS保證一致性的核心機(jī)制NAT的持久化是Checkpoint的重要組成部分。整個(gè)流程大致如下凍結(jié)文件系統(tǒng)暫停所有寫操作確保NAT狀態(tài)不再變化?；胤臢AT日志將日志區(qū)中的所有entry合并到NAT數(shù)據(jù)區(qū)。寫回臟NAT entry將NAT緩存中所有臟entry寫回磁盤。同步NAT位圖將內(nèi)存中的NAT位圖寫回磁盤。寫Checkpoint包將Checkpoint信息寫入磁盤包括NAT日志區(qū)的起始位置和長度。解凍文件系統(tǒng)恢復(fù)寫操作。這個(gè)流程中步驟2和步驟3的順序不能顛倒。必須先回放日志再寫回臟entry否則可能導(dǎo)致日志中的修改被臟entry的舊值覆蓋。5. 常見問題與排查技巧實(shí)錄5.1 NAT緩存命中率低的排查思路NAT緩存命中率低是最常見的性能問題之一。表現(xiàn)是文件讀寫速度明顯下降尤其是大量小文件操作時(shí)。排查思路如下排查項(xiàng)檢查方法可能原因緩存大小查看掛載參數(shù)中的nat_cache_size緩存過小無法容納工作集訪問模式用ftrace跟蹤NAT緩存查找訪問模式隨機(jī)緩存頻繁淘汰內(nèi)存壓力查看系統(tǒng)內(nèi)存使用情況系統(tǒng)內(nèi)存不足緩存被壓縮淘汰策略分析緩存淘汰日志淘汰策略不適合當(dāng)前負(fù)載一個(gè)實(shí)用的技巧是如果發(fā)現(xiàn)緩存命中率低可以先嘗試增大緩存大小。如果增大后仍然沒有改善說明訪問模式本身有問題可能需要從應(yīng)用層優(yōu)化文件訪問模式比如合并小文件、減少隨機(jī)寫等。5.2 NAT日志區(qū)滿導(dǎo)致的寫入阻塞NAT日志區(qū)的大小是有限的。如果兩次Checkpoint之間產(chǎn)生了大量NAT修改日志區(qū)可能被寫滿。一旦寫滿F2FS必須強(qiáng)制觸發(fā)Checkpoint來清空日志區(qū)這會(huì)導(dǎo)致寫入阻塞表現(xiàn)為寫入延遲突然飆升。排查這個(gè)問題的方法是監(jiān)控NAT日志區(qū)的使用率。如果發(fā)現(xiàn)日志區(qū)頻繁接近滿的狀態(tài)說明Checkpoint間隔太長需要調(diào)整Checkpoint的觸發(fā)策略?？梢酝ㄟ^掛載參數(shù)縮短Checkpoint間隔或者在應(yīng)用層控制寫入速率避免突發(fā)大量寫入。注意強(qiáng)制Checkpoint會(huì)凍結(jié)文件系統(tǒng)期間所有寫操作都會(huì)被阻塞。在高負(fù)載場景下這可能導(dǎo)致請(qǐng)求堆積進(jìn)一步加劇延遲。因此預(yù)防日志區(qū)寫滿比事后處理更重要。5.3 NAT entry版本號(hào)異常的恢復(fù)方法版本號(hào)異常通常表現(xiàn)為Checkpoint恢復(fù)后文件系統(tǒng)狀態(tài)不一致比如文件內(nèi)容錯(cuò)亂、目錄結(jié)構(gòu)損壞等。這類問題的根源往往是版本號(hào)在更新過程中出現(xiàn)了非單調(diào)遞增?；謴?fù)方法取決于異常的嚴(yán)重程度。如果只是個(gè)別entry的版本號(hào)異?？梢允謩?dòng)修正版本號(hào)然后重新觸發(fā)Checkpoint。如果大量entry的版本號(hào)異?？赡苄枰獜膫浞莸腃heckpoint恢復(fù)或者使用fsck工具進(jìn)行修復(fù)。預(yù)防版本號(hào)異常的關(guān)鍵是確保所有NAT更新都經(jīng)過統(tǒng)一的更新函數(shù)不要在代碼中直接修改entry的version字段。統(tǒng)一的更新函數(shù)可以保證版本號(hào)的遞增是原子的、單調(diào)的。5.4 掛載失敗與NAT相關(guān)的錯(cuò)誤碼解讀F2FS掛載失敗時(shí)內(nèi)核日志中通常會(huì)打印錯(cuò)誤碼。與NAT相關(guān)的常見錯(cuò)誤碼包括EINVALNAT區(qū)域參數(shù)無效可能是Super Block中的NAT起始地址或大小不正確。ENOMEM內(nèi)存不足無法為NAT位圖或緩存分配內(nèi)存。EIO讀取NAT區(qū)域時(shí)發(fā)生IO錯(cuò)誤可能是閃存壞塊或介質(zhì)損壞。EFSCORRUPTEDNAT元數(shù)據(jù)損壞位圖與entry不一致或者日志區(qū)數(shù)據(jù)異常。遇到掛載失敗時(shí)首先查看內(nèi)核日志中的詳細(xì)錯(cuò)誤信息然后根據(jù)錯(cuò)誤碼定位問題。對(duì)于EFSCORRUPTED可以嘗試使用fsck.f2fs工具進(jìn)行修復(fù)但修復(fù)前務(wù)必備份原始數(shù)據(jù)因?yàn)樾迯?fù)過程可能不可逆。6. 從源碼到實(shí)踐幾個(gè)值得深挖的細(xì)節(jié)6.1 NAT entry在內(nèi)存中的組織方式NAT entry在內(nèi)存中并不是簡單地按NID順序排列的數(shù)組而是通過radix tree或哈希表來組織。這樣做的原因是NID空間可能非常大但實(shí)際使用的NID是稀疏的。如果用數(shù)組會(huì)浪費(fèi)大量內(nèi)存。radix tree的優(yōu)點(diǎn)是查找效率高且支持稀疏存儲(chǔ)。每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)一個(gè)NAT entry內(nèi)部節(jié)點(diǎn)用于索引。查找一個(gè)NID對(duì)應(yīng)的entry時(shí)間復(fù)雜度是O(log N)N是NID空間的大小。哈希表的優(yōu)點(diǎn)是實(shí)現(xiàn)簡單查找效率在哈希沖突少的情況下接近O(1)。但哈希表需要處理沖突且擴(kuò)容時(shí)會(huì)有性能抖動(dòng)。F2FS在不同版本中可能采用不同的數(shù)據(jù)結(jié)構(gòu)閱讀源碼時(shí)需要確認(rèn)當(dāng)前版本使用的是哪種。6.2 NAT與SIT的協(xié)同工作NAT和SIT是F2FS中兩個(gè)緊密協(xié)作的元數(shù)據(jù)結(jié)構(gòu)。NAT負(fù)責(zé)NID到物理塊的映射SIT負(fù)責(zé)Segment的分配狀態(tài)和有效塊計(jì)數(shù)。當(dāng)NAT entry更新時(shí)SIT中對(duì)應(yīng)Segment的有效塊計(jì)數(shù)也需要更新。這種協(xié)同關(guān)系意味著NAT的修改往往會(huì)觸發(fā)SIT的修改。如果兩者不一致會(huì)導(dǎo)致空間泄漏或數(shù)據(jù)損壞。F2FS通過Checkpoint機(jī)制來保證兩者的原子性更新但在異常斷電等場景下仍然可能出現(xiàn)不一致。排查NAT與SIT不一致的問題時(shí)可以對(duì)比NAT中所有有效entry的物理地址所對(duì)應(yīng)的Segment與SIT中標(biāo)記為有效的Segment是否一致。如果不一致說明存在元數(shù)據(jù)損壞需要修復(fù)。6.3 大容量設(shè)備上NAT的內(nèi)存開銷估算NAT的內(nèi)存開銷是設(shè)計(jì)F2FS設(shè)備時(shí)必須考慮的因素。以一個(gè)1TB的F2FS設(shè)備為例假設(shè)Node Block大小為4KB每個(gè)Node Block對(duì)應(yīng)一個(gè)NID那么NID的總數(shù)約為2.68億個(gè)。每個(gè)NAT entry在內(nèi)存中占用約16字節(jié)那么僅NAT entry就需要約4.3GB內(nèi)存。這顯然是不可接受的。實(shí)際上F2FS不會(huì)把所有NAT entry都加載到內(nèi)存中而是只加載最近訪問的部分。但NAT位圖是需要全部加載的每個(gè)NID對(duì)應(yīng)一個(gè)bit2.68億個(gè)bit約等于32MB。這個(gè)開銷是可以接受的。在嵌入式設(shè)備上內(nèi)存更加緊張NAT緩存的大小需要仔細(xì)權(quán)衡。緩存太小會(huì)導(dǎo)致命中率低緩存太大又會(huì)影響其他子系統(tǒng)的內(nèi)存使用。通常需要根據(jù)實(shí)際工作負(fù)載來調(diào)優(yōu)。6.4 NAT日志區(qū)的容量規(guī)劃與調(diào)優(yōu)NAT日志區(qū)的容量規(guī)劃是一個(gè)經(jīng)驗(yàn)活。日志區(qū)太小容易寫滿導(dǎo)致強(qiáng)制Checkpoint日志區(qū)太大浪費(fèi)存儲(chǔ)空間且掛載時(shí)回放時(shí)間長。一個(gè)實(shí)用的估算方法是統(tǒng)計(jì)兩次Checkpoint之間平均產(chǎn)生多少NAT修改然后乘以一個(gè)安全系數(shù)通常2到3倍作為日志區(qū)的最小容量。如果工作負(fù)載波動(dòng)大安全系數(shù)需要相應(yīng)增大。調(diào)優(yōu)時(shí)可以通過掛載參數(shù)調(diào)整Checkpoint間隔間接控制日志區(qū)的使用量。如果發(fā)現(xiàn)日志區(qū)頻繁寫滿可以縮短Checkpoint間隔如果發(fā)現(xiàn)Checkpoint過于頻繁影響性能可以適當(dāng)延長間隔但要注意日志區(qū)的容量限制。7. 幾個(gè)容易混淆的概念澄清7.1 NAT與SSA的區(qū)別NAT和SSA都是F2FS的元數(shù)據(jù)但職責(zé)完全不同。NAT記錄的是NID到物理塊的映射是“邏輯到物理”的翻譯表。SSA記錄的是每個(gè)Segment中各個(gè)Block的摘要信息包括Block的類型和所屬的NID是“物理到邏輯”的反向索引。SSA的主要作用是在垃圾回收時(shí)快速判斷一個(gè)Block是否有效以及它屬于哪個(gè)NID。如果沒有SSA垃圾回收時(shí)需要遍歷所有NAT entry來構(gòu)建反向映射效率極低。7.2 NAT entry與inode的關(guān)系NAT entry和inode是兩個(gè)不同層面的概念。inode是文件系統(tǒng)層面的元數(shù)據(jù)記錄文件的屬性、權(quán)限、大小等信息。NAT entry是存儲(chǔ)層面的元數(shù)據(jù)記錄Node的物理位置。一個(gè)文件的inode本身也是一個(gè)Node也有對(duì)應(yīng)的NID和NAT entry。當(dāng)讀取一個(gè)文件時(shí)首先通過inode的NID找到NAT entry然后通過NAT entry找到inode的物理位置讀取inode內(nèi)容再從inode中找到數(shù)據(jù)塊的NID或地址繼續(xù)后續(xù)的讀取流程。7.3 NAT緩存與Page Cache的層次關(guān)系NAT緩存和Page Cache是F2FS中兩個(gè)不同層次的緩存。Page Cache緩存的是文件數(shù)據(jù)頁位于VFS層對(duì)所有文件系統(tǒng)通用。NAT緩存緩存的是NAT entry位于F2FS層是F2FS特有的。兩者的關(guān)系是讀取文件數(shù)據(jù)時(shí)如果Page Cache未命中需要經(jīng)過NAT翻譯找到物理塊然后從磁盤讀取數(shù)據(jù)。如果NAT緩存命中翻譯過程不需要磁盤IO如果NAT緩存未命中翻譯過程本身就需要一次磁盤IO讀取文件數(shù)據(jù)又需要一次磁盤IO總共有兩次IO。因此NAT緩存的命中率直接影響文件讀取的性能。在優(yōu)化F2FS性能時(shí)NAT緩存是一個(gè)重要的調(diào)優(yōu)點(diǎn)。8. 實(shí)際調(diào)優(yōu)中的經(jīng)驗(yàn)與建議8.1 根據(jù)工作負(fù)載選擇合適的NAT緩存大小NAT緩存的大小沒有萬能的最優(yōu)值需要根據(jù)實(shí)際工作負(fù)載來定。對(duì)于大量小文件隨機(jī)讀寫的場景NAT緩存需要足夠大以容納活躍文件的NID集合。對(duì)于少量大文件順序讀寫的場景NAT緩存的需求相對(duì)較小。一個(gè)實(shí)用的調(diào)優(yōu)方法是先用默認(rèn)配置運(yùn)行監(jiān)控NAT緩存的命中率。如果命中率低于90%逐步增大緩存直到命中率不再顯著提升。同時(shí)監(jiān)控系統(tǒng)內(nèi)存使用情況確保緩存增大不會(huì)導(dǎo)致內(nèi)存壓力。8.2 合理設(shè)置Checkpoint間隔以平衡性能與一致性Checkpoint間隔直接影響NAT日志區(qū)的使用量和文件系統(tǒng)的一致性保證。間隔太短Checkpoint頻繁寫入性能下降間隔太長日志區(qū)容易寫滿且異常斷電時(shí)丟失的數(shù)據(jù)更多。一個(gè)經(jīng)驗(yàn)法則是Checkpoint間隔應(yīng)該使得NAT日志區(qū)的使用率在兩次Checkpoint之間不超過70%。這樣既留有余量應(yīng)對(duì)突發(fā)寫入又不會(huì)因?yàn)殚g隔太短而影響性能。8.3 監(jiān)控NAT相關(guān)指標(biāo)及時(shí)發(fā)現(xiàn)潛在問題在生產(chǎn)環(huán)境中建議監(jiān)控以下NAT相關(guān)指標(biāo)NAT緩存命中率低于90%需要關(guān)注。NAT日志區(qū)使用率持續(xù)高于70%需要關(guān)注。Checkpoint觸發(fā)頻率過于頻繁需要調(diào)整間隔。NAT相關(guān)錯(cuò)誤日志任何錯(cuò)誤都需要及時(shí)排查。這些指標(biāo)可以通過F2FS提供的sysfs接口或內(nèi)核tracepoint來獲取。定期監(jiān)控這些指標(biāo)可以在問題惡化之前發(fā)現(xiàn)并處理。8.4 調(diào)試NAT問題時(shí)常用的工具與方法調(diào)試NAT問題時(shí)以下工具和方法非常有用ftrace跟蹤NAT相關(guān)函數(shù)的調(diào)用分析調(diào)用頻率和耗時(shí)。debugfs查看F2FS的內(nèi)部狀態(tài)包括NAT位圖、緩存狀態(tài)等。fsck.f2fs檢查和修復(fù)NAT元數(shù)據(jù)損壞。內(nèi)核日志查看NAT相關(guān)的錯(cuò)誤和警告信息。使用這些工具時(shí)建議先在測試環(huán)境中復(fù)現(xiàn)問題再在生產(chǎn)環(huán)境中謹(jǐn)慎操作。特別是fsck.f2fs修復(fù)操作可能不可逆務(wù)必先備份數(shù)據(jù)。8.5 從NAT設(shè)計(jì)中學(xué)到的通用存儲(chǔ)優(yōu)化思路NAT的設(shè)計(jì)體現(xiàn)了幾個(gè)通用的存儲(chǔ)優(yōu)化思路值得在其他存儲(chǔ)系統(tǒng)設(shè)計(jì)中借鑒第一間接映射層可以解耦邏輯地址和物理地址使得物理位置的變更不需要遞歸更新引用鏈。這個(gè)思路在日志結(jié)構(gòu)文件系統(tǒng)、SSD固件、分布式存儲(chǔ)中都有廣泛應(yīng)用。第二日志化寫入可以把隨機(jī)寫轉(zhuǎn)化為順序?qū)懘蠓嵘龑懭胄阅堋＿@個(gè)思路在數(shù)據(jù)庫、消息隊(duì)列、文件系統(tǒng)中都是經(jīng)典優(yōu)化手段。第三分層緩存可以根據(jù)訪問頻率和內(nèi)存容量動(dòng)態(tài)調(diào)整緩存內(nèi)容在有限的內(nèi)存中最大化緩存收益。這個(gè)思路在CPU緩存、數(shù)據(jù)庫緩沖池、文件系統(tǒng)緩存中都是核心設(shè)計(jì)。理解這些通用思路不僅有助于深入理解F2FS的NAT也有助于在其他存儲(chǔ)系統(tǒng)中舉一反三。9. 一個(gè)真實(shí)的NAT緩存調(diào)優(yōu)案例某嵌入式設(shè)備運(yùn)行F2FS主要負(fù)載是持續(xù)寫入小文件每個(gè)文件幾KB到幾十KB。設(shè)備內(nèi)存有限NAT緩存默認(rèn)配置較小。運(yùn)行一段時(shí)間后發(fā)現(xiàn)寫入速度逐漸下降從最初的20MB/s降到5MB/s以下。排查過程首先用ftrace跟蹤NAT緩存查找發(fā)現(xiàn)緩存命中率只有60%左右。進(jìn)一步分析發(fā)現(xiàn)工作負(fù)載的NID訪問模式非常隨機(jī)大量NID被頻繁訪問但緩存容量不足以容納整個(gè)工作集。調(diào)優(yōu)方案將NAT緩存大小從默認(rèn)值增大到原來的3倍同時(shí)調(diào)整淘汰策略優(yōu)先保留頻繁訪問的entry。調(diào)整后緩存命中率提升到92%寫入速度恢復(fù)到18MB/s左右。這個(gè)案例的啟示是NAT緩存的大小必須與工作集大小匹配。如果工作集遠(yuǎn)大于緩存容量無論怎么調(diào)整淘汰策略命中率都無法提升。此時(shí)唯一的解法是增大緩存或者從應(yīng)用層優(yōu)化訪問模式減小工作集。實(shí)操心得在嵌入式設(shè)備上調(diào)優(yōu)NAT緩存時(shí)不要只看緩存命中率還要關(guān)注內(nèi)存壓力。緩存增大可能導(dǎo)致其他子系統(tǒng)內(nèi)存不足引發(fā)連鎖問題。建議在調(diào)優(yōu)時(shí)同時(shí)監(jiān)控系統(tǒng)整體內(nèi)存使用情況找到平衡點(diǎn)。10. 后續(xù)可以繼續(xù)深挖的方向NAT只是F2FS元數(shù)據(jù)體系中的一環(huán)圍繞它還有很多值得深入的方向。比如NAT與Checkpoint的交互細(xì)節(jié)特別是在異常斷電場景下如何保證NAT的一致性NAT緩存的淘汰策略在不同內(nèi)核版本中的演進(jìn)NAT日志區(qū)的壓縮與合并優(yōu)化以及NAT在多設(shè)備場景下的擴(kuò)展性設(shè)計(jì)。我個(gè)人在實(shí)際操作中的體會(huì)是理解NAT的關(guān)鍵不在于記住每個(gè)字段的偏移量而在于理解它為什么存在、解決了什么問題、以及它的設(shè)計(jì)約束是什么。掌握了這些閱讀源碼時(shí)就能快速定位關(guān)鍵邏輯排查問題時(shí)也能更快找到根因。最后再分享一個(gè)小技巧調(diào)試NAT問題時(shí)先在內(nèi)存中打印NAT緩存的狀態(tài)看看哪些entry被頻繁淘汰往往能直接定位到問題所在。