最近項(xiàng)目組要在一個(gè)受限環(huán)境里搭一個(gè)輕量交互進(jìn)程原本想直接調(diào)系統(tǒng)命令結(jié)果業(yè)務(wù)場(chǎng)景對(duì)命令解析、退出碼、環(huán)境變量切換的要求特別細(xì)最后干脆自己動(dòng)手寫(xiě)了一個(gè)簡(jiǎn)易Shell。這篇復(fù)盤(pán)把整個(gè)過(guò)程中最核心的兩塊——內(nèi)建命令和exec程序替換——拆開(kāi)講清楚也是給自己留一份可回看的筆記。說(shuō)句實(shí)話(huà)寫(xiě)Shell這件事很多同學(xué)覺(jué)得是操作系統(tǒng)課程的作業(yè)題其實(shí)它是一面很有價(jià)值的鏡子你會(huì)在里面看到進(jìn)程、文件描述符、環(huán)境變量、信號(hào)處理這些概念在真實(shí)代碼里是怎么協(xié)作的。如果你正在學(xué)C語(yǔ)言、準(zhǔn)備系統(tǒng)編程面試或者工作中要跟subprocess、進(jìn)程管理打交道這篇內(nèi)容可以直接拿來(lái)對(duì)照參考。全文不涉及太花哨的框架就是純C實(shí)現(xiàn)把主干邏輯走通。2. fork與exec這對(duì)組合程序替換的底層邏輯2.1 進(jìn)程不是憑空出現(xiàn)的要理解Shell先要理解一個(gè)事實(shí)在Unix世界里創(chuàng)建一個(gè)新進(jìn)程從來(lái)不是直接啟動(dòng)某個(gè)程序而是分兩步走。第一步是fork()它把當(dāng)前進(jìn)程復(fù)制一份復(fù)制出來(lái)的子進(jìn)程擁有和父進(jìn)程幾乎一樣的地址空間、文件描述符、環(huán)境變量。第二步是exec系列函數(shù)它在當(dāng)前進(jìn)程里加載一個(gè)新的可執(zhí)行文件把原來(lái)的代碼段、數(shù)據(jù)段、堆棧全部替換掉然后從新程序的main()開(kāi)始執(zhí)行。這兩個(gè)步驟合在一起才是我們平時(shí)說(shuō)的運(yùn)行一個(gè)程序。打個(gè)比方fork()就像你用復(fù)印機(jī)復(fù)印了一份文件復(fù)印紙上原本寫(xiě)的是舊內(nèi)容exec則是把復(fù)印紙上的內(nèi)容全部擦掉重新寫(xiě)上你要的新內(nèi)容。不先復(fù)印就直接擦寫(xiě)那會(huì)把你自己手里唯一的一份文件也毀掉。所以Shell必須先f(wàn)ork()一個(gè)子進(jìn)程再由子進(jìn)程去exec這樣即使新程序崩潰也不會(huì)影響Shell本身。這也是為什么主流的Shell都是這樣實(shí)現(xiàn)外部命令的父進(jìn)程負(fù)責(zé)等待和回收子進(jìn)程負(fù)責(zé)干活。2.2 exec族函數(shù)怎么選exec不是只有一個(gè)函數(shù)而是一族函數(shù)C標(biāo)準(zhǔn)庫(kù)提供了六個(gè)函數(shù)名路徑來(lái)源參數(shù)傳遞方式環(huán)境變量來(lái)源execl顯式路徑變長(zhǎng)參數(shù)列表繼承當(dāng)前環(huán)境execv顯式路徑argv數(shù)組繼承當(dāng)前環(huán)境execle顯式路徑變長(zhǎng)參數(shù)列表顯式envpexecve顯式路徑argv數(shù)組顯式envpexeclp自動(dòng)搜索PATH變長(zhǎng)參數(shù)列表繼承當(dāng)前環(huán)境execvp自動(dòng)搜索PATHargv數(shù)組繼承當(dāng)前環(huán)境很多初學(xué)者看到這一堆函數(shù)就頭大其實(shí)記憶方法很簡(jiǎn)單。后綴里帶llist表示參數(shù)一個(gè)一個(gè)列出來(lái)帶vvector表示參數(shù)放在一個(gè)字符串?dāng)?shù)組里帶ppath表示函數(shù)會(huì)自己搜索PATH環(huán)境變量找到可執(zhí)行文件不帶p的就要你給出文件路徑帶eenvironment表示你可以自己指定環(huán)境變量。我實(shí)現(xiàn)簡(jiǎn)易Shell時(shí)首選的是execvp()原因有二。第一它自動(dòng)搜索PATH這恰好符合我們平時(shí)在Shell里直接敲ls、grep就能運(yùn)行的習(xí)慣。第二參數(shù)用數(shù)組傳遞結(jié)構(gòu)上和后面要做的命令解析天然契合——我解析完命令行已經(jīng)得到了一個(gè)char *argv[]數(shù)組直接傳給execvp就行。注意execl這類(lèi)變長(zhǎng)參數(shù)形式看著方便但參數(shù)個(gè)數(shù)固定寫(xiě)死的話(huà)后面想擴(kuò)展命令參數(shù)就痛苦了。實(shí)際項(xiàng)目中能用execv系的就別用exec系。2.3 一個(gè)最小可運(yùn)行的exec演示先看一段最簡(jiǎn)代碼確認(rèn)這個(gè)機(jī)制跑得通#include stdio.h #include unistd.h #include sys/wait.h int main(void) { pid_t pid fork(); if (pid 0) { // 子進(jìn)程 // 用 execvp 去執(zhí)行 ls參數(shù)數(shù)組以 NULL 結(jié)尾 char *argv[] {ls, -l, NULL}; execvp(ls, argv); // 如果 execvp 失敗了下面這行才會(huì)執(zhí)行 perror(execvp failed); _exit(127); // 127 是“找不到命令”的慣例退出碼 } else if (pid 0) { // 父進(jìn)程等待子進(jìn)程結(jié)束 int status; waitpid(pid, status, 0); printf(子進(jìn)程退出碼: %d\n, WEXITSTATUS(status)); } else { perror(fork failed); } return 0; }這段代碼的邏輯很清晰子進(jìn)程里調(diào)用execvp成功的話(huà)ls的輸出會(huì)直接打到終端上失敗的話(huà)才走到perror和_exit(127)。這里有一個(gè)細(xì)節(jié)很多人會(huì)忽略——為什么失敗后要用_exit而不是return或exit因?yàn)樽舆M(jìn)程是從父進(jìn)程的fork復(fù)制出來(lái)的如果exec失敗后你使用exit()退出它會(huì)刷新stdio緩沖區(qū)把父進(jìn)程緩沖尚未輸出的數(shù)據(jù)也一并沖出去可能導(dǎo)致輸出重復(fù)更危險(xiǎn)的是它還會(huì)執(zhí)行父進(jìn)程注冊(cè)的atexit鉤子。正確的做法是使用_exit()它直接進(jìn)入內(nèi)核退出路徑不做任何用戶(hù)態(tài)清理這才是子進(jìn)程exec失敗的規(guī)范姿勢(shì)。2.4 為什么要先f(wàn)ork再exec這個(gè)問(wèn)題我在帶新人時(shí)被問(wèn)過(guò)很多次。有人覺(jué)得直接在當(dāng)前Shell進(jìn)程里exec不就行了反正Shell已經(jīng)完成了對(duì)命令的解析執(zhí)行完替換掉自己也沒(méi)啥問(wèn)題。問(wèn)題在于如果Shell在exec時(shí)被替換了它就沒(méi)法回到原來(lái)的命令行循環(huán)了。你敲一條命令Shell進(jìn)程就變成那條命令的進(jìn)程命令執(zhí)行完整個(gè)終端也死了不可能再給你第二次輸入提示符。所以必須有fork這層復(fù)制把執(zhí)行命令這件事隔離到子進(jìn)程里父進(jìn)程穩(wěn)定地留在外面等待。這句話(huà)是理解進(jìn)程模型的關(guān)鍵也直接引出后面的wait機(jī)制。3. 內(nèi)建命令為什么Shell必須“親自下場(chǎng)”3.1 cd暴露出的父子進(jìn)程問(wèn)題你寫(xiě)一個(gè)最簡(jiǎn)單的Shell解析用戶(hù)輸入forkexec執(zhí)行。跑起來(lái)后發(fā)現(xiàn)一個(gè)尷尬的問(wèn)題——cd命令失效了。你的Shell執(zhí)行cd /tmp調(diào)用execvp(cd, ...)系統(tǒng)提示找不到cd這個(gè)程序或者在某些系統(tǒng)上能運(yùn)行但你的Shell當(dāng)前目錄根本沒(méi)變。原因是cd并不是一個(gè)外部程序它其實(shí)是改變了Shell進(jìn)程自身的當(dāng)前工作目錄。chdir()這個(gè)系統(tǒng)調(diào)用只能影響調(diào)用它的進(jìn)程。如果你fork一個(gè)子進(jìn)程去chdir子進(jìn)程的工作目錄確實(shí)變了可子進(jìn)程干完活就退出了父進(jìn)程的Shell還是留在原來(lái)的目錄。這就像你想搬辦公室卻讓快遞員幫你搬——快遞員到了新辦公室你自己還在原地。所以cd必須由Shell進(jìn)程自己執(zhí)行不能派發(fā)給子進(jìn)程。這類(lèi)由Shell自己實(shí)現(xiàn)、不依賴(lài)外部可執(zhí)行文件的命令就叫內(nèi)建命令builtin command。3.2 內(nèi)建命令和外部命令的本質(zhì)區(qū)別這個(gè)問(wèn)題是面試高頻題。區(qū)別可以概括為外部命令通過(guò)fork()exec()在子進(jìn)程中運(yùn)行命令結(jié)束后Shell不受任何影響比如ls、grep、cat。內(nèi)建命令Shell進(jìn)程自己調(diào)用對(duì)應(yīng)函數(shù)處理不創(chuàng)建子進(jìn)程因此可以直接修改Shell的狀態(tài)比如cd、exit、export。為什么要區(qū)分因?yàn)橛行┎僮髦荒茉诋?dāng)前進(jìn)程內(nèi)完成任何子進(jìn)程都不行。影響當(dāng)前Shell的狀態(tài)的東西必然是內(nèi)建命令。順帶說(shuō)一句很多人以為echo一定是內(nèi)建命令其實(shí)不然。Bash里echo既有內(nèi)建版本也有一個(gè)位于/bin/echo的外部版本具體用哪個(gè)要看調(diào)用方式。在bash里直接敲echo用的是內(nèi)建版本但如果你寫(xiě)/bin/echo hello那就是外部程序。這一類(lèi)“二合一”命令挺容易踩坑的后面我會(huì)單獨(dú)說(shuō)。3.3 一個(gè)最小內(nèi)建命令集我把實(shí)現(xiàn)一個(gè)可用Shell需要的最少內(nèi)建命令列了出來(lái)并標(biāo)注了每個(gè)命令的核心職責(zé)命令為什么必須內(nèi)建核心動(dòng)作cd改變當(dāng)前目錄只能影響當(dāng)前進(jìn)程chdir()exit終止Shell進(jìn)程本身設(shè)置退出碼后exit()export設(shè)置環(huán)境變量必須影響當(dāng)前Shell及其后代setenv()unset刪除環(huán)境變量unsetenv()set查看/設(shè)置Shell變量變量表操作echo雖可不內(nèi)建但內(nèi)建避免依賴(lài)外部程序printf輸出實(shí)際寫(xiě)一個(gè)入門(mén)級(jí)Shell至少把cd、exit、export做掉否則這個(gè)Shell用戶(hù)連切換目錄和退出都做不到。3.4 內(nèi)建命令的一種優(yōu)雅實(shí)現(xiàn)內(nèi)建命令的實(shí)現(xiàn)思路很簡(jiǎn)單在執(zhí)行派發(fā)之前先用strcmp()比對(duì)命令名命中內(nèi)建列表就直接在當(dāng)前進(jìn)程調(diào)用對(duì)應(yīng)函數(shù)。int builtin_cmd(char **args) { if (args[0] NULL) return 0; if (strcmp(args[0], cd) 0) { const char *path args[1] ? args[1] : /root; if (chdir(path) ! 0) { perror(cd failed); return 1; } return 1; } if (strcmp(args[0], exit) 0) { int code args[1] ? atoi(args[1]) : 0; exit(code); } if (strcmp(args[0], export) 0) { if (args[1]) { char *eq strchr(args[1], ); if (eq) { *eq \0; setenv(args[1], eq 1, 1); } } return 1; } return 0; }這里我特別強(qiáng)調(diào)返回值的設(shè)計(jì)builtin_cmd返回1表示“這個(gè)命令已經(jīng)被我處理了”返回0表示“這不是內(nèi)建命令你再去走forkexec流程”。這個(gè)約定的好處是主循環(huán)代碼很干凈不用每加一個(gè)內(nèi)建命令就改一次主循環(huán)結(jié)構(gòu)。3.5 誤把內(nèi)建當(dāng)外置的經(jīng)典翻車(chē)現(xiàn)場(chǎng)我在給別人做代碼評(píng)審時(shí)見(jiàn)過(guò)一個(gè)很典型的錯(cuò)誤有人用system(cd /tmp)來(lái)實(shí)現(xiàn)自己的Shell的cd命令。system()內(nèi)部其實(shí)也是forkexec它啟動(dòng)了一個(gè)新的Shell去執(zhí)行cd /tmp當(dāng)你回到你自己的Shell進(jìn)程時(shí)目錄還是原來(lái)的。這個(gè)坑和fork子進(jìn)程去chdir完全一樣只是多了一層system的封裝更容易迷惑新手。還有一個(gè)不太容易發(fā)現(xiàn)的坑如果你的Shell接管了用戶(hù)的PATH那當(dāng)你執(zhí)行export PATH/custom/path之后再去外部命令ls會(huì)發(fā)現(xiàn)找不到命令了。所以寫(xiě)export內(nèi)建命令時(shí)一定要考慮它對(duì)外部命令搜索的影響。成熟的Shell會(huì)用安全路徑兜底不會(huì)讓你把自己鎖死。4. 手寫(xiě)Shell的主循環(huán)實(shí)現(xiàn)從字符流到命令執(zhí)行4.1 整體架構(gòu)讀入-解析-執(zhí)行一個(gè)Shell的運(yùn)行骨架本質(zhì)上是一個(gè)不斷循環(huán)的“讀取-解析-執(zhí)行”過(guò)程。我用一張流程拆解圖來(lái)描述邏輯順序Shell啟動(dòng)后打印提示符然后用getline()讀入一行字符串接著把這行字符串拆分成一個(gè)個(gè)單詞構(gòu)成argv數(shù)組最后根據(jù)argv[0]判斷走內(nèi)建命令還是外部命令。這個(gè)設(shè)計(jì)不是我想出來(lái)的它源自Unix經(jīng)典工具哲學(xué)一個(gè)程序只做一件事。所以我把它拆成了三個(gè)獨(dú)立函數(shù)shell_readline()、shell_parse()、shell_execute()每個(gè)函數(shù)職責(zé)單一調(diào)試時(shí)也方便定位問(wèn)題。4.2 命令解析的細(xì)節(jié)解析階段看起來(lái)簡(jiǎn)單就是把一行字符串按空白字符拆開(kāi)但細(xì)節(jié)處有講究。我用strtok()是因?yàn)樗堰B續(xù)的分隔符自動(dòng)折疊輸入里多幾個(gè)空格也不會(huì)產(chǎn)生空參數(shù)但它會(huì)修改原字符串所以我會(huì)先復(fù)制一份再拆。char **shell_parse(char *line) { int bufsize 64, position 0; char **tokens malloc(bufsize * sizeof(char *)); char *token strtok(line, \t\r\n); while (token ! NULL) { tokens[position] strdup(token); if (position bufsize) { bufsize 64; tokens realloc(tokens, bufsize * sizeof(char *)); } token strtok(NULL, \t\r\n); } tokens[position] NULL; return tokens; }注意兩個(gè)點(diǎn)第一strtok的分隔符集合要包含\t、\r、\n否則用戶(hù)敲完命令按回車(chē)\n會(huì)黏在最后一個(gè)單詞上導(dǎo)致命令名匹配失敗。第二每次拆分出來(lái)的token要用strdup()復(fù)制一份否則后面釋放line時(shí)這些指針就懸空了。4.3 執(zhí)行派發(fā)邏輯執(zhí)行函數(shù)是核心它只有兩個(gè)分支int shell_execute(char **args) { if (args[0] NULL) return 0; // 空命令直接略過(guò) if (builtin_cmd(args)) { return 1; } pid_t pid fork(); if (pid 0) { execvp(args[0], args); perror(myshell: command not found); _exit(127); } else if (pid 0) { perror(fork error); return 1; } int status; waitpid(pid, status, 0); return 1; }派發(fā)順序很關(guān)鍵先檢查內(nèi)建命令再走外部命令。如果反過(guò)來(lái)你敲exit時(shí)會(huì)先f(wàn)ork一個(gè)子進(jìn)程子進(jìn)程里執(zhí)行exit退出了父進(jìn)程還在等結(jié)果是Shell永遠(yuǎn)退不出去。這個(gè)順序問(wèn)題經(jīng)常有人搞反。4.4 主循環(huán)與退出碼回收主循環(huán)部分反而最簡(jiǎn)單int main(void) { char *line; char **args; int status 1; while (status) { printf(myshell ); fflush(stdout); line shell_readline(); args shell_parse(line); status shell_execute(args); free(args); free(line); } return 0; }這里有個(gè)容易被忽略的細(xì)節(jié)打印提示符之后要fflush(stdout)。因?yàn)閟tdout在終端下通常是行緩沖但如果你重定向到文件或管道就變成全緩沖了不刷新的的話(huà)提示符可能延遲出現(xiàn)。實(shí)測(cè)很多初學(xué)者寫(xiě)的Shell在管道環(huán)境下看不到提示符就是栽在這。4.5 邊緣情況的處理我在項(xiàng)目里還處理了幾個(gè)容易讓人懵的場(chǎng)景用戶(hù)直接按回車(chē)解析后args[0]是NULLshell_execute直接返回1Shell繼續(xù)循環(huán)不能報(bào)錯(cuò)退出。命令行末尾帶注釋符號(hào)簡(jiǎn)易版可以直接忽略這需要解析階段處理#。exit帶參數(shù)比如exit 3要能用atoi轉(zhuǎn)成退出碼否則用戶(hù)無(wú)法控制腳本的返回狀態(tài)。子進(jìn)程被信號(hào)殺掉waitpid返回后WIFSIGNALED(status)能檢查出來(lái)進(jìn)階版可以打印“被信號(hào)X終止”。這五個(gè)邊緣場(chǎng)景加起來(lái)不過(guò)二十行代碼但對(duì)穩(wěn)健性的提升非常明顯。很多人寫(xiě)完Shell跑幾個(gè)正常命令就覺(jué)得完事了結(jié)果一遇空輸入就段錯(cuò)誤一遇信號(hào)就exit不了全是在這些細(xì)節(jié)上失守。5. 實(shí)測(cè)復(fù)盤(pán)我踩過(guò)的坑與排查思路5.1 僵尸進(jìn)程是怎么產(chǎn)生的寫(xiě)Shell繞不開(kāi)waitpid。我第一次寫(xiě)完主循環(huán)后跑了幾個(gè)命令然后去開(kāi)另外一個(gè)終端執(zhí)行ps aux | grep myshell發(fā)現(xiàn)一堆defunct狀態(tài)的僵尸進(jìn)程。原因很直接父進(jìn)程沒(méi)有及時(shí)回收子進(jìn)程。我一開(kāi)始為了“簡(jiǎn)化”fork之后沒(méi)調(diào)用waitpid以為子進(jìn)程執(zhí)行完就自動(dòng)消失。實(shí)際上子進(jìn)程退出時(shí)內(nèi)核會(huì)把它的退出狀態(tài)保留在進(jìn)程表里直到父進(jìn)程調(diào)用wait()或waitpid()取走狀態(tài)為止。父進(jìn)程之前一直不調(diào)用wait那些子進(jìn)程就會(huì)一直占著進(jìn)程表項(xiàng)數(shù)量多了還會(huì)達(dá)到進(jìn)程數(shù)上限。修復(fù)方式是每個(gè)外部命令執(zhí)行完后同步waitpid這也符合簡(jiǎn)易Shell的語(yǔ)義——用戶(hù)輸了一條命令Shell等它執(zhí)行完再顯示下一條提示符。如果你只是想演示異步行為那就要用SIGCHLD信號(hào)加非阻塞wait那是后續(xù)擴(kuò)展的范疇當(dāng)前階段我把同步等待作為默認(rèn)行為。5.2 exec失敗后直接返回到父進(jìn)程代碼是個(gè)大坑這是我調(diào)試時(shí)最兇險(xiǎn)的一次。我起初在子進(jìn)程里這樣寫(xiě)pid_t pid fork(); if (pid 0) { execvp(args[0], args); // 某個(gè)錯(cuò)誤情況你沒(méi)寫(xiě) _exit perror(exec failed); return -1; // 這個(gè)return是致命的 }表面看沒(méi)什么問(wèn)題exec失敗打一行錯(cuò)誤返回-1。但注意這里的return返回的并不是“子進(jìn)程的main函數(shù)返回”而是返回到shell_execute()函數(shù)的調(diào)用棧里因?yàn)閒ork出來(lái)的子進(jìn)程和父進(jìn)程共享這份代碼子進(jìn)程在execvp失敗后回到shell_execute繼續(xù)往下走就會(huì)執(zhí)行后面的waitpid邏輯而子進(jìn)程此刻已經(jīng)是父進(jìn)程的執(zhí)行流最終可能導(dǎo)致整個(gè)Shell邏輯錯(cuò)亂甚至出現(xiàn)兩個(gè)進(jìn)程同時(shí)打印提示符。修正后的黃金法則是子進(jìn)程里exec如果失敗必須用_exit()結(jié)束自己永遠(yuǎn)不允許返回到公共代碼路徑。這一點(diǎn)怎么強(qiáng)調(diào)都不為過(guò)。5.3 echo、cd、exit這三個(gè)“偽內(nèi)置”最容易讓人迷惑我在實(shí)際使用中遇到一個(gè)很有意思的case。同事說(shuō)他的Shell能執(zhí)行cd但每次cd完再運(yùn)行pwd目錄確實(shí)變過(guò)來(lái)了可他手賤敲了一個(gè)/bin/cd /tmp結(jié)果目錄沒(méi)變他百思不得其解。其實(shí)我猜他的Shell在實(shí)現(xiàn)時(shí)就踩了一個(gè)坑它讓cd走了外部命令路徑——系統(tǒng)里碰巧存在/bin/cd這個(gè)程序的話(huà)fork子進(jìn)程去運(yùn)行它子進(jìn)程chdir成功了父進(jìn)程目錄不變。所以他直接敲cd沒(méi)變目錄只是被程序“看似運(yùn)行成功”騙了而我寫(xiě)的Shell則把cd強(qiáng)行放到了builtin_cmd迷宮里同樣遇到這種情況時(shí)才有基準(zhǔn)可以對(duì)比驗(yàn)證。還有一個(gè)容易踩的坑是echo。如果你把echo做成外部調(diào)用在子進(jìn)程里執(zhí)行/bin/echo hello輸出雖然能顯示但沒(méi)法處理echo -n不換行這類(lèi)帶選項(xiàng)的參數(shù)而且每次都要fork性能也差。所以我的項(xiàng)目里把echo也做了內(nèi)建直接用printf處理。5.4 交互模式下的緩沖亂序這是終端編程里很經(jīng)典的問(wèn)題Shell打印提示符“myshell ”然后執(zhí)行外部命令ls輸出的文件列表應(yīng)該顯示在提示符后面。但實(shí)測(cè)發(fā)現(xiàn)有時(shí)候文件列表跑到提示符前面去了順序完全顛倒。問(wèn)題出在提示符和ls的輸出緩沖方式不一樣。我的提示符用的是printfstdout在終端下是行緩沖而ls的輸出是直接寫(xiě)到stdout文件描述符的。如果我打印提示符后沒(méi)有fflush(stdout)提示符可能還躺在緩沖區(qū)里ls的輸出已經(jīng)先到了終端。修復(fù)方法很簡(jiǎn)單就是我在主循環(huán)里寫(xiě)的那個(gè)fflush(stdout)這個(gè)細(xì)節(jié)在書(shū)本上經(jīng)常被一筆帶過(guò)實(shí)際編碼時(shí)卻能把人折騰半天。5.5 子進(jìn)程繼承的“隱形遺產(chǎn)”最后說(shuō)一個(gè)代碼之外的問(wèn)題。子進(jìn)程通過(guò)fork繼承父進(jìn)程的所有文件描述符等資源如果你的Shell之前打開(kāi)過(guò)一個(gè)文件但沒(méi)關(guān)閉那么子進(jìn)程執(zhí)行g(shù)rep時(shí)也會(huì)持有這個(gè)fd一旦外部命令和這個(gè)文件有交互可能造成文件鎖沖突或者資源泄漏。在我自己的項(xiàng)目里我一開(kāi)始沒(méi)注意這個(gè)后來(lái)跑一個(gè)長(zhǎng)時(shí)間日志分析腳本發(fā)現(xiàn)打開(kāi)的文件數(shù)量爆炸排查到最后發(fā)現(xiàn)是Shell每個(gè)外部命令的fork都繼承了那個(gè)日志fd。解決方案是設(shè)計(jì)Shell時(shí)保持文件描述符的整潔該關(guān)閉的就關(guān)閉或者必要時(shí)在子進(jìn)程里顯式關(guān)閉無(wú)關(guān)fd。這也是一個(gè)能體現(xiàn)你系統(tǒng)編程功力的小細(xì)節(jié)。6. 下一步擴(kuò)展重定向、管道與真正的Shell還差什么6.1 重定向的本質(zhì)是文件描述符寫(xiě)完基礎(chǔ)的forkexec之后我自然而然地想加和重定向。一直以為重定向很神奇其實(shí)它的本質(zhì)就是文件描述符的重新綁定。比如ls out.txt意思是把ls的標(biāo)準(zhǔn)輸出從終端換成文件out.txt。實(shí)現(xiàn)時(shí)在子進(jìn)程執(zhí)行exec之前先用open()打開(kāi)目標(biāo)文件再用dup2(fd, STDOUT_FILENO)把文件描述符復(fù)制到1號(hào)位置然后關(guān)閉原fd最后再execvp。這樣新程序看到的stdout已經(jīng)指向文件了。if (redir_out ! NULL) { int fd open(redir_out, O_WRONLY | O_CREAT | O_TRUNC, 0644); dup2(fd, STDOUT_FILENO); close(fd); } execvp(args[0], args);這個(gè)方法同樣適用于輸入重定向只需把dup2的目標(biāo)換成STDIN_FILENO。學(xué)到了這個(gè)思路就覺(jué)得重定向一點(diǎn)神秘感都沒(méi)有了。6.2 管道是重定向的進(jìn)階管道ls | grep xxx的實(shí)現(xiàn)比單純重定向多了一個(gè)pipe()系統(tǒng)調(diào)用。pipe()會(huì)創(chuàng)建一對(duì)文件描述符一個(gè)讀端、一個(gè)寫(xiě)端。實(shí)現(xiàn)“左命令的輸出作為右命令的輸入”本質(zhì)就是讓左命令的stdout指向管道寫(xiě)端讓右命令的stdin指向管道讀端。int fd[2]; pipe(fd); if (pid_left 0) { dup2(fd[1], STDOUT_FILENO); close(fd[0]); close(fd[1]); execvp(left_args[0], left_args); } if (pid_right 0) { dup2(fd[0], STDIN_FILENO); close(fd[1]); close(fd[0]); execvp(right_args[0], right_args); }這里有個(gè)必須注意的坑管道兩端必須在fork之前創(chuàng)建這樣兩個(gè)子進(jìn)程都能繼承到這對(duì)fd而每個(gè)子進(jìn)程里要立刻關(guān)閉自己不需要的那一端否則會(huì)因?yàn)檫€有進(jìn)程持有寫(xiě)端導(dǎo)致讀端無(wú)法讀到EOF命令會(huì)卡住。6.3 作業(yè)控制是更深的江湖再往后如果你想讓Shell支持fg、bg這樣的作業(yè)控制光靠fork和exec就不夠了還得引入進(jìn)程組、會(huì)話(huà)、信號(hào)處理這些機(jī)制。作業(yè)控制的核心是把每個(gè)管道中的子進(jìn)程放進(jìn)一個(gè)獨(dú)立的進(jìn)程組然后用tcsetpgrp()把終端前臺(tái)進(jìn)程組切換過(guò)去這樣用戶(hù)按CtrlC時(shí)信號(hào)只會(huì)發(fā)給當(dāng)前前臺(tái)進(jìn)程組不會(huì)殃及Shell自己。我目前的簡(jiǎn)易Shell還沒(méi)有完整支持作業(yè)控制但每次寫(xiě)完一個(gè)擴(kuò)展都讓我更理解終端驅(qū)動(dòng)和進(jìn)程管理的關(guān)系。這個(gè)升級(jí)路徑是清晰的解析階段多識(shí)別一個(gè)執(zhí)行階段把同步wait換成waitpid加WNOHANG再加上一個(gè)作業(yè)表維護(hù)后臺(tái)進(jìn)程就搭起一個(gè)可以繼續(xù)深入的框架。6.4 從迷你Shell到主流Shell還差哪些東西把基礎(chǔ)版和真正的Bash對(duì)比一下你會(huì)發(fā)現(xiàn)差距主要集中在這幾塊豐富的語(yǔ)法比如if、for、while需要實(shí)現(xiàn)ast級(jí)別的語(yǔ)法解析。命令別名和函數(shù)定義需要在Shell內(nèi)部維護(hù)一個(gè)符號(hào)表。歷史記錄、自動(dòng)補(bǔ)全需要讀入歷史文件并做交互優(yōu)化。腳本執(zhí)行能力需要把整段腳本解析成AST后逐條執(zhí)行這已經(jīng)上升到解釋器層面了。我自己完成簡(jiǎn)易Shell之后最大的體會(huì)是寫(xiě)一個(gè)“能跑”的Shell只需要一小段代碼寫(xiě)一個(gè)“像樣”的Shell則可以一直寫(xiě)下去。很多人學(xué)完fork和exec覺(jué)得沒(méi)什么了不起但當(dāng)你真的親手把提示符、內(nèi)建命令、程序替換、退出碼這些串成一個(gè)閉環(huán)之后你會(huì)對(duì)“命令行是一個(gè)進(jìn)程還是多個(gè)進(jìn)程”“Shell為什么能改變環(huán)境”“管道為什么能讓命令協(xié)作”這些之前只停留在紙面上的問(wèn)題產(chǎn)生完全不一樣的理解。最后分享一個(gè)我在實(shí)際開(kāi)發(fā)中的小技巧調(diào)試Shell進(jìn)程時(shí)不要只盯著printf輸出多開(kāi)一個(gè)終端用ps -ef --forest觀(guān)察進(jìn)程樹(shù)看看它的父子關(guān)系是不是符合預(yù)期。很多詭異的Shell行為看一眼進(jìn)程樹(shù)就能當(dāng)場(chǎng)破案。這個(gè)習(xí)慣我用了很久每次排查進(jìn)程相關(guān)問(wèn)題都特別高效。