 50 講」——從本地模型部署到多智能體系統(tǒng)，一年省 87 萬 第6節(jié))
第 06 課 | 高性能推理vLLM 部署與 OpenAI 兼容接口Ollama 好用但它是「單線程」的——一次只能處理一個請求。當你跑多 Agent 系統(tǒng)的時候4 個 Agent 同時發(fā)請求Ollama 就只能排隊。vLLM 就是來解決這個問題的高并發(fā)、高吞吐、生產(chǎn)級推理引擎。為什么需要 vLLM前兩節(jié)課我們用 Ollama 跑起了本地模型體驗不錯。但 Ollama 有一個明顯的局限它是一次只處理一個請求的。當你跑一個簡單的對話時這沒問題。但當你在后面構(gòu)建多 Agent 系統(tǒng)時問題就來了——4 個 Agent 同時向模型發(fā)請求Ollama 只能一個一個處理其他 3 個得排隊等著。這就好比一個餐廳只有一個廚師不管來了多少客人菜只能一道一道做?？腿松俚臅r候沒問題客人一多就全堵住了。vLLM就是來解決這個問題的。它是一個高性能的 LLM 推理引擎核心特性包括連續(xù)批處理Continuous Batching動態(tài)合并多個請求一起處理PagedAttention高效利用顯存支持更長的上下文高吞吐量比 Ollama 快 2-4 倍特別是在并發(fā)場景下OpenAI 兼容 API代碼幾乎不用改切換后端就行打個比方如果 Ollama 是一個廚師vLLM 就是一個廚房——多個廚師同時做菜還能動態(tài)調(diào)整誰先做誰后做。對于我們的教程來說前期開發(fā)用 Ollama 就夠了。但當你開始跑多 Agent 系統(tǒng)場景三的時候vLLM 的高并發(fā)能力就派上用場了。vLLM 核心特性先簡單了解 vLLM 的兩個核心技術(shù)。你不需要成為專家但理解它們有助于你做出正確的架構(gòu)選擇。PagedAttention傳統(tǒng)的 LLM 推理會把整個 KV Cache注意力機制的中間結(jié)果放在連續(xù)的顯存空間里。但顯存是稀缺資源連續(xù)的顯存空間更難找。PagedAttention 借鑒了操作系統(tǒng)虛擬內(nèi)存的思想把 KV Cache 分成固定大小的「頁」不需要連續(xù)存儲。這樣顯存利用率大幅提升能支持更長的上下文和更大的批處理。連續(xù)批處理傳統(tǒng)批處理是等一個批次的所有請求都完成后才開始處理下一個批次。如果批次里有一個請求特別長其他請求就得等它完成。連續(xù)批處理更聰明它動態(tài)地把新請求加入正在處理的批次把已完成的請求移出。這樣 GPU 始終在滿負荷工作吞吐量大幅提升。vLLM 連續(xù)批處理請求 1 2 3一起處理總耗時 6sOllama 單請求請求 1處理 5s請求 2處理 5s請求 3處理 5s圖 1Ollama 單請求 vs vLLM 連續(xù)批處理安裝 vLLMvLLM 的安裝比 Ollama 稍微復(fù)雜一點因為它需要 CUDA 環(huán)境。首先確認你的 NVIDIA 驅(qū)動和 CUDA 版本nvidia-smi看輸出里的CUDA Version字段應(yīng)該是 12.x 以上。然后安裝 vLLMuv pip install vllm如果你遇到安裝問題可能是因為 Windows 上 vLLM 的支持不如 Linux 完善。vLLM 官方主要支持 LinuxWindows 上可能需要通過 WSL2 來運行。如果你的 Windows 環(huán)境安裝 vLLM 有困難不用擔心——Ollama 已經(jīng)足夠支撐我們學(xué)完大部分課程。vLLM 主要在后期的多 Agent 高并發(fā)場景才體現(xiàn)出優(yōu)勢。你可以先把 Ollama 用熟后面需要 vLLM 的時候再裝。啟動 vLLM 服務(wù)安裝成功后啟動 vLLM 服務(wù)python-m vllm.entrypoints.openai.api_server \--model Qwen/Qwen2-7B-Instruct \--host 0.0.0.0 \--port 8000 \--max-model-len 8192 \--gpu-memory-utilization 0.85參數(shù)說明--model模型名稱vLLM 會自動從 HuggingFace 下載--host 0.0.0.0監(jiān)聽所有網(wǎng)絡(luò)接口--port 8000服務(wù)端口--max-model-len 8192最大上下文長度--gpu-memory-utilization 0.85顯存使用率上限留 15% 給系統(tǒng)服務(wù)啟動后vLLM 會提供一個 OpenAI 兼容的 API地址是http://localhost:8000。驗證一下curl http://localhost:8000/v1/models如果返回模型列表就說明服務(wù)啟動成功了。用 Python 調(diào)用 vLLMvLLM 的 API 和 Ollama 幾乎一樣——都是 OpenAI 兼容格式。這意味著你之前寫的調(diào)用代碼幾乎不用改就能用。# vllm_chat.py - 用 Python 調(diào)用 vLLM# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsdefchat_vllm(prompt:str,model:strQwen/Qwen2-7B-Instruct)-str:調(diào)用 vLLM 的 OpenAI 兼容 APIurlhttp://localhost:8000/v1/chat/completionspayload{model:model,messages:[{role:user,content:prompt}],temperature:0.7,}responserequests.post(url,jsonpayload,timeout120)response.raise_for_status()resultresponse.json()returnresult[choices][0][message][content]defmain():replychat_vllm(用 3 句話總結(jié)一下 AI Agent 的核心價值。)print(fvLLM 回復(fù):\n{reply})if__name____main__:main()看到了嗎代碼和第 4 課的ollama_chat.py幾乎一模一樣只是 URL 從localhost:11434變成了localhost:8000。這就是 OpenAI 兼容 API 的好處——切換后端幾乎零成本。性能對比vLLM vs Ollama我們用腳本測試一下 vLLM 和 Ollama 的性能差異。# vllm_benchmark.py - vLLM vs Ollama 性能對比# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsimporttimeimportconcurrent.futuresdefsingle_request(url:str,model:str,prompt:str)-dict:單次請求測試payload{model:model,messages:[{role:user,content:prompt}],temperature:0.7,}starttime.time()responserequests.post(url,jsonpayload,timeout120)elapsedtime.time()-start contentresponse.json()[choices][0][message][content]tokenslen(content)/2return{elapsed:round(elapsed,2),tokens_per_second:round(tokens/elapsed,1),}defconcurrent_requests(url:str,model:str,prompt:str,n:int5)-dict:并發(fā)請求測試starttime.time()withconcurrent.futures.ThreadPoolExecutor(max_workersn)asexecutor:futures[executor.submit(single_request,url,model,prompt)for_inrange(n)]results[f.result()forfinfutures]total_elapsedtime.time()-start avg_tpssum(r[tokens_per_second]forrinresults)/len(results)return{total_elapsed:round(total_elapsed,2),avg_tokens_per_second:round(avg_tps,1),requests:n,}defmain():prompt用 200 字介紹一下人工智能的發(fā)展歷程。print(*60)print( vLLM vs Ollama 性能對比)print(*60)# 測試配置configs[{name:Ollama (Qwen2 7B),url:http://localhost:11434/v1/chat/completions,model:qwen2:7b},{name:vLLM (Qwen2 7B),url:http://localhost:8000/v1/chat/completions,model:Qwen/Qwen2-7B-Instruct},]forconfiginconfigs:print(f\n[{config[name]}])# 單請求測試try:resultsingle_request(config[url],config[model],prompt)print(f 單請求:{result[elapsed]}s,{result[tokens_per_second]}tokens/s)exceptExceptionase:print(f 單請求: [錯誤]{e})# 并發(fā)測試5 個并發(fā)try:resultconcurrent_requests(config[url],config[model],prompt,n5)print(f 5 并發(fā): 總耗時{result[total_elapsed]}s, 平均{result[avg_tokens_per_second]}tokens/s)exceptExceptionase:print(f 5 并發(fā): [錯誤]{e})if__name____main__:main()在我的 RTX 3090 上測試結(jié)果如下測試項OllamavLLMvLLM 提升單請求速度~45 tokens/s~50 tokens/s11%5 并發(fā)總耗時~25 秒~7 秒3.6x5 并發(fā)平均速度~9 tokens/s~36 tokens/s4x關(guān)鍵發(fā)現(xiàn)單請求速度vLLM 比 Ollama 略快但差距不大11%。并發(fā)場景vLLM 的優(yōu)勢非常明顯。5 個并發(fā)請求vLLM 的總耗時只有 Ollama 的 1/3.6平均速度是 Ollama 的 4 倍。這就是連續(xù)批處理的威力。當多個請求同時到達時vLLM 能把它們合并成一個批次一起處理GPU 利用率大幅提升。Ollama vs vLLM如何選擇是否你的場景是什么本地開發(fā)/個人使用生產(chǎn)部署/多 Agent用 Ollama簡單、快速、夠用需要高并發(fā)用 vLLM高吞吐、低延遲Ollama 也行簡單優(yōu)先圖 2Ollama vs vLLM 選擇決策樹維度OllamavLLM安裝難度簡單一行命令中等需要 CUDA使用難度簡單中等單請求速度好略好并發(fā)能力弱串行處理強連續(xù)批處理適用場景本地開發(fā)、個人使用生產(chǎn)部署、多 AgentWindows 支持好一般建議 WSL2我的推薦開發(fā)階段用 Ollama。簡單、快速、夠用。生產(chǎn)部署用 vLLM。高并發(fā)、高吞吐、更穩(wěn)定。教程學(xué)習(xí)前期用 Ollama后面多 Agent 場景再切換到 vLLM。統(tǒng)一 LLM 客戶端設(shè)計為了讓代碼能在 Ollama 和 vLLM 之間無縫切換我們設(shè)計一個統(tǒng)一的 LLM 客戶端。# llm_client.py - 統(tǒng)一 LLM 客戶端# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsfromconfigimportLLM_BACKEND,LLM_MODEL,LLM_BASE_URL,LLM_API_KEYclassLLMClient:統(tǒng)一的 LLM 客戶端支持 Ollama 和 vLLMdef__init__(self,backend:strNone,model:strNone,base_url:strNone):self.backendbackendorLLM_BACKEND self.modelmodelorLLM_MODEL self.base_urlbase_urlorLLM_BASE_URL self.api_keyLLM_API_KEYdefchat(self,messages:list,temperature:float0.7)-str:發(fā)送聊天請求 Args: messages: 消息列表 [{role: user, content: ...}] temperature: 溫度參數(shù) Returns: 模型回復(fù)文本 urlf{self.base_url}/chat/completionsheaders{}ifself.api_keyandself.api_key!ollama:headers[Authorization]fBearer{self.api_key}payload{model:self.model,messages:messages,temperature:temperature,}responserequests.post(url,jsonpayload,headersheaders,timeout120)response.raise_for_status()resultresponse.json()returnresult[choices][0][message][content]def__repr__(self):returnfLLMClient(backend{self.backend}, model{self.model})defmain():# 創(chuàng)建客戶端自動讀取配置clientLLMClient()print(f客戶端:{client})# 測試對話messages[{role:system,content:你是一個專業(yè)的市場分析師。},{role:user,content:用 2 句話總結(jié) AI Agent 的核心價值。}]replyclient.chat(messages)print(f\n回復(fù):\n{reply})if__name____main__:main()這個客戶端通過配置文件自動選擇后端。想切換 Ollama 和 vLLM只需要改.env文件里的LLM_BASE_URL# 用 OllamaLLM_BASE_URLhttp://localhost:11434/v1# 用 vLLMLLM_BASE_URLhttp://localhost:8000/v1代碼完全不用改。這就是統(tǒng)一接口設(shè)計的好處。小結(jié)與預(yù)告這節(jié)課我們學(xué)習(xí)了 vLLM——一個生產(chǎn)級的高性能推理引擎。核心收獲vLLM 的優(yōu)勢連續(xù)批處理、PagedAttention、高并發(fā)性能對比并發(fā)場景下 vLLM 比 Ollama 快 3-4 倍統(tǒng)一客戶端封裝了 LLMClient支持 Ollama 和 vLLM 無縫切換現(xiàn)在你有了兩個推理引擎可選Ollama 適合開發(fā)vLLM 適合生產(chǎn)。后面的課程中我們會根據(jù)場景靈活切換。下一節(jié)課我們會把 Ollama、vLLM、OpenAI API 統(tǒng)一封裝成一個客戶端通過配置文件一鍵切換。這是整個教程的基礎(chǔ)設(shè)施——后面所有的 Agent 調(diào)用都通過這個客戶端完成。我們下一課見。系列教程導(dǎo)航上一篇第 05 課 | 模型量化與優(yōu)化讓 14B 模型也能流暢運行下一篇第 07 課 | 統(tǒng)一 LLM 客戶端本地與云端 API 無縫切換本系列共 50 課持續(xù)更新中。關(guān)注我不迷路。 「AI Agent 全棧開發(fā) 50 講」——從本地模型部署到多智能體系統(tǒng)，一年省 87 萬 第6節(jié)
第 06 課 | 高性能推理vLLM 部署與 OpenAI 兼容接口Ollama 好用但它是「單線程」的——一次只能處理一個請求。當你跑多 Agent 系統(tǒng)的時候4 個 Agent 同時發(fā)請求Ollama 就只能排隊。vLLM 就是來解決這個問題的高并發(fā)、高吞吐、生產(chǎn)級推理引擎。為什么需要 vLLM前兩節(jié)課我們用 Ollama 跑起了本地模型體驗不錯。但 Ollama 有一個明顯的局限它是一次只處理一個請求的。當你跑一個簡單的對話時這沒問題。但當你在后面構(gòu)建多 Agent 系統(tǒng)時問題就來了——4 個 Agent 同時向模型發(fā)請求Ollama 只能一個一個處理其他 3 個得排隊等著。這就好比一個餐廳只有一個廚師不管來了多少客人菜只能一道一道做?？腿松俚臅r候沒問題客人一多就全堵住了。vLLM就是來解決這個問題的。它是一個高性能的 LLM 推理引擎核心特性包括連續(xù)批處理Continuous Batching動態(tài)合并多個請求一起處理PagedAttention高效利用顯存支持更長的上下文高吞吐量比 Ollama 快 2-4 倍特別是在并發(fā)場景下OpenAI 兼容 API代碼幾乎不用改切換后端就行打個比方如果 Ollama 是一個廚師vLLM 就是一個廚房——多個廚師同時做菜還能動態(tài)調(diào)整誰先做誰后做。對于我們的教程來說前期開發(fā)用 Ollama 就夠了。但當你開始跑多 Agent 系統(tǒng)場景三的時候vLLM 的高并發(fā)能力就派上用場了。vLLM 核心特性先簡單了解 vLLM 的兩個核心技術(shù)。你不需要成為專家但理解它們有助于你做出正確的架構(gòu)選擇。PagedAttention傳統(tǒng)的 LLM 推理會把整個 KV Cache注意力機制的中間結(jié)果放在連續(xù)的顯存空間里。但顯存是稀缺資源連續(xù)的顯存空間更難找。PagedAttention 借鑒了操作系統(tǒng)虛擬內(nèi)存的思想把 KV Cache 分成固定大小的「頁」不需要連續(xù)存儲。這樣顯存利用率大幅提升能支持更長的上下文和更大的批處理。連續(xù)批處理傳統(tǒng)批處理是等一個批次的所有請求都完成后才開始處理下一個批次。如果批次里有一個請求特別長其他請求就得等它完成。連續(xù)批處理更聰明它動態(tài)地把新請求加入正在處理的批次把已完成的請求移出。這樣 GPU 始終在滿負荷工作吞吐量大幅提升。vLLM 連續(xù)批處理請求 1 2 3一起處理總耗時 6sOllama 單請求請求 1處理 5s請求 2處理 5s請求 3處理 5s圖 1Ollama 單請求 vs vLLM 連續(xù)批處理安裝 vLLMvLLM 的安裝比 Ollama 稍微復(fù)雜一點因為它需要 CUDA 環(huán)境。首先確認你的 NVIDIA 驅(qū)動和 CUDA 版本nvidia-smi看輸出里的CUDA Version字段應(yīng)該是 12.x 以上。然后安裝 vLLMuv pip install vllm如果你遇到安裝問題可能是因為 Windows 上 vLLM 的支持不如 Linux 完善。vLLM 官方主要支持 LinuxWindows 上可能需要通過 WSL2 來運行。如果你的 Windows 環(huán)境安裝 vLLM 有困難不用擔心——Ollama 已經(jīng)足夠支撐我們學(xué)完大部分課程。vLLM 主要在后期的多 Agent 高并發(fā)場景才體現(xiàn)出優(yōu)勢。你可以先把 Ollama 用熟后面需要 vLLM 的時候再裝。啟動 vLLM 服務(wù)安裝成功后啟動 vLLM 服務(wù)python-m vllm.entrypoints.openai.api_server \--model Qwen/Qwen2-7B-Instruct \--host 0.0.0.0 \--port 8000 \--max-model-len 8192 \--gpu-memory-utilization 0.85參數(shù)說明--model模型名稱vLLM 會自動從 HuggingFace 下載--host 0.0.0.0監(jiān)聽所有網(wǎng)絡(luò)接口--port 8000服務(wù)端口--max-model-len 8192最大上下文長度--gpu-memory-utilization 0.85顯存使用率上限留 15% 給系統(tǒng)服務(wù)啟動后vLLM 會提供一個 OpenAI 兼容的 API地址是http://localhost:8000。驗證一下curl http://localhost:8000/v1/models如果返回模型列表就說明服務(wù)啟動成功了。用 Python 調(diào)用 vLLMvLLM 的 API 和 Ollama 幾乎一樣——都是 OpenAI 兼容格式。這意味著你之前寫的調(diào)用代碼幾乎不用改就能用。# vllm_chat.py - 用 Python 調(diào)用 vLLM# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsdefchat_vllm(prompt:str,model:strQwen/Qwen2-7B-Instruct)-str:調(diào)用 vLLM 的 OpenAI 兼容 APIurlhttp://localhost:8000/v1/chat/completionspayload{model:model,messages:[{role:user,content:prompt}],temperature:0.7,}responserequests.post(url,jsonpayload,timeout120)response.raise_for_status()resultresponse.json()returnresult[choices][0][message][content]defmain():replychat_vllm(用 3 句話總結(jié)一下 AI Agent 的核心價值。)print(fvLLM 回復(fù):\n{reply})if__name____main__:main()看到了嗎代碼和第 4 課的ollama_chat.py幾乎一模一樣只是 URL 從localhost:11434變成了localhost:8000。這就是 OpenAI 兼容 API 的好處——切換后端幾乎零成本。性能對比vLLM vs Ollama我們用腳本測試一下 vLLM 和 Ollama 的性能差異。# vllm_benchmark.py - vLLM vs Ollama 性能對比# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsimporttimeimportconcurrent.futuresdefsingle_request(url:str,model:str,prompt:str)-dict:單次請求測試payload{model:model,messages:[{role:user,content:prompt}],temperature:0.7,}starttime.time()responserequests.post(url,jsonpayload,timeout120)elapsedtime.time()-start contentresponse.json()[choices][0][message][content]tokenslen(content)/2return{elapsed:round(elapsed,2),tokens_per_second:round(tokens/elapsed,1),}defconcurrent_requests(url:str,model:str,prompt:str,n:int5)-dict:并發(fā)請求測試starttime.time()withconcurrent.futures.ThreadPoolExecutor(max_workersn)asexecutor:futures[executor.submit(single_request,url,model,prompt)for_inrange(n)]results[f.result()forfinfutures]total_elapsedtime.time()-start avg_tpssum(r[tokens_per_second]forrinresults)/len(results)return{total_elapsed:round(total_elapsed,2),avg_tokens_per_second:round(avg_tps,1),requests:n,}defmain():prompt用 200 字介紹一下人工智能的發(fā)展歷程。print(*60)print( vLLM vs Ollama 性能對比)print(*60)# 測試配置configs[{name:Ollama (Qwen2 7B),url:http://localhost:11434/v1/chat/completions,model:qwen2:7b},{name:vLLM (Qwen2 7B),url:http://localhost:8000/v1/chat/completions,model:Qwen/Qwen2-7B-Instruct},]forconfiginconfigs:print(f\n[{config[name]}])# 單請求測試try:resultsingle_request(config[url],config[model],prompt)print(f 單請求:{result[elapsed]}s,{result[tokens_per_second]}tokens/s)exceptExceptionase:print(f 單請求: [錯誤]{e})# 并發(fā)測試5 個并發(fā)try:resultconcurrent_requests(config[url],config[model],prompt,n5)print(f 5 并發(fā): 總耗時{result[total_elapsed]}s, 平均{result[avg_tokens_per_second]}tokens/s)exceptExceptionase:print(f 5 并發(fā): [錯誤]{e})if__name____main__:main()在我的 RTX 3090 上測試結(jié)果如下測試項OllamavLLMvLLM 提升單請求速度~45 tokens/s~50 tokens/s11%5 并發(fā)總耗時~25 秒~7 秒3.6x5 并發(fā)平均速度~9 tokens/s~36 tokens/s4x關(guān)鍵發(fā)現(xiàn)單請求速度vLLM 比 Ollama 略快但差距不大11%。并發(fā)場景vLLM 的優(yōu)勢非常明顯。5 個并發(fā)請求vLLM 的總耗時只有 Ollama 的 1/3.6平均速度是 Ollama 的 4 倍。這就是連續(xù)批處理的威力。當多個請求同時到達時vLLM 能把它們合并成一個批次一起處理GPU 利用率大幅提升。Ollama vs vLLM如何選擇是否你的場景是什么本地開發(fā)/個人使用生產(chǎn)部署/多 Agent用 Ollama簡單、快速、夠用需要高并發(fā)用 vLLM高吞吐、低延遲Ollama 也行簡單優(yōu)先圖 2Ollama vs vLLM 選擇決策樹維度OllamavLLM安裝難度簡單一行命令中等需要 CUDA使用難度簡單中等單請求速度好略好并發(fā)能力弱串行處理強連續(xù)批處理適用場景本地開發(fā)、個人使用生產(chǎn)部署、多 AgentWindows 支持好一般建議 WSL2我的推薦開發(fā)階段用 Ollama。簡單、快速、夠用。生產(chǎn)部署用 vLLM。高并發(fā)、高吞吐、更穩(wěn)定。教程學(xué)習(xí)前期用 Ollama后面多 Agent 場景再切換到 vLLM。統(tǒng)一 LLM 客戶端設(shè)計為了讓代碼能在 Ollama 和 vLLM 之間無縫切換我們設(shè)計一個統(tǒng)一的 LLM 客戶端。# llm_client.py - 統(tǒng)一 LLM 客戶端# AI Agent 全棧開發(fā) 50 講 - 第 06 課importrequestsfromconfigimportLLM_BACKEND,LLM_MODEL,LLM_BASE_URL,LLM_API_KEYclassLLMClient:統(tǒng)一的 LLM 客戶端支持 Ollama 和 vLLMdef__init__(self,backend:strNone,model:strNone,base_url:strNone):self.backendbackendorLLM_BACKEND self.modelmodelorLLM_MODEL self.base_urlbase_urlorLLM_BASE_URL self.api_keyLLM_API_KEYdefchat(self,messages:list,temperature:float0.7)-str:發(fā)送聊天請求 Args: messages: 消息列表 [{role: user, content: ...}] temperature: 溫度參數(shù) Returns: 模型回復(fù)文本 urlf{self.base_url}/chat/completionsheaders{}ifself.api_keyandself.api_key!ollama:headers[Authorization]fBearer{self.api_key}payload{model:self.model,messages:messages,temperature:temperature,}responserequests.post(url,jsonpayload,headersheaders,timeout120)response.raise_for_status()resultresponse.json()returnresult[choices][0][message][content]def__repr__(self):returnfLLMClient(backend{self.backend}, model{self.model})defmain():# 創(chuàng)建客戶端自動讀取配置clientLLMClient()print(f客戶端:{client})# 測試對話messages[{role:system,content:你是一個專業(yè)的市場分析師。},{role:user,content:用 2 句話總結(jié) AI Agent 的核心價值。}]replyclient.chat(messages)print(f\n回復(fù):\n{reply})if__name____main__:main()這個客戶端通過配置文件自動選擇后端。想切換 Ollama 和 vLLM只需要改.env文件里的LLM_BASE_URL# 用 OllamaLLM_BASE_URLhttp://localhost:11434/v1# 用 vLLMLLM_BASE_URLhttp://localhost:8000/v1代碼完全不用改。這就是統(tǒng)一接口設(shè)計的好處。小結(jié)與預(yù)告這節(jié)課我們學(xué)習(xí)了 vLLM——一個生產(chǎn)級的高性能推理引擎。核心收獲vLLM 的優(yōu)勢連續(xù)批處理、PagedAttention、高并發(fā)性能對比并發(fā)場景下 vLLM 比 Ollama 快 3-4 倍統(tǒng)一客戶端封裝了 LLMClient支持 Ollama 和 vLLM 無縫切換現(xiàn)在你有了兩個推理引擎可選Ollama 適合開發(fā)vLLM 適合生產(chǎn)。后面的課程中我們會根據(jù)場景靈活切換。下一節(jié)課我們會把 Ollama、vLLM、OpenAI API 統(tǒng)一封裝成一個客戶端通過配置文件一鍵切換。這是整個教程的基礎(chǔ)設(shè)施——后面所有的 Agent 調(diào)用都通過這個客戶端完成。我們下一課見。系列教程導(dǎo)航上一篇第 05 課 | 模型量化與優(yōu)化讓 14B 模型也能流暢運行下一篇第 07 課 | 統(tǒng)一 LLM 客戶端本地與云端 API 無縫切換本系列共 50 課持續(xù)更新中。關(guān)注我不迷路。