答：LangChain4j+Qwen快速上手指南)
最近在給團(tuán)隊(duì)內(nèi)部工具加智能問(wèn)答能力翻遍Java生態(tài)發(fā)現(xiàn)LangChain4j是接入大模型最順手的一個(gè)框架搭配Qwen問(wèn)答場(chǎng)景5分鐘就能跑通一個(gè)最小demo。這篇文章就是那5分鐘的完整記錄——從開(kāi)通模型服務(wù)、配置Maven依賴(lài)到寫(xiě)出第一行可運(yùn)行的問(wèn)答代碼再把過(guò)程中遇到的環(huán)境變量、超時(shí)、依賴(lài)沖突這些坑一并講清楚。如果你是Java開(kāi)發(fā)者想在項(xiàng)目里接大模型但還沒(méi)動(dòng)手這篇可以直接當(dāng)操作手冊(cè)用。就算你之前完全沒(méi)接觸過(guò)LangChain4j只要照著操作大概率也能一次跑通。1. 為什么在Java項(xiàng)目里選擇 LangChain4j Qwen1.1 LangChain4j填補(bǔ)了Java生態(tài)的“LLM應(yīng)用層”空缺P(pán)ython圈子里搞LLM應(yīng)用開(kāi)發(fā)隨手就是LangChain、LlamaIndex各種模型調(diào)用、鏈?zhǔn)骄幣拧⒐ぞ哒{(diào)用、RAG組件一抓一大把。但Java圈長(zhǎng)期處于一種非常原始的狀態(tài)想接大模型要么直接在業(yè)務(wù)代碼里拼HTTP請(qǐng)求要么去寫(xiě)某家模型廠商SDK的方法調(diào)用。這么搞當(dāng)然也能跑但問(wèn)題很快就來(lái)了。第一個(gè)問(wèn)題是耦合。今天接的是A模型的SDK明天想換B模型業(yè)務(wù)代碼就要跟著改一大片。第二個(gè)問(wèn)題是重復(fù)造輪子。多輪對(duì)話要自己維護(hù)歷史消息流式輸出要自己處理SSE事件流工具調(diào)用要自己做JSON參數(shù)解析和拼接模型名、溫度、最大token這些參數(shù)散落在各處。這些事跟業(yè)務(wù)邏輯一點(diǎn)關(guān)系都沒(méi)有但不做還不行。LangChain4j最核心的價(jià)值是它把這層臟活累活抽象掉了。它在模型層定義了ChatLanguageModel這樣一個(gè)統(tǒng)一接口你面向接口編程具體用哪家模型用哪個(gè)builder去構(gòu)造都只是啟動(dòng)時(shí)的配置。這個(gè)設(shè)計(jì)跟JDBC的思路很像應(yīng)用層寫(xiě)SQL至于背后是MySQL還是PostgreSQL只要換一個(gè)驅(qū)動(dòng)就行。我項(xiàng)目里最開(kāi)始用的是Qwen后面如果要切到其他兼容OpenAI協(xié)議的服務(wù)Core代碼幾乎不用動(dòng)換個(gè)BaseUrl和模型名就完事了。除了模型抽象LangChain4j還提供了提示詞模板、聊天記憶ChatMemory、工具調(diào)用Tool、向量檢索Embedding這一整套東西。對(duì)于要做知識(shí)庫(kù)問(wèn)答、企業(yè)內(nèi)部助手這類(lèi)場(chǎng)景這些能力不是錦上添花而是剛需。1.2 問(wèn)答場(chǎng)景選Qwen本質(zhì)選的是“省心”模型服務(wù)這塊我最初在幾個(gè)主流選項(xiàng)之間猶豫過(guò)最后選了Qwen核心原因是三件事中文效果、成本、訪問(wèn)路徑。先說(shuō)中文效果。問(wèn)答類(lèi)場(chǎng)景對(duì)中文理解和生成質(zhì)量要求很高Qwen系模型在中文語(yǔ)料上的表現(xiàn)是有明顯優(yōu)勢(shì)的。團(tuán)隊(duì)內(nèi)部工具里問(wèn)的都是帶業(yè)務(wù)語(yǔ)境的中文問(wèn)題拿qwen-plus實(shí)測(cè)下來(lái)的回答質(zhì)量放在大多數(shù)業(yè)務(wù)問(wèn)答場(chǎng)景里都?jí)蛴?。再說(shuō)成本。DashScope平臺(tái)對(duì)新用戶有免費(fèi)額度個(gè)人學(xué)習(xí)、寫(xiě)demo階段幾乎不花錢(qián)。到了生產(chǎn)環(huán)境qwen-turbo價(jià)格非常低qwen-plus也遠(yuǎn)低于一些國(guó)際模型。對(duì)于想快速驗(yàn)證“大模型問(wèn)答能不能解決業(yè)務(wù)問(wèn)題”的團(tuán)隊(duì)來(lái)說(shuō)這個(gè)試錯(cuò)成本非常友好。最后是訪問(wèn)路徑。Qwen通過(guò)DashScope的OpenAI兼容模式對(duì)外開(kāi)放使用的正是LangChain4j里langchain4j-open-ai模塊所實(shí)現(xiàn)的那套協(xié)議。不需要單獨(dú)找適配器不需要寫(xiě)專(zhuān)用客戶端一個(gè)OpenAiChatModel就把模型服務(wù)拉起來(lái)了。這一點(diǎn)很重要如果團(tuán)隊(duì)后續(xù)自己在內(nèi)網(wǎng)用vLLM部署了一個(gè)開(kāi)源模型只要那個(gè)服務(wù)也暴露了OpenAI兼容接口同一套LangChain4j代碼可以直接切過(guò)去。模型層做了完全隔離這才是靠譜的架構(gòu)。2. 跑通前的準(zhǔn)備開(kāi)通DashScope與項(xiàng)目搭建2.1 開(kāi)通DashScope并創(chuàng)建API Key第一步是去模型服務(wù)平臺(tái)創(chuàng)建API Key。這里直接說(shuō)步驟任何人都能照做打開(kāi)DashScope控制臺(tái)用賬號(hào)登錄。新賬號(hào)需要完成實(shí)名認(rèn)證不做完這一步后面沒(méi)法開(kāi)通模型服務(wù)。在控制臺(tái)首頁(yè)找到“模型服務(wù)”相關(guān)入口進(jìn)入后開(kāi)通服務(wù)。Qwen系列默認(rèn)就能用不需要單獨(dú)申請(qǐng)白名單。進(jìn)入API-KEY管理頁(yè)面點(diǎn)擊創(chuàng)建API Key。創(chuàng)建的時(shí)候會(huì)生成一串以sk-開(kāi)頭的密鑰。這里有個(gè)細(xì)節(jié)Key創(chuàng)建完成后列表里只會(huì)顯示一次完整值之后只能看到掩碼。所以建議創(chuàng)建完立刻復(fù)制到本地密碼管理器里保存。拿到Key之后先別急著寫(xiě)代碼。我的建議是立刻把它配成環(huán)境變量而不是直接貼在代碼里。命令行執(zhí)行export DASHSCOPE_API_KEYsk-xxx如果你用的是IDEA這類(lèi)IDE直接運(yùn)行的話環(huán)境變量還需要在Run Configuration里配?？梢栽贓nvironment variables一欄追加DASHSCOPE_API_KEYsk-xxx。這個(gè)細(xì)節(jié)很多人會(huì)踩坑明明在終端里export了一從IDE跑就報(bào)401查半天才發(fā)現(xiàn)是IDE拿到的環(huán)境變量是空的。Key到手之后記得兩件事第一永遠(yuǎn)不要提交到Git倉(cāng)庫(kù)哪怕只是demo也建議用環(huán)境變量或本地配置文件的忽略機(jī)制第二別把Key貼到任何公開(kāi)群聊里。這類(lèi)密鑰泄露以后很麻煩輕則被薅額度重則賬戶欠費(fèi)。2.2 用一個(gè)Maven項(xiàng)目把依賴(lài)?yán)饋?lái)5分鐘跑通不需要Spring Boot不需要復(fù)雜工程結(jié)構(gòu)一個(gè)純Maven項(xiàng)目就夠。JDK版本建議用17或者更高寫(xiě)records、var、switch表達(dá)式都方便而且LangChain4j對(duì)Java 17的支持非常穩(wěn)。pom.xml里加這些依賴(lài)properties maven.compiler.source17/maven.compiler.source maven.compiler.target17/maven.compiler.target langchain4j.version0.35.0/langchain4j.version /properties dependencies dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version${langchain4j.version}/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-open-ai/artifactId version${langchain4j.version}/version /dependency dependency groupIdorg.slf4j/groupId artifactIdslf4j-simple/artifactId version2.0.13/version /dependency /dependencies三個(gè)依賴(lài)分別干什么說(shuō)清楚langchain4j是核心庫(kù)包含ChatLanguageModel接口、ChatRequest、ChatResponse這些核心抽象以及AiServices、ChatMemory等高級(jí)封裝。langchain4j-open-ai是OpenAI協(xié)議模型的適配實(shí)現(xiàn)OpenAiChatModel就在這里。Qwen走DashScope兼容模式用的就是這一層。slf4j-simple是一個(gè)日志實(shí)現(xiàn)不加它的話跑起來(lái)控制臺(tái)會(huì)刷一行SLF4J: Failed to load class org.slf4j.impl.StaticLoggerBinder的警告。加上之后日志信息會(huì)正常打印排查問(wèn)題會(huì)舒服很多。版本號(hào)0.35.0是我在寫(xiě)這篇時(shí)驗(yàn)證過(guò)的版本。LangChain4j迭代速度很快建議你在實(shí)際使用時(shí)去官方倉(cāng)庫(kù)看一眼最新穩(wěn)定版版本號(hào)直接用最新即可。另外如果后續(xù)項(xiàng)目里要集成Spring Bootlangchain4j-spring-boot-starter會(huì)提供自動(dòng)配置但5分鐘跑通這個(gè)階段完全用不上加了反而多一層配置干擾。首次執(zhí)行mvn compile會(huì)拉取依賴(lài)網(wǎng)絡(luò)好的話一兩分鐘就完成了。如果你用的是Gradle依賴(lài)坐標(biāo)可以等價(jià)替換。3. 最小可運(yùn)行代碼用OpenAI兼容協(xié)議調(diào)通Qwen3.1 核心調(diào)用代碼就這么幾行寫(xiě)一個(gè)QwenQuickstart類(lèi)主方法里構(gòu)造模型對(duì)象然后調(diào)一次問(wèn)答import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; public class QwenQuickstart { public static void main(String[] args) { ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); String answer model.generate(請(qǐng)用一句話介紹Java編程語(yǔ)言); System.out.println(answer); } }第一次看到OpenAiChatModel這個(gè)名字很多人會(huì)問(wèn)我要接的是Qwen為什么用的是OpenAI的類(lèi)其實(shí)這里的OpenAi指的是協(xié)議而不是具體廠商。DashScope給Qwen模型開(kāi)放了一個(gè)OpenAI兼容端點(diǎn)也就是說(shuō)它把Qwen模型的服務(wù)包裝成了標(biāo)準(zhǔn)的OpenAI風(fēng)格API。所以LangChain4j里凡是實(shí)現(xiàn)了OpenAI協(xié)議適配的類(lèi)都能直接對(duì)接。這也意味著如果哪天你想換成其他也支持這種協(xié)議的服務(wù)這個(gè)類(lèi)不需要換。代碼里baseUrl指向https://dashscope.aliyuncs.com/compatible-mode/v1這個(gè)路徑是固定的/compatible-mode/v1一個(gè)字符都不能少。modelName填的是模型名這里用的是qwen-plus想換qwen-turbo或者qwen-max直接把字符串改掉就行。model.generate(...)是最簡(jiǎn)單的一次性問(wèn)答方法傳入字符串返回模型的回答字符串。很適合快速驗(yàn)證鏈路是否通。跑起來(lái)之后控制臺(tái)如果打印出一句關(guān)于Java的語(yǔ)言介紹說(shuō)明你已經(jīng)成功走完了整個(gè)鏈路Java代碼 - LangChain4j - DashScope兼容端點(diǎn) - Qwen模型 - 返回回答。3.2 常用參數(shù)與第一次調(diào)優(yōu)generate雖然簡(jiǎn)單但真實(shí)場(chǎng)景里經(jīng)常要指定系統(tǒng)提示詞、控制回復(fù)長(zhǎng)度、調(diào)整超時(shí)時(shí)間。先用這張表把最常用的幾個(gè)參數(shù)說(shuō)清楚參數(shù)作用推薦值temperature控制回復(fù)隨機(jī)性范圍0~2。值越高回答越發(fā)散問(wèn)答場(chǎng)景0.2~0.5maxTokens限制回復(fù)的最大token數(shù)默認(rèn)值即可長(zhǎng)文輸出場(chǎng)景按需調(diào)大timeout每次請(qǐng)求的超時(shí)時(shí)間30秒maxRetries請(qǐng)求失敗后的自動(dòng)重試次數(shù)3temperature是第一個(gè)值得反復(fù)實(shí)驗(yàn)的參數(shù)。在問(wèn)答場(chǎng)景用戶要的是準(zhǔn)確、穩(wěn)定的事實(shí)性回答所以建議調(diào)低處在0.2~0.5之間比較合適。如果是做創(chuàng)意文案、頭腦風(fēng)暴才需要拉高到0.7以上。除了直接generate還有一種更常用的寫(xiě)法就是構(gòu)建一個(gè)ChatRequest傳入完整的消息列表import dev.langchain4j.data.message.ChatMessage; import dev.langchain4j.data.message.SystemMessage; import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.model.output.Response; import java.util.ArrayList; import java.util.List; public class QwenWithSystemPrompt { public static void main(String[] args) { ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .temperature(0.3) .build(); ListChatMessage messages new ArrayList(); messages.add(SystemMessage.from(你是一位資深的Java技術(shù)顧問(wèn)回答問(wèn)題要簡(jiǎn)潔、準(zhǔn)確不要輸出與問(wèn)題無(wú)關(guān)的內(nèi)容。)); messages.add(UserMessage.from(LangChain4j是什么)); Responsedev.langchain4j.data.message.AiMessage response model.chat(dev.langchain4j.model.chat.request.ChatRequest.builder() .messages(messages) .build()); System.out.println(response.content().text()); } }這段代碼里SystemMessage用來(lái)設(shè)定角色和行為邊界。比如我要求“簡(jiǎn)潔、準(zhǔn)確”模型就會(huì)明顯比不加約束的時(shí)候收斂很多。UserMessage是用戶輸入。多輪對(duì)話場(chǎng)景下往這個(gè)messages列表里繼續(xù)追加歷史消息即可。這里要說(shuō)明一下generate和chat的區(qū)別generate只接收一個(gè)字符串適合快速驗(yàn)證鏈路chat接收完整的消息列表是真正寫(xiě)業(yè)務(wù)時(shí)該用的入口。4. 實(shí)際跑通過(guò)的幾個(gè)坑與排查心得4.1 401 UnauthorizedAPI Key的問(wèn)題最常見(jiàn)也最容易排查?，F(xiàn)象是請(qǐng)求發(fā)出后服務(wù)端返回401日志里能看到AuthenticationError或者401狀態(tài)碼。原因一般就這幾類(lèi)第一環(huán)境變量沒(méi)有傳到運(yùn)行進(jìn)程里。剛才說(shuō)過(guò)IDE里跑代碼需要額外配置環(huán)境變量尤其是從IDEA啟動(dòng)時(shí)終端里export的變量默認(rèn)是拿不到的。先在代碼里加一行System.out.println(System.getenv(DASHSCOPE_API_KEY))看打印出來(lái)的值是不是空這個(gè)動(dòng)作能幫你快速定位問(wèn)題。第二Key過(guò)期或者賬戶欠費(fèi)。DashScope的Key有過(guò)期策略如果之前創(chuàng)建的Key過(guò)期了去控制臺(tái)重新生成一個(gè)就好。第三復(fù)制的時(shí)候把空格也帶進(jìn)去了。粘貼到IDE配置框里的時(shí)候首尾多一個(gè)空格就會(huì)導(dǎo)致鑒權(quán)失敗而且肉眼很難看出來(lái)。遇到401先檢查Key兩邊是不是有不可見(jiàn)字符。4.2 404 / Invalid URLbaseUrl寫(xiě)錯(cuò)了如果你把baseUrl寫(xiě)成了https://dashscope.aliyuncs.com或者漏掉了/compatible-mode/v1服務(wù)端很可能返回404。這類(lèi)錯(cuò)誤在日志里通常能看到明確的HTTP狀態(tài)碼但有個(gè)坑是LangChain4j在發(fā)請(qǐng)求前可能會(huì)把URL規(guī)范化導(dǎo)致錯(cuò)誤路徑被合并表現(xiàn)變成讓人摸不著頭腦的Invalid URL。我的排查建議是如果報(bào)錯(cuò)涉及URL先回看一遍baseUrl的完整字符串和官方文檔逐字符對(duì)照。注意末尾不要有斜杠也不要有多余的空格。4.3 SLF4J警告和依賴(lài)沖突剛搭建項(xiàng)目的時(shí)候如果沒(méi)加日志實(shí)現(xiàn)依賴(lài)控制臺(tái)會(huì)看到一行黃色的SLF4J: Failed to load class警告。這不影響功能但會(huì)讓新手誤以為哪里掛了。解決辦法就是pom里加一個(gè)slf4j-simple或者如果你項(xiàng)目已經(jīng)有l(wèi)ogback了直接什么都不用加日志框架會(huì)自動(dòng)綁定。如果是一個(gè)已有的大型項(xiàng)目引入LangChain4j后可能會(huì)出現(xiàn)NoSuchMethodError或者奇怪的Jackson反序列化異常。這種大概率是項(xiàng)目里已有的gson、guava、okhttp跟langchain4j-open-ai傳遞依賴(lài)的版本沖突了。遇到這種情況用mvn dependency:tree -Dincludesdev.langchain4j看一下依賴(lài)樹(shù)把沖突的版本調(diào)整一致。4.4 超時(shí)、限流和重試策略調(diào)用qwen-plus時(shí)我遇到過(guò)一次SocketTimeoutException。原因是問(wèn)題比較復(fù)雜模型生成的回答較長(zhǎng)而我把timeout設(shè)置得比較短。解決辦法是在builder里顯式設(shè)置超時(shí)時(shí)間OpenAiChatModel.builder() .timeout(java.time.Duration.ofSeconds(30)) ...另外如果請(qǐng)求過(guò)于頻繁服務(wù)端會(huì)返回429 Too Many Requests。這時(shí)候靠maxRetries重試自動(dòng)處理即可OpenAiChatModel.builder() .maxRetries(3) ...重試雖然方便但生產(chǎn)環(huán)境建議自己實(shí)現(xiàn)帶指數(shù)退避的重試不要完全依賴(lài)框架默認(rèn)策略否則限流時(shí)可能出現(xiàn)重試風(fēng)暴。4.5 回答質(zhì)量不穩(wěn)定怎么“教育”模型有時(shí)候同一道題模型兩次回答方向不一樣或者輸出了一段跟業(yè)務(wù)無(wú)關(guān)的內(nèi)容。這種問(wèn)題不屬于bug而是模型參數(shù)和提示詞的問(wèn)題。我的處理思路是三步第一加SystemMessage明確角色和回答邊界第二把temperature降到0.2甚至更低第三對(duì)關(guān)鍵答案做程序化校驗(yàn)做一個(gè)簡(jiǎn)單的關(guān)鍵字?jǐn)嘌员ＷC輸出格式符合預(yù)期。如果試了這三步還不穩(wěn)定那就考慮換更強(qiáng)的qwen-max或者把問(wèn)題拆得更細(xì)。5. 從Demo到工程落地三個(gè)進(jìn)階能力5.1 流式輸出讓回答變成“打字機(jī)”跑通同步接口只是第一步。你要真是給用戶做一個(gè)問(wèn)答機(jī)器人沒(méi)人愿意盯著屏幕等一個(gè)3秒后才一次性出來(lái)的長(zhǎng)回答。流式輸出能把耗時(shí)從“等待”變成“持續(xù)輸出”用戶第一反應(yīng)就會(huì)覺(jué)得系統(tǒng)“活”了。LangChain4j里有專(zhuān)門(mén)的StreamingChatLanguageModel接口同樣屬于langchain4j-open-ai模塊。構(gòu)造方式類(lèi)似import dev.langchain4j.model.chat.StreamingChatLanguageModel; import dev.langchain4j.model.openai.OpenAiStreamingChatModel; import dev.langchain4j.model.output.Response; import dev.langchain4j.data.message.AiMessage; StreamingChatLanguageModel model OpenAiStreamingChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); model.generate(請(qǐng)解釋微服務(wù)架構(gòu), new StreamingResponseHandlerAiMessage() { Override public void onNext(String token) { System.out.print(token); } Override public void onComplete(ResponseAiMessage response) { System.out.println(); } Override public void onError(Throwable error) { error.printStackTrace(); } });onNext回調(diào)里拿到的token就是模型每次返回的增量片段把它們拼起來(lái)就是完整回答。前端接SSE或者WebSocket把這些增量實(shí)時(shí)推給瀏覽器打字機(jī)效果就出來(lái)了。這里注意流式接口的語(yǔ)義是邊生成邊返回所以你的業(yè)務(wù)代碼如果需要等完整結(jié)果再處理就別用流式或者把流式結(jié)果先聚合到內(nèi)存里再統(tǒng)一處理。5.2 多輪對(duì)話記憶別再手動(dòng)拼歷史消息了用chat接口做多輪對(duì)話你得自己維護(hù)一個(gè)messages列表每輪追加用戶消息和AI消息token數(shù)還要自己算。這種手寫(xiě)方案很容易在消息列表無(wú)限增長(zhǎng)時(shí)把上下文撐爆。LangChain4j提供了ChatMemory來(lái)管理對(duì)話記憶最常用的實(shí)現(xiàn)是MessageWindowChatMemory它只保留最近N條消息超出窗口的舊消息會(huì)被自動(dòng)丟棄。然后借助AiServices你只需要定義一個(gè)接口框架自動(dòng)把“帶記憶的對(duì)話”變成一個(gè)普通Java方法調(diào)用import dev.langchain4j.memory.ChatMemory; import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.service.AiServices; interface Assistant { String chat(String userMessage); } ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); ChatMemory chatMemory MessageWindowChatMemory.withMaxMessages(10); Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .build(); String answer1 assistant.chat(你好我叫小張); String answer2 assistant.chat(我叫什么名字);第二次調(diào)用時(shí)模型能記得用戶叫小張這就是記憶窗口在起作用。MessageWindowChatMemory.withMaxMessages(10)表示最多保留10條消息超過(guò)之后自動(dòng)淘汰最舊的消息。窗口越大模型可參考的上下文越多但每次請(qǐng)求的token成本也會(huì)隨之上升這個(gè)需要根據(jù)業(yè)務(wù)按需調(diào)整。5.3 工具調(diào)用問(wèn)答助手變“數(shù)字化員工”只做問(wèn)答不夠問(wèn)答只是入口真正的價(jià)值在于模型能幫你做事。LangChain4j支持把Java方法注冊(cè)成工具模型在回答過(guò)程中如果發(fā)現(xiàn)需要調(diào)用某個(gè)工具會(huì)主動(dòng)發(fā)起調(diào)用并把返回值整合進(jìn)最終回答。舉個(gè)例子給Assistant接口之外定義一個(gè)工具類(lèi)import dev.langchain4j.agent.tool.Tool; class OrderTool { Tool(根據(jù)訂單號(hào)查詢(xún)訂單狀態(tài)) public String queryOrderStatus(String orderNo) { // 這里查數(shù)據(jù)庫(kù)、調(diào)內(nèi)部接口都行 return 訂單 orderNo 當(dāng)前狀態(tài)為已發(fā)貨; } }然后在構(gòu)建AiServices時(shí)把這個(gè)工具注冊(cè)進(jìn)去Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .tools(new OrderTool()) .build(); String answer assistant.chat(幫我查一下訂單2024001的狀態(tài));當(dāng)模型發(fā)現(xiàn)你的問(wèn)題涉及訂單查詢(xún)它會(huì)根據(jù)Tool里的描述生成調(diào)用參數(shù)框架自動(dòng)反序列化并執(zhí)行你的queryOrderStatus方法再把結(jié)果回傳給模型模型組織成自然語(yǔ)言回答。這就是工具調(diào)用的完整鏈路。這個(gè)能力一下子把“問(wèn)答”升級(jí)成了“能執(zhí)行任務(wù)的助手”。查庫(kù)存、生成工單、拉報(bào)表、提單審批只要把方法暴露成Tool模型就能“指揮”代碼干活。對(duì)Java后端來(lái)說(shuō)這是我覺(jué)得LangChain4j最有價(jià)值的一塊能力遠(yuǎn)比單純把大模型接入聊天窗有價(jià)值。這里再說(shuō)一個(gè)實(shí)際體驗(yàn)跑通demo本身不難難的是從demo到生產(chǎn)之間那段路。我自己的體會(huì)是API Key一定要盡早納入配置中心統(tǒng)一管理不要散落在各個(gè)環(huán)境變量里每次調(diào)用最好記錄一下模型名、token數(shù)、耗時(shí)方便后續(xù)對(duì)賬和成本優(yōu)化如果業(yè)務(wù)存在高頻調(diào)用限流和重試策略要提前設(shè)計(jì)別讓模型供應(yīng)商的429限制突然打崩你的接口。最后再分享一個(gè)小技巧剛開(kāi)始調(diào)試LangChain4j時(shí)把日志級(jí)別開(kāi)到DEBUG看LangChain4j實(shí)際發(fā)出的HTTP請(qǐng)求體。你會(huì)發(fā)現(xiàn)它把messages列表、temperature、maxTokens這些參數(shù)完整地拼進(jìn)了請(qǐng)求。看到這個(gè)真實(shí)的請(qǐng)求結(jié)構(gòu)之后你對(duì)這套框架的理解會(huì)立刻深一層——原來(lái)它不過(guò)是個(gè)幫你把模型調(diào)用封裝成普通Java接口的“翻譯官”。想清楚這一點(diǎn)后面無(wú)論換模型還是排查問(wèn)題你心里都會(huì)更有底。 Java集成大模型問(wèn)答：LangChain4j+Qwen快速上手指南
最近在給團(tuán)隊(duì)內(nèi)部工具加智能問(wèn)答能力翻遍Java生態(tài)發(fā)現(xiàn)LangChain4j是接入大模型最順手的一個(gè)框架搭配Qwen問(wèn)答場(chǎng)景5分鐘就能跑通一個(gè)最小demo。這篇文章就是那5分鐘的完整記錄——從開(kāi)通模型服務(wù)、配置Maven依賴(lài)到寫(xiě)出第一行可運(yùn)行的問(wèn)答代碼再把過(guò)程中遇到的環(huán)境變量、超時(shí)、依賴(lài)沖突這些坑一并講清楚。如果你是Java開(kāi)發(fā)者想在項(xiàng)目里接大模型但還沒(méi)動(dòng)手這篇可以直接當(dāng)操作手冊(cè)用。就算你之前完全沒(méi)接觸過(guò)LangChain4j只要照著操作大概率也能一次跑通。1. 為什么在Java項(xiàng)目里選擇 LangChain4j Qwen1.1 LangChain4j填補(bǔ)了Java生態(tài)的“LLM應(yīng)用層”空缺P(pán)ython圈子里搞LLM應(yīng)用開(kāi)發(fā)隨手就是LangChain、LlamaIndex各種模型調(diào)用、鏈?zhǔn)骄幣拧⒐ぞ哒{(diào)用、RAG組件一抓一大把。但Java圈長(zhǎng)期處于一種非常原始的狀態(tài)想接大模型要么直接在業(yè)務(wù)代碼里拼HTTP請(qǐng)求要么去寫(xiě)某家模型廠商SDK的方法調(diào)用。這么搞當(dāng)然也能跑但問(wèn)題很快就來(lái)了。第一個(gè)問(wèn)題是耦合。今天接的是A模型的SDK明天想換B模型業(yè)務(wù)代碼就要跟著改一大片。第二個(gè)問(wèn)題是重復(fù)造輪子。多輪對(duì)話要自己維護(hù)歷史消息流式輸出要自己處理SSE事件流工具調(diào)用要自己做JSON參數(shù)解析和拼接模型名、溫度、最大token這些參數(shù)散落在各處。這些事跟業(yè)務(wù)邏輯一點(diǎn)關(guān)系都沒(méi)有但不做還不行。LangChain4j最核心的價(jià)值是它把這層臟活累活抽象掉了。它在模型層定義了ChatLanguageModel這樣一個(gè)統(tǒng)一接口你面向接口編程具體用哪家模型用哪個(gè)builder去構(gòu)造都只是啟動(dòng)時(shí)的配置。這個(gè)設(shè)計(jì)跟JDBC的思路很像應(yīng)用層寫(xiě)SQL至于背后是MySQL還是PostgreSQL只要換一個(gè)驅(qū)動(dòng)就行。我項(xiàng)目里最開(kāi)始用的是Qwen后面如果要切到其他兼容OpenAI協(xié)議的服務(wù)Core代碼幾乎不用動(dòng)換個(gè)BaseUrl和模型名就完事了。除了模型抽象LangChain4j還提供了提示詞模板、聊天記憶ChatMemory、工具調(diào)用Tool、向量檢索Embedding這一整套東西。對(duì)于要做知識(shí)庫(kù)問(wèn)答、企業(yè)內(nèi)部助手這類(lèi)場(chǎng)景這些能力不是錦上添花而是剛需。1.2 問(wèn)答場(chǎng)景選Qwen本質(zhì)選的是“省心”模型服務(wù)這塊我最初在幾個(gè)主流選項(xiàng)之間猶豫過(guò)最后選了Qwen核心原因是三件事中文效果、成本、訪問(wèn)路徑。先說(shuō)中文效果。問(wèn)答類(lèi)場(chǎng)景對(duì)中文理解和生成質(zhì)量要求很高Qwen系模型在中文語(yǔ)料上的表現(xiàn)是有明顯優(yōu)勢(shì)的。團(tuán)隊(duì)內(nèi)部工具里問(wèn)的都是帶業(yè)務(wù)語(yǔ)境的中文問(wèn)題拿qwen-plus實(shí)測(cè)下來(lái)的回答質(zhì)量放在大多數(shù)業(yè)務(wù)問(wèn)答場(chǎng)景里都?jí)蛴?。再說(shuō)成本。DashScope平臺(tái)對(duì)新用戶有免費(fèi)額度個(gè)人學(xué)習(xí)、寫(xiě)demo階段幾乎不花錢(qián)。到了生產(chǎn)環(huán)境qwen-turbo價(jià)格非常低qwen-plus也遠(yuǎn)低于一些國(guó)際模型。對(duì)于想快速驗(yàn)證“大模型問(wèn)答能不能解決業(yè)務(wù)問(wèn)題”的團(tuán)隊(duì)來(lái)說(shuō)這個(gè)試錯(cuò)成本非常友好。最后是訪問(wèn)路徑。Qwen通過(guò)DashScope的OpenAI兼容模式對(duì)外開(kāi)放使用的正是LangChain4j里langchain4j-open-ai模塊所實(shí)現(xiàn)的那套協(xié)議。不需要單獨(dú)找適配器不需要寫(xiě)專(zhuān)用客戶端一個(gè)OpenAiChatModel就把模型服務(wù)拉起來(lái)了。這一點(diǎn)很重要如果團(tuán)隊(duì)后續(xù)自己在內(nèi)網(wǎng)用vLLM部署了一個(gè)開(kāi)源模型只要那個(gè)服務(wù)也暴露了OpenAI兼容接口同一套LangChain4j代碼可以直接切過(guò)去。模型層做了完全隔離這才是靠譜的架構(gòu)。2. 跑通前的準(zhǔn)備開(kāi)通DashScope與項(xiàng)目搭建2.1 開(kāi)通DashScope并創(chuàng)建API Key第一步是去模型服務(wù)平臺(tái)創(chuàng)建API Key。這里直接說(shuō)步驟任何人都能照做打開(kāi)DashScope控制臺(tái)用賬號(hào)登錄。新賬號(hào)需要完成實(shí)名認(rèn)證不做完這一步后面沒(méi)法開(kāi)通模型服務(wù)。在控制臺(tái)首頁(yè)找到“模型服務(wù)”相關(guān)入口進(jìn)入后開(kāi)通服務(wù)。Qwen系列默認(rèn)就能用不需要單獨(dú)申請(qǐng)白名單。進(jìn)入API-KEY管理頁(yè)面點(diǎn)擊創(chuàng)建API Key。創(chuàng)建的時(shí)候會(huì)生成一串以sk-開(kāi)頭的密鑰。這里有個(gè)細(xì)節(jié)Key創(chuàng)建完成后列表里只會(huì)顯示一次完整值之后只能看到掩碼。所以建議創(chuàng)建完立刻復(fù)制到本地密碼管理器里保存。拿到Key之后先別急著寫(xiě)代碼。我的建議是立刻把它配成環(huán)境變量而不是直接貼在代碼里。命令行執(zhí)行export DASHSCOPE_API_KEYsk-xxx如果你用的是IDEA這類(lèi)IDE直接運(yùn)行的話環(huán)境變量還需要在Run Configuration里配?？梢栽贓nvironment variables一欄追加DASHSCOPE_API_KEYsk-xxx。這個(gè)細(xì)節(jié)很多人會(huì)踩坑明明在終端里export了一從IDE跑就報(bào)401查半天才發(fā)現(xiàn)是IDE拿到的環(huán)境變量是空的。Key到手之后記得兩件事第一永遠(yuǎn)不要提交到Git倉(cāng)庫(kù)哪怕只是demo也建議用環(huán)境變量或本地配置文件的忽略機(jī)制第二別把Key貼到任何公開(kāi)群聊里。這類(lèi)密鑰泄露以后很麻煩輕則被薅額度重則賬戶欠費(fèi)。2.2 用一個(gè)Maven項(xiàng)目把依賴(lài)?yán)饋?lái)5分鐘跑通不需要Spring Boot不需要復(fù)雜工程結(jié)構(gòu)一個(gè)純Maven項(xiàng)目就夠。JDK版本建議用17或者更高寫(xiě)records、var、switch表達(dá)式都方便而且LangChain4j對(duì)Java 17的支持非常穩(wěn)。pom.xml里加這些依賴(lài)properties maven.compiler.source17/maven.compiler.source maven.compiler.target17/maven.compiler.target langchain4j.version0.35.0/langchain4j.version /properties dependencies dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version${langchain4j.version}/version /dependency dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-open-ai/artifactId version${langchain4j.version}/version /dependency dependency groupIdorg.slf4j/groupId artifactIdslf4j-simple/artifactId version2.0.13/version /dependency /dependencies三個(gè)依賴(lài)分別干什么說(shuō)清楚langchain4j是核心庫(kù)包含ChatLanguageModel接口、ChatRequest、ChatResponse這些核心抽象以及AiServices、ChatMemory等高級(jí)封裝。langchain4j-open-ai是OpenAI協(xié)議模型的適配實(shí)現(xiàn)OpenAiChatModel就在這里。Qwen走DashScope兼容模式用的就是這一層。slf4j-simple是一個(gè)日志實(shí)現(xiàn)不加它的話跑起來(lái)控制臺(tái)會(huì)刷一行SLF4J: Failed to load class org.slf4j.impl.StaticLoggerBinder的警告。加上之后日志信息會(huì)正常打印排查問(wèn)題會(huì)舒服很多。版本號(hào)0.35.0是我在寫(xiě)這篇時(shí)驗(yàn)證過(guò)的版本。LangChain4j迭代速度很快建議你在實(shí)際使用時(shí)去官方倉(cāng)庫(kù)看一眼最新穩(wěn)定版版本號(hào)直接用最新即可。另外如果后續(xù)項(xiàng)目里要集成Spring Bootlangchain4j-spring-boot-starter會(huì)提供自動(dòng)配置但5分鐘跑通這個(gè)階段完全用不上加了反而多一層配置干擾。首次執(zhí)行mvn compile會(huì)拉取依賴(lài)網(wǎng)絡(luò)好的話一兩分鐘就完成了。如果你用的是Gradle依賴(lài)坐標(biāo)可以等價(jià)替換。3. 最小可運(yùn)行代碼用OpenAI兼容協(xié)議調(diào)通Qwen3.1 核心調(diào)用代碼就這么幾行寫(xiě)一個(gè)QwenQuickstart類(lèi)主方法里構(gòu)造模型對(duì)象然后調(diào)一次問(wèn)答import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; public class QwenQuickstart { public static void main(String[] args) { ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); String answer model.generate(請(qǐng)用一句話介紹Java編程語(yǔ)言); System.out.println(answer); } }第一次看到OpenAiChatModel這個(gè)名字很多人會(huì)問(wèn)我要接的是Qwen為什么用的是OpenAI的類(lèi)其實(shí)這里的OpenAi指的是協(xié)議而不是具體廠商。DashScope給Qwen模型開(kāi)放了一個(gè)OpenAI兼容端點(diǎn)也就是說(shuō)它把Qwen模型的服務(wù)包裝成了標(biāo)準(zhǔn)的OpenAI風(fēng)格API。所以LangChain4j里凡是實(shí)現(xiàn)了OpenAI協(xié)議適配的類(lèi)都能直接對(duì)接。這也意味著如果哪天你想換成其他也支持這種協(xié)議的服務(wù)這個(gè)類(lèi)不需要換。代碼里baseUrl指向https://dashscope.aliyuncs.com/compatible-mode/v1這個(gè)路徑是固定的/compatible-mode/v1一個(gè)字符都不能少。modelName填的是模型名這里用的是qwen-plus想換qwen-turbo或者qwen-max直接把字符串改掉就行。model.generate(...)是最簡(jiǎn)單的一次性問(wèn)答方法傳入字符串返回模型的回答字符串。很適合快速驗(yàn)證鏈路是否通。跑起來(lái)之后控制臺(tái)如果打印出一句關(guān)于Java的語(yǔ)言介紹說(shuō)明你已經(jīng)成功走完了整個(gè)鏈路Java代碼 - LangChain4j - DashScope兼容端點(diǎn) - Qwen模型 - 返回回答。3.2 常用參數(shù)與第一次調(diào)優(yōu)generate雖然簡(jiǎn)單但真實(shí)場(chǎng)景里經(jīng)常要指定系統(tǒng)提示詞、控制回復(fù)長(zhǎng)度、調(diào)整超時(shí)時(shí)間。先用這張表把最常用的幾個(gè)參數(shù)說(shuō)清楚參數(shù)作用推薦值temperature控制回復(fù)隨機(jī)性范圍0~2。值越高回答越發(fā)散問(wèn)答場(chǎng)景0.2~0.5maxTokens限制回復(fù)的最大token數(shù)默認(rèn)值即可長(zhǎng)文輸出場(chǎng)景按需調(diào)大timeout每次請(qǐng)求的超時(shí)時(shí)間30秒maxRetries請(qǐng)求失敗后的自動(dòng)重試次數(shù)3temperature是第一個(gè)值得反復(fù)實(shí)驗(yàn)的參數(shù)。在問(wèn)答場(chǎng)景用戶要的是準(zhǔn)確、穩(wěn)定的事實(shí)性回答所以建議調(diào)低處在0.2~0.5之間比較合適。如果是做創(chuàng)意文案、頭腦風(fēng)暴才需要拉高到0.7以上。除了直接generate還有一種更常用的寫(xiě)法就是構(gòu)建一個(gè)ChatRequest傳入完整的消息列表import dev.langchain4j.data.message.ChatMessage; import dev.langchain4j.data.message.SystemMessage; import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.model.output.Response; import java.util.ArrayList; import java.util.List; public class QwenWithSystemPrompt { public static void main(String[] args) { ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .temperature(0.3) .build(); ListChatMessage messages new ArrayList(); messages.add(SystemMessage.from(你是一位資深的Java技術(shù)顧問(wèn)回答問(wèn)題要簡(jiǎn)潔、準(zhǔn)確不要輸出與問(wèn)題無(wú)關(guān)的內(nèi)容。)); messages.add(UserMessage.from(LangChain4j是什么)); Responsedev.langchain4j.data.message.AiMessage response model.chat(dev.langchain4j.model.chat.request.ChatRequest.builder() .messages(messages) .build()); System.out.println(response.content().text()); } }這段代碼里SystemMessage用來(lái)設(shè)定角色和行為邊界。比如我要求“簡(jiǎn)潔、準(zhǔn)確”模型就會(huì)明顯比不加約束的時(shí)候收斂很多。UserMessage是用戶輸入。多輪對(duì)話場(chǎng)景下往這個(gè)messages列表里繼續(xù)追加歷史消息即可。這里要說(shuō)明一下generate和chat的區(qū)別generate只接收一個(gè)字符串適合快速驗(yàn)證鏈路chat接收完整的消息列表是真正寫(xiě)業(yè)務(wù)時(shí)該用的入口。4. 實(shí)際跑通過(guò)的幾個(gè)坑與排查心得4.1 401 UnauthorizedAPI Key的問(wèn)題最常見(jiàn)也最容易排查?，F(xiàn)象是請(qǐng)求發(fā)出后服務(wù)端返回401日志里能看到AuthenticationError或者401狀態(tài)碼。原因一般就這幾類(lèi)第一環(huán)境變量沒(méi)有傳到運(yùn)行進(jìn)程里。剛才說(shuō)過(guò)IDE里跑代碼需要額外配置環(huán)境變量尤其是從IDEA啟動(dòng)時(shí)終端里export的變量默認(rèn)是拿不到的。先在代碼里加一行System.out.println(System.getenv(DASHSCOPE_API_KEY))看打印出來(lái)的值是不是空這個(gè)動(dòng)作能幫你快速定位問(wèn)題。第二Key過(guò)期或者賬戶欠費(fèi)。DashScope的Key有過(guò)期策略如果之前創(chuàng)建的Key過(guò)期了去控制臺(tái)重新生成一個(gè)就好。第三復(fù)制的時(shí)候把空格也帶進(jìn)去了。粘貼到IDE配置框里的時(shí)候首尾多一個(gè)空格就會(huì)導(dǎo)致鑒權(quán)失敗而且肉眼很難看出來(lái)。遇到401先檢查Key兩邊是不是有不可見(jiàn)字符。4.2 404 / Invalid URLbaseUrl寫(xiě)錯(cuò)了如果你把baseUrl寫(xiě)成了https://dashscope.aliyuncs.com或者漏掉了/compatible-mode/v1服務(wù)端很可能返回404。這類(lèi)錯(cuò)誤在日志里通常能看到明確的HTTP狀態(tài)碼但有個(gè)坑是LangChain4j在發(fā)請(qǐng)求前可能會(huì)把URL規(guī)范化導(dǎo)致錯(cuò)誤路徑被合并表現(xiàn)變成讓人摸不著頭腦的Invalid URL。我的排查建議是如果報(bào)錯(cuò)涉及URL先回看一遍baseUrl的完整字符串和官方文檔逐字符對(duì)照。注意末尾不要有斜杠也不要有多余的空格。4.3 SLF4J警告和依賴(lài)沖突剛搭建項(xiàng)目的時(shí)候如果沒(méi)加日志實(shí)現(xiàn)依賴(lài)控制臺(tái)會(huì)看到一行黃色的SLF4J: Failed to load class警告。這不影響功能但會(huì)讓新手誤以為哪里掛了。解決辦法就是pom里加一個(gè)slf4j-simple或者如果你項(xiàng)目已經(jīng)有l(wèi)ogback了直接什么都不用加日志框架會(huì)自動(dòng)綁定。如果是一個(gè)已有的大型項(xiàng)目引入LangChain4j后可能會(huì)出現(xiàn)NoSuchMethodError或者奇怪的Jackson反序列化異常。這種大概率是項(xiàng)目里已有的gson、guava、okhttp跟langchain4j-open-ai傳遞依賴(lài)的版本沖突了。遇到這種情況用mvn dependency:tree -Dincludesdev.langchain4j看一下依賴(lài)樹(shù)把沖突的版本調(diào)整一致。4.4 超時(shí)、限流和重試策略調(diào)用qwen-plus時(shí)我遇到過(guò)一次SocketTimeoutException。原因是問(wèn)題比較復(fù)雜模型生成的回答較長(zhǎng)而我把timeout設(shè)置得比較短。解決辦法是在builder里顯式設(shè)置超時(shí)時(shí)間OpenAiChatModel.builder() .timeout(java.time.Duration.ofSeconds(30)) ...另外如果請(qǐng)求過(guò)于頻繁服務(wù)端會(huì)返回429 Too Many Requests。這時(shí)候靠maxRetries重試自動(dòng)處理即可OpenAiChatModel.builder() .maxRetries(3) ...重試雖然方便但生產(chǎn)環(huán)境建議自己實(shí)現(xiàn)帶指數(shù)退避的重試不要完全依賴(lài)框架默認(rèn)策略否則限流時(shí)可能出現(xiàn)重試風(fēng)暴。4.5 回答質(zhì)量不穩(wěn)定怎么“教育”模型有時(shí)候同一道題模型兩次回答方向不一樣或者輸出了一段跟業(yè)務(wù)無(wú)關(guān)的內(nèi)容。這種問(wèn)題不屬于bug而是模型參數(shù)和提示詞的問(wèn)題。我的處理思路是三步第一加SystemMessage明確角色和回答邊界第二把temperature降到0.2甚至更低第三對(duì)關(guān)鍵答案做程序化校驗(yàn)做一個(gè)簡(jiǎn)單的關(guān)鍵字?jǐn)嘌员ＷC輸出格式符合預(yù)期。如果試了這三步還不穩(wěn)定那就考慮換更強(qiáng)的qwen-max或者把問(wèn)題拆得更細(xì)。5. 從Demo到工程落地三個(gè)進(jìn)階能力5.1 流式輸出讓回答變成“打字機(jī)”跑通同步接口只是第一步。你要真是給用戶做一個(gè)問(wèn)答機(jī)器人沒(méi)人愿意盯著屏幕等一個(gè)3秒后才一次性出來(lái)的長(zhǎng)回答。流式輸出能把耗時(shí)從“等待”變成“持續(xù)輸出”用戶第一反應(yīng)就會(huì)覺(jué)得系統(tǒng)“活”了。LangChain4j里有專(zhuān)門(mén)的StreamingChatLanguageModel接口同樣屬于langchain4j-open-ai模塊。構(gòu)造方式類(lèi)似import dev.langchain4j.model.chat.StreamingChatLanguageModel; import dev.langchain4j.model.openai.OpenAiStreamingChatModel; import dev.langchain4j.model.output.Response; import dev.langchain4j.data.message.AiMessage; StreamingChatLanguageModel model OpenAiStreamingChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); model.generate(請(qǐng)解釋微服務(wù)架構(gòu), new StreamingResponseHandlerAiMessage() { Override public void onNext(String token) { System.out.print(token); } Override public void onComplete(ResponseAiMessage response) { System.out.println(); } Override public void onError(Throwable error) { error.printStackTrace(); } });onNext回調(diào)里拿到的token就是模型每次返回的增量片段把它們拼起來(lái)就是完整回答。前端接SSE或者WebSocket把這些增量實(shí)時(shí)推給瀏覽器打字機(jī)效果就出來(lái)了。這里注意流式接口的語(yǔ)義是邊生成邊返回所以你的業(yè)務(wù)代碼如果需要等完整結(jié)果再處理就別用流式或者把流式結(jié)果先聚合到內(nèi)存里再統(tǒng)一處理。5.2 多輪對(duì)話記憶別再手動(dòng)拼歷史消息了用chat接口做多輪對(duì)話你得自己維護(hù)一個(gè)messages列表每輪追加用戶消息和AI消息token數(shù)還要自己算。這種手寫(xiě)方案很容易在消息列表無(wú)限增長(zhǎng)時(shí)把上下文撐爆。LangChain4j提供了ChatMemory來(lái)管理對(duì)話記憶最常用的實(shí)現(xiàn)是MessageWindowChatMemory它只保留最近N條消息超出窗口的舊消息會(huì)被自動(dòng)丟棄。然后借助AiServices你只需要定義一個(gè)接口框架自動(dòng)把“帶記憶的對(duì)話”變成一個(gè)普通Java方法調(diào)用import dev.langchain4j.memory.ChatMemory; import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.service.AiServices; interface Assistant { String chat(String userMessage); } ChatLanguageModel model OpenAiChatModel.builder() .apiKey(System.getenv(DASHSCOPE_API_KEY)) .baseUrl(https://dashscope.aliyuncs.com/compatible-mode/v1) .modelName(qwen-plus) .build(); ChatMemory chatMemory MessageWindowChatMemory.withMaxMessages(10); Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .build(); String answer1 assistant.chat(你好我叫小張); String answer2 assistant.chat(我叫什么名字);第二次調(diào)用時(shí)模型能記得用戶叫小張這就是記憶窗口在起作用。MessageWindowChatMemory.withMaxMessages(10)表示最多保留10條消息超過(guò)之后自動(dòng)淘汰最舊的消息。窗口越大模型可參考的上下文越多但每次請(qǐng)求的token成本也會(huì)隨之上升這個(gè)需要根據(jù)業(yè)務(wù)按需調(diào)整。5.3 工具調(diào)用問(wèn)答助手變“數(shù)字化員工”只做問(wèn)答不夠問(wèn)答只是入口真正的價(jià)值在于模型能幫你做事。LangChain4j支持把Java方法注冊(cè)成工具模型在回答過(guò)程中如果發(fā)現(xiàn)需要調(diào)用某個(gè)工具會(huì)主動(dòng)發(fā)起調(diào)用并把返回值整合進(jìn)最終回答。舉個(gè)例子給Assistant接口之外定義一個(gè)工具類(lèi)import dev.langchain4j.agent.tool.Tool; class OrderTool { Tool(根據(jù)訂單號(hào)查詢(xún)訂單狀態(tài)) public String queryOrderStatus(String orderNo) { // 這里查數(shù)據(jù)庫(kù)、調(diào)內(nèi)部接口都行 return 訂單 orderNo 當(dāng)前狀態(tài)為已發(fā)貨; } }然后在構(gòu)建AiServices時(shí)把這個(gè)工具注冊(cè)進(jìn)去Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .tools(new OrderTool()) .build(); String answer assistant.chat(幫我查一下訂單2024001的狀態(tài));當(dāng)模型發(fā)現(xiàn)你的問(wèn)題涉及訂單查詢(xún)它會(huì)根據(jù)Tool里的描述生成調(diào)用參數(shù)框架自動(dòng)反序列化并執(zhí)行你的queryOrderStatus方法再把結(jié)果回傳給模型模型組織成自然語(yǔ)言回答。這就是工具調(diào)用的完整鏈路。這個(gè)能力一下子把“問(wèn)答”升級(jí)成了“能執(zhí)行任務(wù)的助手”。查庫(kù)存、生成工單、拉報(bào)表、提單審批只要把方法暴露成Tool模型就能“指揮”代碼干活。對(duì)Java后端來(lái)說(shuō)這是我覺(jué)得LangChain4j最有價(jià)值的一塊能力遠(yuǎn)比單純把大模型接入聊天窗有價(jià)值。這里再說(shuō)一個(gè)實(shí)際體驗(yàn)跑通demo本身不難難的是從demo到生產(chǎn)之間那段路。我自己的體會(huì)是API Key一定要盡早納入配置中心統(tǒng)一管理不要散落在各個(gè)環(huán)境變量里每次調(diào)用最好記錄一下模型名、token數(shù)、耗時(shí)方便后續(xù)對(duì)賬和成本優(yōu)化如果業(yè)務(wù)存在高頻調(diào)用限流和重試策略要提前設(shè)計(jì)別讓模型供應(yīng)商的429限制突然打崩你的接口。最后再分享一個(gè)小技巧剛開(kāi)始調(diào)試LangChain4j時(shí)把日志級(jí)別開(kāi)到DEBUG看LangChain4j實(shí)際發(fā)出的HTTP請(qǐng)求體。你會(huì)發(fā)現(xiàn)它把messages列表、temperature、maxTokens這些參數(shù)完整地拼進(jìn)了請(qǐng)求。看到這個(gè)真實(shí)的請(qǐng)求結(jié)構(gòu)之后你對(duì)這套框架的理解會(huì)立刻深一層——原來(lái)它不過(guò)是個(gè)幫你把模型調(diào)用封裝成普通Java接口的“翻譯官”。想清楚這一點(diǎn)后面無(wú)論換模型還是排查問(wèn)題你心里都會(huì)更有底。