1. 從競(jìng)速到落地這個(gè)項(xiàng)目到底在做什么先把話說(shuō)在前面全國(guó)大學(xué)生智能車競(jìng)賽早就不是單純拼速度的賽道游戲了。第二十一屆、第二十二屆的賽題方向越來(lái)越偏向智能載體 行業(yè)場(chǎng)景而地瓜機(jī)器人RDK X3系列憑借內(nèi)置BPU貝葉斯加速單元和完整的ROS 2生態(tài)成了很多隊(duì)伍做創(chuàng)意賽、視覺(jué)賽的首選平臺(tái)。我這次做的東西簡(jiǎn)單說(shuō)就是——讓一臺(tái)地瓜機(jī)器人小車承擔(dān)起智慧醫(yī)療巡檢助手的角色。它有兩個(gè)核心任務(wù)人臉皮膚健康初篩小車通過(guò)攝像頭識(shí)別患者面部區(qū)域提取膚色特征判斷是否存在痤瘡、色斑、泛紅等常見(jiàn)皮膚問(wèn)題的傾向輸出健康評(píng)估提示。藥品自動(dòng)配送導(dǎo)航在模擬病房區(qū)域內(nèi)小車根據(jù)指令自動(dòng)導(dǎo)航到指定床位送達(dá)指定藥品用色塊模擬送達(dá)后語(yǔ)音/屏幕提示。這個(gè)項(xiàng)目我當(dāng)時(shí)斷斷續(xù)續(xù)做了三周踩了不少坑尤其是模型量化那一步差點(diǎn)把我勸退。本文會(huì)把整個(gè)方案、代碼邏輯、調(diào)試經(jīng)驗(yàn)和踩坑記錄全部放出來(lái)適合正在備賽、或者想用RDK X3做視覺(jué)SLAM/目標(biāo)檢測(cè)項(xiàng)目的同學(xué)參考。先給一個(gè)整體的軟硬件選型表后面所有內(nèi)容都圍繞這套配置展開(kāi)部件型號(hào)/方案用途主控地瓜機(jī)器人 RDK X34GB版本圖像處理、模型推理、運(yùn)動(dòng)控制攝像頭USB免驅(qū)廣角攝像頭720p/30fps人臉采集、巡線識(shí)別底盤差速兩輪驅(qū)動(dòng) 編碼器運(yùn)動(dòng)控制與里程計(jì)電機(jī)驅(qū)動(dòng)STM32作為下位機(jī) 或 直接PWM驅(qū)動(dòng)速度環(huán)控制顯示器樹(shù)莓派7寸觸摸屏可選患者交互界面電源12V鋰電池 降壓模塊整機(jī)供電如果你手里的車模是現(xiàn)成的比如之前競(jìng)速賽留下來(lái)的那完全可以沿用底盤和電機(jī)把主控?fù)Q成RDK X3就行。2. 為什么選地瓜機(jī)器人而不是樹(shù)莓派或Jetson這個(gè)選擇我相信很多隊(duì)伍糾結(jié)過(guò)。我先說(shuō)結(jié)論再解釋原因如果追求開(kāi)發(fā)效率與AI推理性能的平衡RDK X3是這幾個(gè)平臺(tái)里最穩(wěn)的選擇。對(duì)比一下三個(gè)常用平臺(tái)維度樹(shù)莓派4BJetson Nano地瓜機(jī)器人 RDK X3AI算力無(wú)專用NPU472 GFLOPS5 TOPSBPU功耗約5W5-10W約5W開(kāi)發(fā)語(yǔ)言Python為主Python/CPython/CROS 2支持可用但性能受限完整原生適配開(kāi)箱即用模型部署只能跑輕量模型TensorRT地平線工具鏈一鍵轉(zhuǎn)換官方文檔通用通用提供大量機(jī)器人場(chǎng)景案例Jetson Nano其實(shí)也很強(qiáng)但對(duì)我們學(xué)生隊(duì)伍來(lái)說(shuō)有兩個(gè)很頭疼的問(wèn)題一是TensorRT的部署調(diào)試周期長(zhǎng)二是板子散熱是個(gè)麻煩事裝在小車上跑賽題算法溫度一高就降頻幀率浮動(dòng)很厲害。樹(shù)莓派就更不用說(shuō)了跑個(gè)YOLO都要用CPU硬扛實(shí)時(shí)性很難保證。而RDK X3的BPU對(duì)常見(jiàn)CNN模型支持度很好地平線的工具鏈能直接把PyTorch/ONNX模型轉(zhuǎn)換成board格式在板端推理并且流程非常順。加上官方提供了大量機(jī)器人開(kāi)發(fā)套件級(jí)別的Demo手勢(shì)識(shí)別、人體關(guān)鍵點(diǎn)檢測(cè)、巡線導(dǎo)航等我們做二次開(kāi)發(fā)能省下很多時(shí)間。另外一點(diǎn)RDK X3上預(yù)裝了Ubuntu ROS 2 Foxy的系統(tǒng)鏡像這個(gè)對(duì)智能車競(jìng)賽尤其關(guān)鍵——賽題里經(jīng)常要求自主導(dǎo)航 任務(wù)調(diào)度ROS 2的節(jié)點(diǎn)通信機(jī)制可以很優(yōu)雅地把感知、決策、控制拆成獨(dú)立模塊后面調(diào)試單項(xiàng)功能時(shí)不用反復(fù)燒錄整個(gè)系統(tǒng)。3. 整個(gè)系統(tǒng)的架構(gòu)與數(shù)據(jù)流設(shè)計(jì)在動(dòng)代碼之前我想先講講系統(tǒng)的整體架構(gòu)。這部分的規(guī)劃直接決定了后面寫代碼、調(diào)參的難易程度。整個(gè)系統(tǒng)的運(yùn)行邏輯可以概括為三句話感知層負(fù)責(zé)看攝像頭采集圖像經(jīng)過(guò)人臉檢測(cè)和膚色分析生成健康評(píng)估結(jié)果同時(shí)識(shí)別地面引導(dǎo)線和障礙物。決策層負(fù)責(zé)想根據(jù)當(dāng)前任務(wù)初篩任務(wù)還是配送任務(wù)決定小車的行為狀態(tài)巡線、?？?、避障、語(yǔ)音播報(bào)。執(zhí)行層負(fù)責(zé)動(dòng)將決策結(jié)果轉(zhuǎn)換為電機(jī)PWM信號(hào)通過(guò)PID控制實(shí)現(xiàn)精確的速度與轉(zhuǎn)向。在代碼層面我用了ROS 2節(jié)點(diǎn)架構(gòu)來(lái)組織整個(gè)程序。這樣做的好處是每個(gè)功能模塊獨(dú)立運(yùn)行任何一個(gè)節(jié)點(diǎn)崩潰了不會(huì)拖垮整臺(tái)車。先看一下我定義的Topic和節(jié)點(diǎn)結(jié)構(gòu)/face_detector —— 人臉檢測(cè)與膚色分析節(jié)點(diǎn)感知 /obstacle_laser —— 激光/超聲波避障數(shù)據(jù)節(jié)點(diǎn)感知 /navigation —— 導(dǎo)航?jīng)Q策節(jié)點(diǎn)決策 /motor_controller —— 電機(jī)控制節(jié)點(diǎn)執(zhí)行 /voice_service —— 語(yǔ)音播報(bào)服務(wù)節(jié)點(diǎn)交互消息流是這樣走的攝像頭畫面 →/face_detector節(jié)點(diǎn)分析完成后把皮膚狀態(tài)分?jǐn)?shù)和是否檢測(cè)到人臉發(fā)布到ROS 2的Topic →/navigation節(jié)點(diǎn)接收結(jié)果結(jié)合當(dāng)前任務(wù)狀態(tài)決定下一步動(dòng)作 → 如果是在配送模式就發(fā)指令給/motor_controller執(zhí)行巡線動(dòng)作如果是初篩模式就在原地完成分析把結(jié)果送往/voice_service做語(yǔ)音播報(bào)。這里有個(gè)容易被新手忽略的點(diǎn)攝像頭和電機(jī)驅(qū)動(dòng)的實(shí)時(shí)性問(wèn)題。如果你用Python直接在主循環(huán)里同時(shí)處理圖像和電機(jī)控制幀率一高就會(huì)出現(xiàn)電機(jī)響應(yīng)不及時(shí)的問(wèn)題。我的解決辦法是讓圖像處理和電機(jī)驅(qū)動(dòng)跑在不同進(jìn)程里通過(guò)ROS 2的Topic異步通信。這樣圖像處理哪怕偶爾掉幀電機(jī)控制也不受影響。4. 智慧醫(yī)療核心功能一皮膚健康初篩算法4.1 數(shù)據(jù)來(lái)源與預(yù)處理皮膚健康初篩是整個(gè)項(xiàng)目里最有醫(yī)療AI味道的部分。它能通過(guò)攝像頭拍攝人臉?lè)治銎つw表面特征給出一個(gè)健康評(píng)分和診斷提示。先說(shuō)數(shù)據(jù)。很多人一聽(tīng)到皮膚病檢測(cè)就頭皮發(fā)麻覺(jué)得要收集一堆醫(yī)學(xué)影像。實(shí)際上我這里的做法是基于膚色特征分析而非深度醫(yī)學(xué)診斷。它判斷的是皮膚表面的顏色分布是否均勻、是否有異常色塊這用傳統(tǒng)的圖像處理算法就能實(shí)現(xiàn)不需要訓(xùn)練深度模型。實(shí)時(shí)視頻幀輸入后第一步是人臉檢測(cè)。我直接調(diào)用了OpenCV的DNN模塊加載了一個(gè)輕量的SSD人臉檢測(cè)模型res10_300x300_ssd_iter_140000.caffemodel這個(gè)模型在CPU上也能跑得動(dòng)性能足夠。人臉檢測(cè)的代碼實(shí)現(xiàn)import cv2 import numpy as np class FaceDetector: def __init__(self, proto_path, model_path, conf_threshold0.7): # 加載Caffe格式的人臉檢測(cè)模型 self.net cv2.dnn.readNetFromCaffe(proto_path, model_path) self.conf_threshold conf_threshold # 輸入圖像尺寸固定為300x300 self.input_width 300 self.input_height 300 def detect_faces(self, frame): h, w frame.shape[:2] # 構(gòu)造blob并送入網(wǎng)絡(luò) blob cv2.dnn.blobFromImage( cv2.resize(frame, (self.input_width, self.input_height)), 1.0, (self.input_width, self.input_height), (104.0, 177.0, 123.0), swapRBFalse ) self.net.setInput(blob) detections self.net.forward() faces [] for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence self.conf_threshold: box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) # 邊界保護(hù) x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) faces.append((x1, y1, x2, y2)) return faces提示這里的模型文件在OpenCV的官方GitHub倉(cāng)庫(kù)里就有搜索res10_300x300_ssd_iter_140000.caffemodel和deploy.prototxt下載后放到項(xiàng)目的models目錄即可。4.2 膚色分析與健康評(píng)分檢測(cè)到人臉之后我們需要進(jìn)一步分析皮膚狀態(tài)。這一步用到了HSV顏色空間轉(zhuǎn)換和色塊統(tǒng)計(jì)分析。我在賽道調(diào)試時(shí)發(fā)現(xiàn)一個(gè)很關(guān)鍵的問(wèn)題很多人對(duì)于膚色檢測(cè)的第一反應(yīng)是用RGB閾值但RGB對(duì)光照變化太敏感了同一個(gè)人的臉在室內(nèi)燈和自然光下顏色的數(shù)值差異非常大。而HSV色調(diào)、飽和度、亮度空間把顏色和亮度分離了所以用H和S通道做膚色分割更穩(wěn)定。下面是膚色分析的核心代碼def analyze_skin_health(face_roi): 輸入人臉ROI區(qū)域輸出健康評(píng)分指標(biāo) # 轉(zhuǎn)換到HSV顏色空間 hsv cv2.cvtColor(face_roi, cv2.COLOR_BGR2HSV) # 膚色范圍HSV空間的典型閾值可根據(jù)實(shí)際場(chǎng)景微調(diào) lower_skin np.array([0, 30, 60], dtypenp.uint8) upper_skin np.array([25, 150, 240], dtypenp.uint8) skin_mask cv2.inRange(hsv, lower_skin, upper_skin) # 形態(tài)學(xué)操作去除噪點(diǎn)和填充孔洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) skin_mask cv2.morphologyEx(skin_mask, cv2.MORPH_OPEN, kernel) skin_mask cv2.morphologyEx(skin_mask, cv2.MORPH_CLOSE, kernel) # 計(jì)算膚色區(qū)域占比 total_pixels face_roi.shape[0] * face_roi.shape[1] skin_pixels np.count_nonzero(skin_mask) skin_ratio skin_pixels / total_pixels # 找異常色塊色斑、泛紅區(qū)域 # 在HSV中紅色/褐色區(qū)域的色調(diào)與正常膚色存在差異 lower_red np.array([0, 100, 100], dtypenp.uint8) upper_red np.array([10, 255, 255], dtypenp.uint8) red_mask cv2.inRange(hsv, lower_red, upper_red) red_ratio np.count_nonzero(red_mask) / total_pixels # 紋理粗糙度評(píng)估用Laplacian方差近似 gray cv2.cvtColor(face_roi, cv2.COLOR_BGR2GRAY) laplacian_var cv2.Laplacian(gray, cv2.CV_64F).var() # 綜合評(píng)分滿分100 score max(0, 100 - red_ratio * 500 - abs(laplacian_var - 500) / 20) return { skin_ratio: skin_ratio, red_ratio: red_ratio, texture_score: laplacian_var, health_score: min(100, score) }這個(gè)評(píng)分邏輯說(shuō)實(shí)話不夠醫(yī)學(xué)嚴(yán)謹(jǐn)?shù)诟?jìng)賽場(chǎng)景里足夠展示完整的采集-分析-反饋鏈路。如果想做得更專業(yè)可以把這里的傳統(tǒng)圖像特征換成訓(xùn)練好的分類模型比如MobileNetV2微調(diào)后區(qū)分痤瘡/正常皮膚后面我會(huì)講模型量化部署的方法。4.3 在RDK X3上跑膚色分析的速度實(shí)測(cè)很多做這個(gè)項(xiàng)目的同學(xué)會(huì)擔(dān)心——OpenCV的DNN模型在RDK X3上跑人臉檢測(cè)會(huì)不會(huì)很卡我實(shí)測(cè)的數(shù)據(jù)是這樣的人臉檢測(cè)OpenCV DNNSSD模型單幀約35msHSV轉(zhuǎn)換 膚色分析單幀約8ms整體端到端延遲約50ms相當(dāng)于20 FPS這個(gè)速度做實(shí)時(shí)分析完全沒(méi)問(wèn)題。而且要注意我們的分析邏輯只是在對(duì)齊好的人臉ROI上做的不是每幀全圖分析所以CPU占用其實(shí)很低。5. 智慧醫(yī)療核心功能二藥品自動(dòng)配送導(dǎo)航5.1 巡線與路口識(shí)別不靠視覺(jué)SLAM也能穩(wěn)定送藥藥品配送的導(dǎo)航方案我們最終沒(méi)有上激光雷達(dá)SLAM因?yàn)橘愵}場(chǎng)景是結(jié)構(gòu)化環(huán)境有固定床位、固定過(guò)道用巡線 路口標(biāo)志識(shí)別是最穩(wěn)、最不容易翻車的方案。巡線的實(shí)現(xiàn)非常經(jīng)典把攝像頭畫面轉(zhuǎn)成二值圖后提取每一行的中心線位置用加權(quán)平均得出小車相對(duì)引導(dǎo)線的橫向偏移再用PID控制轉(zhuǎn)向。def get_line_center(frame): 從底部圖像區(qū)域提取引導(dǎo)線中心位置 h, w frame.shape[:2] # 只取畫面底部三分之二作為巡線區(qū)域 roi frame[int(h*0.3):, :] gray cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) # 引導(dǎo)線是黑色背景上的白色膠帶或白色背景上的黑色膠帶 _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) # 逐行掃描計(jì)算每行白色像素的中心 centers [] for row in range(binary.shape[0]): row_data binary[row, :] indices np.where(row_data 0)[0] if len(indices) 0: centers.append(np.mean(indices)) if len(centers) 0: return w // 2, False # 沒(méi)找到線 # 對(duì)中心點(diǎn)取平均并映射回原圖坐標(biāo) offset int(h * 0.3) line_center int(np.mean(centers)) return line_center, True這一步的細(xì)節(jié)在于巡線區(qū)域不是全圖而是只取底部2/3。因?yàn)閿z像頭安裝在小車前方近距離的線最可靠遠(yuǎn)處的線會(huì)因?yàn)橐暯顷P(guān)系產(chǎn)生較大的透視誤差。5.2 路口識(shí)別與定點(diǎn)?？颗渌退幤沸枰≤囋谥付ǖ拇参磺巴Ｏ聛?lái)。我用了一個(gè)非常實(shí)用的策略——在床位的正前方地面貼一張ArUco碼小車每次經(jīng)過(guò)路口時(shí)檢測(cè)畫面中是否存在ArUco碼識(shí)別到對(duì)應(yīng)的ID就停車。ArUco碼的方案比RFID地標(biāo)或者色卡都更穩(wěn)定因?yàn)榧词箶z像頭視角有偏移OpenCV的ArUco模塊也能準(zhǔn)確還原出碼的位置和ID。import cv2 from cv2 import aruco def detect_aruco_id(frame): 檢測(cè)畫面中的ArUco碼返回ID列表 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) aruco_dict aruco.getPredefinedDictionary(aruco.DICT_ARUCO_ORIGINAL) parameters aruco.DetectorParameters() detector aruco.ArucoDetector(aruco_dict, parameters) corners, ids, rejected detector.detectMarkers(gray) return ids, corners在停車邏輯上我用的是距離閾值 方向角判斷雙條件。當(dāng)ArUco碼在畫面中的面積超過(guò)一定像素說(shuō)明已經(jīng)足夠近且碼的中心位于畫面中線偏下時(shí)觸發(fā)停車。這樣可以避免在側(cè)向經(jīng)過(guò)場(chǎng)景下誤停。5.3 配送調(diào)度狀態(tài)機(jī)整個(gè)配送任務(wù)里的行為切換我寫成了一個(gè)簡(jiǎn)單的狀態(tài)機(jī)運(yùn)行在/navigation節(jié)點(diǎn)中狀態(tài)觸發(fā)條件執(zhí)行動(dòng)作IDLE任務(wù)開(kāi)始前原地等待接收指令SEARCH_LINE初始位置不在線上旋轉(zhuǎn)180度尋找引導(dǎo)線FOLLOW_LINE檢測(cè)到引導(dǎo)線PID巡線前進(jìn)STOP_AT_BED檢測(cè)到目標(biāo)ArUco碼且距離足夠近減速停車播報(bào)到站通知DELIVER_DONE停留2秒后語(yǔ)音提示藥品已送達(dá)任務(wù)結(jié)束有了狀態(tài)機(jī)之后邏輯就特別清晰了。每一步只需要處理當(dāng)前狀態(tài)下的事件不用在各種if-else之間亂跳。6. 模型量化與部署把PyTorch模型塞進(jìn)BPU前面提到如果不想用傳統(tǒng)圖像處理而是想上真正的深度學(xué)習(xí)分類模型RDK X3對(duì)PyTorch/ONNX模型有完整轉(zhuǎn)換鏈路。這里我把流程走一遍。6.1 訓(xùn)練與導(dǎo)出ONNX假設(shè)我們要訓(xùn)練一個(gè)痤瘡/正常皮膚的二分類模型選MobileNetV2作為backbone分類網(wǎng)絡(luò)用MobileNetV2在嵌入式設(shè)備上推理速度快、模型小。訓(xùn)練完成后需要先導(dǎo)出為ONNX格式。import torch import torch.nn as nn from torchvision import models, transforms # 以MobileNetV2為例 model models.mobilenet_v2(pretrainedTrue) # 修改最后一層為二分類 model.classifier[1] nn.Linear(model.classifier[1].in_features, 2) # 加載訓(xùn)練好的權(quán)重 model.load_state_dict(torch.load(skin_classifier.pth)) model.eval() # 導(dǎo)出ONNX dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, skin_classifier.onnx, opset_version11, input_names[input], output_names[output]) print(ONNX導(dǎo)出完成)6.2 地平線工具鏈轉(zhuǎn)換流程在RDK X3上部署模型走的是地平線的OE工具鏈在PC端完成轉(zhuǎn)換命令大致如下# 安裝地平線模型轉(zhuǎn)換工具在PC上執(zhí)行 pip install horizon_onnx2onnx horizon_model_toolkit # 轉(zhuǎn)換ONNX為horizon模型 hb_mapper makertbin --model-type onnx \ --model skin_classifier.onnx \ --output model_output \ --input-shape input:1,3,224,224 \ --calibration-data calib_images/ \ --calibration-type kl \ --quantize True這里有個(gè)很重要的概念量化校準(zhǔn)。BPU推理是int8精度的所以需要準(zhǔn)備一批校準(zhǔn)圖片大概20-50張工具會(huì)統(tǒng)計(jì)這些圖片在網(wǎng)絡(luò)各層的激活值分布從而找到最合適的量化參數(shù)。校準(zhǔn)圖片最好和真實(shí)場(chǎng)景分布一致——我一開(kāi)始隨便找了些網(wǎng)圖做校準(zhǔn)結(jié)果模型在實(shí)物上推理時(shí)準(zhǔn)確率掉了好幾個(gè)點(diǎn)。6.3 板端推理轉(zhuǎn)換完成后會(huì)得到一個(gè).board后綴的模型文件。在RDK X3上使用horizon_python_sdk加載模型進(jìn)行推理from horizon_tc_ui import HB_ONNXRuntime import cv2 import numpy as np # 加載horizon模型 sess HB_ONNXRuntime(model_fileskin_classifier.board) input_name sess.input_names[0] def predict_skin(img_bgr): # 預(yù)處理resize到224x224歸一化 img cv2.resize(img_bgr, (224, 224)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 img img.transpose(2, 0, 1)[np.newaxis, ...] output sess.run([], {input_name: img})[0] cls_id np.argmax(output) confidence np.max(output) return cls_id, confidence整個(gè)轉(zhuǎn)換鏈路做熟之后從PyTorch訓(xùn)練到板端推理大約2小時(shí)能跑通。對(duì)競(jìng)賽而言這個(gè)周期完全可接受。7. 完整代碼整合主控節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)上面各功能模塊都說(shuō)明白了接下來(lái)我把所有代碼整合成一個(gè)可運(yùn)行的項(xiàng)目并解釋主控節(jié)點(diǎn)的實(shí)現(xiàn)。項(xiàng)目目錄結(jié)構(gòu)smart_medical_car/ ├── models/ │ ├── deploy.prototxt │ └── res10_300x300_ssd_iter_140000.caffemodel ├── src/ │ ├── face_detector.py │ ├── skin_analyzer.py │ ├── line_follower.py │ ├── aruco_navigator.py │ └── main.py ├── scripts/ │ ├── calibrate_camera.py │ └── generate_aruco.py └── requirements.txt主控節(jié)點(diǎn)main.py的代碼思路是創(chuàng)建各個(gè)功能模塊的實(shí)例然后在ROS 2的定時(shí)回調(diào)里依次執(zhí)行采集、感知、決策、控制。如果是單機(jī)直跑不跑ROS 2主循環(huán)也差不多。import cv2 import time from face_detector import FaceDetector from skin_analyzer import analyze_skin_health from line_follower import LineFollower from aruco_navigator import ArucoNavigator import RPi.GPIO as GPIO # RDK X3可通過(guò)GPIO控制 class SmartMedicalCar: def __init__(self): # 初始化各模塊 self.face_detector FaceDetector( proto_pathmodels/deploy.prototxt, model_pathmodels/res10_300x300_ssd_iter_140000.caffemodel ) self.line_follower LineFollower() self.aruco_navigator ArucoNavigator() # 任務(wù)配置 self.current_mode HEALTH_SCAN # 或 DELIVERY self.target_bed_id 1 self.health_result None # 攝像頭 self.cap cv2.VideoCapture(0) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) def run_health_scan(self): 健康初篩模式采集10幀進(jìn)行分析求平均分?jǐn)?shù) scores [] for _ in range(10): ret, frame self.cap.read() if not ret: continue faces self.face_detector.detect_faces(frame) if len(faces) 0: # 取最大的人臉區(qū)域 x1, y1, x2, y2 max(faces, keylambda f: (f[2]-f[0])*(f[3]-f[1])) face_roi frame[y1:y2, x1:x2] result analyze_skin_health(face_roi) scores.append(result[health_score]) time.sleep(0.1) if scores: avg_score sum(scores) / len(scores) print(f皮膚健康評(píng)分: {avg_score:.1f} / 100) if avg_score 80: print(狀態(tài)健康皮膚狀態(tài)良好) elif avg_score 60: print(狀態(tài)注意建議保持作息規(guī)律) else: print(狀態(tài)警告建議前往皮膚科咨詢) return avg_score else: print(未檢測(cè)到人臉請(qǐng)調(diào)整位置) return None def run_delivery_task(self): 藥品配送模式巡線ArUco?？?self.aruco_navigator.reset() while True: ret, frame self.cap.read() if not ret: continue line_center, found self.line_follower.get_line_center(frame) ids, _ self.aruco_navigator.detect_aruco_id(frame) # 檢查是否到達(dá)目標(biāo)床位 if ids is not None and self.target_bed_id in [int(i) for i in ids.flatten()]: self.line_follower.stop() print(f已到達(dá) {self.target_bed_id} 號(hào)床位藥品送達(dá)) break # 巡線控制 if found: error line_center - frame.shape[1] // 2 self.line_follower.set_pid(error) else: self.line_follower.slow_down() time.sleep(0.05) def main_loop(self): try: while True: print(\n選擇任務(wù)1健康初篩 2藥品配送 q退出) cmd input() if cmd 1: self.current_mode HEALTH_SCAN self.run_health_scan() elif cmd 2: self.current_mode DELIVERY self.run_delivery_task() elif cmd q: break finally: self.cap.release() cv2.destroyAllWindows() if __name__ __main__: car SmartMedicalCar() car.main_loop()注意RDK X3上的GPIO引腳定義與樹(shù)莓派不完全一樣如果用GPIO控制電機(jī)參考RDK X3的40Pin針腳定義做對(duì)應(yīng)調(diào)整。我實(shí)際項(xiàng)目中因?yàn)槭褂昧藥Т诘碾姍C(jī)驅(qū)動(dòng)板所以代碼里沒(méi)有直接操作GPIO。8. 調(diào)試中最容易踩的5個(gè)坑8.1 攝像頭視角與畫面延遲的平衡第一版我用的攝像頭是垂直向下裝在車頂?shù)慕嵌鹊故悄芡暾吹揭龑?dǎo)線但人臉檢測(cè)幾乎用不了看不到正臉。后來(lái)我換成了30度左右的俯仰角安裝兼顧了巡線區(qū)域和人臉采集。如果你也需要同時(shí)做這兩個(gè)任務(wù)建議還是給攝像頭加一個(gè)舵機(jī)云臺(tái)按需調(diào)整角度。另外延時(shí)問(wèn)題也很重要。RDK X3跑720p30fps時(shí)如果所有節(jié)點(diǎn)都在同一個(gè)Python進(jìn)程里跑CPU占用會(huì)到80%以上。這時(shí)候畫面會(huì)卡頓導(dǎo)致巡線PID響應(yīng)變慢。我最終把分辨率降到640x480并開(kāi)啟了JPEG硬件編碼傳輸流暢度立刻上來(lái)了。8.2 PID參數(shù)不能只靠理論計(jì)算巡線PID的初始參數(shù)我一開(kāi)始參考網(wǎng)上的教程設(shè)的結(jié)果車開(kāi)起來(lái)蛇形走位一圈都跑不完就偏了。后來(lái)用了工程上常用的調(diào)參順序先把積分項(xiàng)I設(shè)為0只取比例項(xiàng)P從0.3開(kāi)始逐步增加直到車輛在直線段能穩(wěn)定居中但允許在彎道輕微偏移。加入微分項(xiàng)D從1.0開(kāi)始增加直到過(guò)彎時(shí)車身姿態(tài)穩(wěn)定、不甩尾。最后加一點(diǎn)積分項(xiàng)I用于消除巡線時(shí)的靜態(tài)偏差如電機(jī)轉(zhuǎn)速不一致導(dǎo)致的長(zhǎng)期偏航。最終我這邊的參數(shù)是P0.55I0.02D1.5。但這個(gè)參數(shù)換一輛車就不一定適用了核心還是理解每個(gè)參數(shù)對(duì)響應(yīng)的影響。8.3 ArUco碼檢測(cè)的遠(yuǎn)小近大誤判問(wèn)題ArUco碼在小車5米外就能被識(shí)別但此刻觸發(fā)停車顯然不合理。我做了一個(gè)簡(jiǎn)單的面積過(guò)濾只有當(dāng)目標(biāo)ID對(duì)應(yīng)的碼角點(diǎn)圍成的面積超過(guò)畫面總面積的2%時(shí)才認(rèn)為到了停車點(diǎn)。這個(gè)閾值需要根據(jù)你實(shí)際場(chǎng)地中貼碼的大小來(lái)調(diào)整。8.4 膚色檢測(cè)在賽場(chǎng)燈光下失效我第一次測(cè)試膚色分析是在實(shí)驗(yàn)室白熾燈下效果很好。結(jié)果到了賽場(chǎng)棚頂?shù)膹?qiáng)光燈一照整個(gè)畫面的色溫偏藍(lán)膚色分割的mask變得支離破碎。解決辦法是在膚色分析前加一步白平衡預(yù)處理。最簡(jiǎn)單的方式是OpenCV的灰度世界假設(shè)白平衡算法def white_balance(img): result cv2.cvtColor(img, cv2.COLOR_BGR2LAB) avg_a np.average(result[:, :, 1]) avg_b np.average(result[:, :, 2]) result[:, :, 1] result[:, :, 1] - ((avg_a - 128) * (result[:, :, 0] / 255.0) * 1.1) result[:, :, 2] result[:, :, 2] - ((avg_b - 128) * (result[:, :, 0] / 255.0) * 1.1) return cv2.cvtColor(result, cv2.COLOR_LAB2BGR)在進(jìn)入膚色分析前對(duì)ROI做一次這個(gè)處理膚色掩膜的質(zhì)量會(huì)穩(wěn)定很多。當(dāng)然這還是會(huì)消耗一點(diǎn)點(diǎn)CPU時(shí)間實(shí)測(cè)大概2ms可以接受。8.5 電池電壓對(duì)電機(jī)轉(zhuǎn)速的隱藏干擾編碼器測(cè)速和控制如果不閉環(huán)電池電壓從滿電12.6V降到11V的過(guò)程中同一PWM下的電機(jī)會(huì)明顯變慢。我們調(diào)試時(shí)遇到過(guò)上午跑得好好的下午跑歪了的問(wèn)題。解決的辦法是在電機(jī)控制中加基于編碼器的閉環(huán)速度控制PID控制不能用開(kāi)環(huán)PWM。如果項(xiàng)目時(shí)間緊沒(méi)有編碼器退而求其次的方法是在代碼里定時(shí)檢測(cè)電池電壓做PWM的線性補(bǔ)償。9. 競(jìng)賽演示技巧與答辯加分項(xiàng)項(xiàng)目代碼和功能做扎實(shí)只是第一步現(xiàn)場(chǎng)演示和答辯表現(xiàn)同樣重要。根據(jù)我的參賽體會(huì)這幾個(gè)細(xì)節(jié)能幫你多拿不少分。9.1 演示腳本的講故事設(shè)計(jì)評(píng)委看演示通常會(huì)關(guān)注這個(gè)項(xiàng)目到底解決什么問(wèn)題。我當(dāng)時(shí)把演示流程設(shè)計(jì)為開(kāi)場(chǎng)階段讓小車在場(chǎng)地中自主巡線一周屏幕實(shí)時(shí)顯示攝像頭畫面和識(shí)別框突出感知-決策-執(zhí)行的完整性。健康初篩環(huán)節(jié)請(qǐng)一位觀眾坐小車前方小車自動(dòng)識(shí)別并播報(bào)皮膚健康評(píng)分屏幕上同步展示人臉檢測(cè)框和膚色分布圖。送藥環(huán)節(jié)在手機(jī)/電腦上輸入1號(hào)床配送小車自動(dòng)行駛到1號(hào)床位置播報(bào)藥品已送達(dá)并顯示ArUco碼ID。這套流程下來(lái)評(píng)委能看到的東西非常直觀人臉檢測(cè)、圖像處理、決策調(diào)度、精準(zhǔn)?？棵恳粋€(gè)技術(shù)點(diǎn)都對(duì)應(yīng)一個(gè)明確的看得見(jiàn)的結(jié)果。9.2 數(shù)據(jù)可視化工裝能讓答辯更有說(shuō)服力我專門做了一個(gè)小的可視化面板把攝像頭畫面、健康評(píng)分曲線、小車當(dāng)前狀態(tài)巡線中/?？恐袑?shí)時(shí)顯示在一塊副屏上。評(píng)委走過(guò)去不用問(wèn)就能看懂系統(tǒng)的工作步驟。這比臨時(shí)打開(kāi)終端解釋一坨日志強(qiáng)得多。9.3 如何應(yīng)對(duì)你這個(gè)方案有什么短板的提問(wèn)誠(chéng)實(shí)地講這個(gè)方案肯定有不足。比如膚色分析受光照影響、導(dǎo)航依賴地面標(biāo)志、無(wú)法處理動(dòng)態(tài)障礙等。如果被問(wèn)到不用慌這樣組織回答思路先承認(rèn)局限當(dāng)前方案在設(shè)計(jì)時(shí)優(yōu)先考慮了賽題場(chǎng)景下的穩(wěn)定性所以選擇了傳統(tǒng)圖像處理和固定路標(biāo)方案。再談演進(jìn)方向如果要落地到真實(shí)醫(yī)院環(huán)境可以替換為更魯棒的深度學(xué)習(xí)皮膚分析模型并將巡線導(dǎo)航升級(jí)為基于激光雷達(dá)的SLAM自主導(dǎo)航。這樣的回答既展示了你對(duì)技術(shù)邊界的清醒認(rèn)知也體現(xiàn)了你思考過(guò)后續(xù)的工程化路徑。10. 對(duì)準(zhǔn)備參加智能車競(jìng)賽的同學(xué)說(shuō)幾句實(shí)在話最后說(shuō)點(diǎn)項(xiàng)目之外的體會(huì)。地瓜機(jī)器人這套平臺(tái)現(xiàn)在很適合做創(chuàng)意賽項(xiàng)目因?yàn)樗阎悄艿拈T檻降低了——你不用花大量時(shí)間調(diào)內(nèi)核、適配驅(qū)動(dòng)可以把精力集中在行業(yè)應(yīng)用場(chǎng)景的算法與交互設(shè)計(jì)上。但對(duì)參加智能車競(jìng)賽的同學(xué)來(lái)說(shuō)我還是想強(qiáng)調(diào)三件事軟件架構(gòu)比功能堆疊更重要。如果你準(zhǔn)備用ROS 2一開(kāi)始就設(shè)計(jì)好節(jié)點(diǎn)劃分和消息接口后期擴(kuò)展新功能會(huì)快很多。不要等代碼寫到兩千行再回頭重構(gòu)那會(huì)非常痛苦。算法要分優(yōu)先級(jí)。競(jìng)賽現(xiàn)場(chǎng)突發(fā)情況很多與其把精力放在模型精度從90%提升到92%不如把時(shí)間花在異常處理上沒(méi)檢測(cè)到線怎么辦、連續(xù)幾幀沒(méi)看到ArUco碼怎么辦。系統(tǒng)穩(wěn)定性和魯棒性對(duì)最后成績(jī)的影響遠(yuǎn)大于那2%的精度。多留余量現(xiàn)場(chǎng)一定會(huì)有意外。電池沒(méi)充滿、場(chǎng)地光線不對(duì)、貼紙反光甚至工作人員走位擋住攝像頭這些事我都遇到過(guò)。準(zhǔn)備一套快速恢復(fù)操作的流程比臨時(shí)改代碼靠譜。我現(xiàn)在回過(guò)頭看這次項(xiàng)目最大的收獲不是獎(jiǎng)項(xiàng)或代碼量而是搞明白了從一個(gè)想法到一臺(tái)能穩(wěn)定跑起來(lái)的機(jī)器之間到底隔著多少細(xì)節(jié)。地瓜機(jī)器人也好其他平臺(tái)也罷真正難的從來(lái)不是某個(gè)單點(diǎn)技術(shù)而是把感知、決策、控制、交互這些環(huán)節(jié)像齒輪一樣咬合起來(lái)的綜合能力。如果你也在做類似的項(xiàng)目或者在調(diào)試中卡住了歡迎在評(píng)論區(qū)帶上你的具體問(wèn)題來(lái)聊。代碼和思路都不難但每個(gè)人踩坑的位置不一樣把自己的經(jīng)驗(yàn)在社區(qū)里攤開(kāi)來(lái)分享進(jìn)步會(huì)快得多。