第7章運(yùn)動(dòng)控制與規(guī)劃 (The Cerebellum)7.1 經(jīng)典控制理論P(yáng)ID、MPC 與 WBC盡管強(qiáng)化學(xué)習(xí)RL和大模型在頂層規(guī)劃上大放異彩但在底層的毫秒級(jí)控制回路中基于模型的經(jīng)典控制理論 (Model-Based Control)依然是絕對(duì)的王者。它們具有可解釋性強(qiáng)、穩(wěn)定性可證、計(jì)算效率高的特點(diǎn)構(gòu)成了具身智能體的“小腦”。我們將從最簡(jiǎn)單的單關(guān)節(jié)控制講到最復(fù)雜的全身協(xié)調(diào)。1. PID 控制萬能的反饋調(diào)節(jié)器PID (比例-積分-微分)是控制理論的“瑞士軍刀”占據(jù)了工業(yè)控制 90% 以上的場(chǎng)景。在具身智能中它主要運(yùn)行在MCU (電機(jī)驅(qū)動(dòng)器)這一層級(jí)。三項(xiàng)之力P (Proportional)現(xiàn)在。誤差越大修正在力度越大。I (Integral)過去。消除穩(wěn)態(tài)誤差比如手臂舉著重物如果只有 P手臂會(huì)一直比目標(biāo)低一點(diǎn)點(diǎn)I 會(huì)累積這個(gè)誤差增加力度把手臂頂上去。D (Derivative)未來。預(yù)測(cè)誤差的變化趨勢(shì)提供阻尼Damping。防止手臂在到達(dá)目標(biāo)位置時(shí)沖過頭Overshoot。應(yīng)用場(chǎng)景FOC 電流環(huán)/速度環(huán)確保電機(jī)轉(zhuǎn)速嚴(yán)格跟隨指令。位置伺服讓機(jī)械臂關(guān)節(jié)精準(zhǔn)停在 90 度。局限PID 是“單入單出”SISO的它不知道別的關(guān)節(jié)在干什么也沒法處理多變量耦合比如手臂伸出去慣量變大PID 參數(shù)可能就不準(zhǔn)了。2. MPC (模型預(yù)測(cè)控制)具備預(yù)見能力的駕駛員MPC (Model Predictive Control)是一種更高級(jí)的控制策略。如果說 PID 是只看后視鏡誤差開車MPC 就是看著前擋風(fēng)玻璃預(yù)測(cè)開車。核心邏輯預(yù)測(cè)模型機(jī)器人心里有一個(gè)物理模型比如 FmaFma它能推演如果我未來 1 秒內(nèi)施加這些力我的身體狀態(tài)會(huì)怎么變化優(yōu)化求解在每一時(shí)刻它都要解一個(gè)優(yōu)化問題QP找到一組最優(yōu)的控制序列使得未來 N 步的狀態(tài)最接近目標(biāo)同時(shí)消耗能量最少且不違反約束比如關(guān)節(jié)不能反折電機(jī)扭矩不能超限。滾動(dòng)時(shí)域雖然算出了未來 10 步的動(dòng)作但只執(zhí)行第 1 步。下一毫秒根據(jù)新的傳感器反饋重新再算未來 10 步。具身智能中的應(yīng)用足式機(jī)器人落點(diǎn)規(guī)劃?rùn)C(jī)器狗在跑的時(shí)候MPC 會(huì)預(yù)測(cè)重心未來的軌跡從而決定下一腳踩在哪里能保持平衡。軌跡跟蹤保證無人車高速過彎時(shí)不側(cè)翻。優(yōu)勢(shì)天然處理約束 (Constraints)。它永遠(yuǎn)不會(huì)輸出一個(gè)會(huì)讓電機(jī)燒毀的指令。3. WBC (全身控制)化整為零的協(xié)調(diào)大師WBC (Whole-Body Control)是人形機(jī)器人和復(fù)雜多肢體機(jī)器人的核心算法。當(dāng)你想讓一個(gè) 20 個(gè)自由度的人形機(jī)器人“左手擦窗戶同時(shí)右手揮手還能單腳站立”時(shí)PID 和 MPC 就很難處理這種高度耦合的任務(wù)了。核心思想任務(wù)空間 (Task Space) - 關(guān)節(jié)空間 (Joint Space)用戶給出的指令是高層的Hand_Pos (x,y,z),Balance True。WBC 利用機(jī)器人的動(dòng)力學(xué)模型 (Dynamics)將這些高層任務(wù)映射為全身 n 個(gè)關(guān)節(jié)的力矩指令。多任務(wù)優(yōu)先級(jí) (Hierarchical Tasks)WBC 通過零空間投影 (Null-space Projection)技術(shù)實(shí)現(xiàn)了任務(wù)的優(yōu)先級(jí)管理優(yōu)先級(jí) 1 (最高)保持平衡。無論干什么重心投影點(diǎn) (CoM) 必須在腳掌支撐域內(nèi)。優(yōu)先級(jí) 2左手擦窗。優(yōu)先級(jí) 3右手揮手。優(yōu)先級(jí) 4 (最低)姿態(tài)優(yōu)化比如讓關(guān)節(jié)盡量處于舒適區(qū)省電。效果如果右手揮手幅度太大導(dǎo)致要摔倒了WBC 會(huì)自動(dòng)犧牲右手揮手的精度優(yōu)先保證不摔倒。應(yīng)用場(chǎng)景Atlas 機(jī)器人的后空翻。Tesla Optimus 行走時(shí)的手臂擺動(dòng)與腰部扭轉(zhuǎn)協(xié)調(diào)。小結(jié)PID是細(xì)胞級(jí)的反應(yīng)負(fù)責(zé)單個(gè)肌肉的收縮。MPC是小腦級(jí)的預(yù)判負(fù)責(zé)短時(shí)間內(nèi)的軌跡規(guī)劃與避險(xiǎn)。WBC是脊髓級(jí)的協(xié)調(diào)負(fù)責(zé)調(diào)動(dòng)全身肌肉去完成復(fù)雜的復(fù)合動(dòng)作并保證身體的物理一致性。這三者構(gòu)成了經(jīng)典控制的金字塔。在下一節(jié)我們將討論新興的強(qiáng)化學(xué)習(xí) (RL)如何挑戰(zhàn)并補(bǔ)充這個(gè)經(jīng)典體系特別是在處理復(fù)雜非結(jié)構(gòu)化地形時(shí)的魔力。7.2 強(qiáng)化學(xué)習(xí) (RL) 在運(yùn)動(dòng)控制中的應(yīng)用從行走到抓取經(jīng)典控制理論MPC/WBC雖然優(yōu)雅但極其依賴精確的物理模型。如果地面突然變軟泥潭或者機(jī)械臂抓起了一個(gè)重心未知的重物模型就會(huì)失效導(dǎo)致控制發(fā)散。深度強(qiáng)化學(xué)習(xí) (Deep Reinforcement Learning, DRL)提供了一種無需精確建模的解決方案。它通過與環(huán)境的億萬次交互利用神經(jīng)網(wǎng)絡(luò)直接擬合出從感知狀態(tài) (State)到動(dòng)作指令 (Action)的映射函數(shù)。1. 核心范式端到端學(xué)習(xí) (End-to-End Learning)輸入原始傳感器數(shù)據(jù)關(guān)節(jié)角度、IMU 加速度、甚至深度圖。輸出關(guān)節(jié)電機(jī)的位置或力矩指令。黑盒中間不再需要人工設(shè)計(jì)的狀態(tài)機(jī)或動(dòng)力學(xué)方程而是一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)Policy Network。獎(jiǎng)勵(lì)函數(shù) (Reward Function)這是人類唯一的干預(yù)手段。Reward 活著的時(shí)長(zhǎng) 前進(jìn)速度 - 摔倒懲罰 - 關(guān)節(jié)抖動(dòng)懲罰 - 能耗懲罰。通過最大化這個(gè)分?jǐn)?shù)機(jī)器人會(huì)自動(dòng)涌現(xiàn)出我們期望的行為。2. Locomotion (行走)征服復(fù)雜地形在四足機(jī)器人領(lǐng)域RL 已經(jīng)基本取代了經(jīng)典控制成為業(yè)界標(biāo)桿SOTA。盲視運(yùn)動(dòng) (Blind Locomotion)案例ETH Zurich 的 ANYmal 機(jī)器狗。原理訓(xùn)練一個(gè)基于本體感覺Proprioception的策略網(wǎng)絡(luò)。網(wǎng)絡(luò)不僅輸入當(dāng)前的關(guān)節(jié)狀態(tài)還輸入過去幾秒的歷史狀態(tài)。效果這種時(shí)序信息讓網(wǎng)絡(luò)能夠隱式地估計(jì)地形屬性。如果腳陷下去了網(wǎng)絡(luò)會(huì)“感覺”到并自動(dòng)抬高腿部軌跡。它能像山羊一樣在亂石堆、滑溜的雪地、甚至?xí)莸拇矇|上行走且極其魯棒。視覺運(yùn)動(dòng) (Visual Locomotion)進(jìn)階將深度相機(jī)的數(shù)據(jù)編碼后喂給 RL 網(wǎng)絡(luò)。效果機(jī)器人學(xué)會(huì)了“預(yù)判”?？吹角懊娴呐_(tái)階它會(huì)提前調(diào)整步幅Step Length精準(zhǔn)地踩在臺(tái)階邊緣而不是像盲視策略那樣踢到臺(tái)階再調(diào)整。動(dòng)作涌現(xiàn)有趣的是為了跑得更快更穩(wěn)RL 經(jīng)常會(huì)訓(xùn)練出一些非常自然的步態(tài)如小跑 Trot、飛奔 Gallop而工程師并沒有顯式地教它這些步態(tài)。3. Manipulation (抓取)解決靈巧操作難題相比于行走只有 12 個(gè)自由度靈巧手抓取20 自由度 物體接觸動(dòng)力學(xué)的維度災(zāi)難更加嚴(yán)重經(jīng)典控制幾乎無能為力。Dactyl (OpenAI)單手轉(zhuǎn)魔方。通過 LSTM 網(wǎng)絡(luò)記憶魔方的狀態(tài)利用 PPO 算法訓(xùn)練。它學(xué)會(huì)了極其復(fù)雜的手指協(xié)同甚至學(xué)會(huì)了利用重力把魔方撥正——這些微操是很難用代碼寫出來的。In-Hand Manipulation (手內(nèi)重操縱)任務(wù)手里拿著一支筆只用手指把筆轉(zhuǎn)一圈。難點(diǎn)需要頻繁地?cái)嚅_接觸、重新接觸Make and Break Contacts。RL 優(yōu)勢(shì)RL 天然不懼怕這種非連續(xù)的動(dòng)力學(xué)變化只要仿真器夠準(zhǔn)它就能學(xué)會(huì)“盤核桃”般的精細(xì)操作。Teacher-Student 蒸餾由于視覺輸入維度太高直接訓(xùn)練很難收斂。通常先在仿真中用“全知教師”知道物體精確 6D 姿態(tài)訓(xùn)練一個(gè)策略然后蒸餾給只能看點(diǎn)云的“學(xué)生網(wǎng)絡(luò)”。4. 混合架構(gòu)RL WBC 的中庸之道目前在人形機(jī)器人如 Digit, Optimus上純端到端 RL 還存在安全隱患神經(jīng)網(wǎng)絡(luò)是個(gè)黑盒可能會(huì)輸出不可預(yù)測(cè)的大力矩打壞自己。因此工業(yè)界傾向于采用RL 上層規(guī)劃 WBC 底層保底的架構(gòu)RL 層50Hz觀察地形輸出期望的落腳點(diǎn)、身體姿態(tài)和擺動(dòng)腿軌跡。它負(fù)責(zé)“隨WBC 層1kHz接收 RL 的指令結(jié)合精確的動(dòng)力學(xué)模型計(jì)算具體的關(guān)節(jié)力矩。它負(fù)責(zé)“物理一致性”和“硬約束”比如防止關(guān)節(jié)超限。這種組合既利用了 RL 適應(yīng)復(fù)雜地形的靈活性又保留了經(jīng)典控制的安全性和平滑性。小結(jié)強(qiáng)化學(xué)習(xí)讓機(jī)器人從“聽指令的木偶”變成了“有運(yùn)動(dòng)天賦的運(yùn)動(dòng)員”。在Locomotion領(lǐng)域RL 賦予了機(jī)器人像動(dòng)物一樣的地形適應(yīng)力。在Manipulation領(lǐng)域RL 讓機(jī)器人學(xué)會(huì)了像魔術(shù)師一樣的靈巧手法。但 RL 的不可解釋性依然是達(dá)摩克利斯之劍。在下一節(jié)我們將探討運(yùn)動(dòng)控制中的一個(gè)隱形殺手——延遲以及它是如何摧毀這些精妙算法的。7.3 延遲敏感性分析控制回路頻率與通信延遲的匹配關(guān)系在具身智能的控制系統(tǒng)中有一個(gè)至高無上的法則帶寬 (Bandwidth)。這里的帶寬不是指網(wǎng)速M(fèi)bps而是指系統(tǒng)能響應(yīng)多快變化的信號(hào)?？刂苹芈返念l率Frequency和通信延遲Latency共同決定了系統(tǒng)的帶寬上限。如果大腦發(fā)出指令的速度跟不上身體傾倒的速度機(jī)器人必摔無疑。1. 為什么是 1kHz (1ms)—— 香農(nóng)采樣定理的工程版在高性能機(jī)器人尤其是雙足、四足的底層控制中1kHz即 1ms 控制周期是一個(gè)事實(shí)上的行業(yè)標(biāo)準(zhǔn)。為什么物理動(dòng)態(tài)特性剛體動(dòng)力學(xué)告訴我們一個(gè)人形機(jī)器人失去平衡開始傾倒留給控制器挽救的時(shí)間窗口通常在30ms ~ 50ms左右。為了保證控制的平滑和穩(wěn)定我們需要在這個(gè)窗口內(nèi)進(jìn)行至少 20~50 次調(diào)整。50ms/501ms50ms/501ms。這就是 1kHz 的由來。電流環(huán)的需求在 FOC 電機(jī)控制中電流的變化速度極快電感效應(yīng)。為了控制電流波形采樣頻率通常高達(dá)10kHz ~ 20kHz50μs 周期。這通常由 MCU 硬件定時(shí)器完成不經(jīng)過操作系統(tǒng)。2. 通信延遲控制系統(tǒng)的“相位滯后”在控制理論中純延遲Time Delay e?Tse?Ts 會(huì)引入相位滯后。??ω×T??ω×T其中 ωω 是信號(hào)頻率TT 是延遲時(shí)間。相位裕度 (Phase Margin) 的吞噬者一個(gè)穩(wěn)定的控制系統(tǒng)通常需要 45°~60° 的相位裕度。如果通信延遲過大相位滯后超過了相位裕度系統(tǒng)就會(huì)進(jìn)入正反饋狀態(tài)——震蕩發(fā)散?，F(xiàn)象機(jī)器人的手臂開始像帕金森患者一樣高頻抖動(dòng)或者雙腿在站立時(shí)不斷前后搖擺。定量分析假設(shè)機(jī)器人要跟蹤一個(gè) 5Hz 的正弦動(dòng)作如快速跑步。若延遲 T1msT1ms相位滯后 ≈1.8°≈1.8°。忽略不計(jì)系統(tǒng)很穩(wěn)。若延遲 T20msT20ms典型 Wi-Fi 延遲相位滯后 ≈36°≈36°。系統(tǒng)極其危險(xiǎn)稍有擾動(dòng)就會(huì)失控。結(jié)論對(duì)于高動(dòng)態(tài)機(jī)器人通信延遲必須控制在 1/10 的動(dòng)作周期內(nèi)。3. 匹配關(guān)系短板效應(yīng)控制系統(tǒng)的整體性能取決于最慢的那個(gè)環(huán)節(jié)。環(huán)節(jié)典型頻率/耗時(shí)瓶頸分析感知 (Sensors)IMU: 1000Hz (1ms)br關(guān)節(jié)編碼器: 10kHz感知通常很快不是瓶頸。傳輸 (Bus)EtherCAT: 100μsbrUSB: 125μsbrWi-Fi 6: 5~10ms無線傳輸是最大的風(fēng)險(xiǎn)點(diǎn)。br有線總線通常足夠快。計(jì)算 (Compute)WBC 求解 (QP): 0.5~2msbrRL 推理: 0.1ms復(fù)雜的優(yōu)化算法MPC/WBC可能計(jì)算超時(shí)導(dǎo)致丟幀。執(zhí)行 (Actuation)電機(jī)響應(yīng): 1~5ms (機(jī)械慣性)物理慣性是無法消除的最終限制。1kHz vs 1ms 的匹配為了實(shí)現(xiàn) 1kHz 的控制頻率整個(gè)回路讀數(shù)據(jù)傳數(shù)據(jù)算數(shù)據(jù)發(fā)指令必須在1ms內(nèi)跑完。這意味著傳輸耗時(shí)不能超過200μs留給計(jì)算 800μs。這正是為什么我們強(qiáng)調(diào)EtherCAT和星閃 (SparkLink)的原因——只有它們能提供 100μs 的確定性傳輸。4. 應(yīng)對(duì)高延遲的策略如果必須使用高延遲鏈路如 5G 遙控怎么辦預(yù)測(cè)控制 (Predictive Control)既然數(shù)據(jù)晚到了我就用模型預(yù)測(cè)現(xiàn)在的狀態(tài)用預(yù)測(cè)值做控制。這能補(bǔ)償部分相位滯后但犧牲了精度。降低增益 (Low Gain)把 PID 的參數(shù)調(diào)小讓機(jī)器人變得“軟”一點(diǎn)、慢一點(diǎn)。雖然響應(yīng)慢了但不容易震蕩。本地反射 (Local Reflex)這是終極解法。把高頻的平衡控制回路1kHz下沉到機(jī)器人的本地 MCU 或 智能關(guān)節(jié)里。云端/上層只發(fā)送低頻的目標(biāo)指令10Hz如“向前走”。比喻就像大腦命令“走路”脊髓負(fù)責(zé)協(xié)調(diào)肌肉。大腦反應(yīng)慢點(diǎn)沒關(guān)系脊髓快就行。小結(jié)在運(yùn)動(dòng)控制中時(shí)間就是生命。1kHz是高性能機(jī)器人的及格線。通信延遲每增加1ms系統(tǒng)的穩(wěn)定性邊界就收縮一圈。架構(gòu)師的任務(wù)就是通過算力下沉和確定性網(wǎng)絡(luò)在物理延遲不可避免的情況下榨干每一微秒的控制裕度。至此第七部分“運(yùn)動(dòng)控制與規(guī)劃”結(jié)束。有了強(qiáng)健的體魄和敏捷的反應(yīng)機(jī)器人還需要可靠的組件來支撐這一切。接下來的第8章我們將進(jìn)入硬件工程的深水區(qū)——執(zhí)行器與機(jī)電一體化。