1. 先把你要做哪一類(lèi)AR這件事定下來(lái)第一次讓一個(gè)虛擬方塊穩(wěn)穩(wěn)停在自己家茶幾上大概是想入門(mén)AR開(kāi)發(fā)的人最想體驗(yàn)的那個(gè)瞬間。但真正動(dòng)手之后你會(huì)發(fā)現(xiàn)卡住你的從來(lái)不是增強(qiáng)現(xiàn)實(shí)這四個(gè)字背后的數(shù)學(xué)而是工程配置、版本對(duì)齊、真機(jī)調(diào)試這些看起來(lái)毫無(wú)美感的部分。我?guī)н^(guò)幾批零基礎(chǔ)的同學(xué)做AR練手項(xiàng)目最后放棄的人里九成不是因?yàn)樗惴](méi)搞懂而是因?yàn)榇虬鰜?lái)黑屏、或者地面上那個(gè)方塊一直漂來(lái)漂去找不到人問(wèn)。所以這篇內(nèi)容我想按真正能跑起來(lái)的順序來(lái)講而不是按教科書(shū)的順序。適合誰(shuí)看有最基礎(chǔ)的編程概念知道變量、函數(shù)、事件循環(huán)是什么、沒(méi)做過(guò)三維開(kāi)發(fā)、也沒(méi)接觸過(guò)AR的人?？赐昴銘?yīng)該能獨(dú)立做出一個(gè)掃描桌面、點(diǎn)一下屏幕、在桌面上放一個(gè)物體、用手勢(shì)縮放旋轉(zhuǎn)它的完整小應(yīng)用并且知道為什么每一步要這么做。在裝任何軟件之前有個(gè)問(wèn)題必須先回答清楚你到底要做哪一類(lèi)AR。這個(gè)問(wèn)題不問(wèn)清楚后面裝環(huán)境大概率白裝。AR不是一個(gè)單一技術(shù)它是一組能力不同能力對(duì)硬件、對(duì)框架版本、對(duì)設(shè)備的要求完全不一樣。選錯(cuò)路線的典型表現(xiàn)是教程跟著做了三天最后發(fā)現(xiàn)你要的效果所在的那套能力你手上這臺(tái)測(cè)試機(jī)根本不支持或者你選的框架壓根沒(méi)提供這個(gè)接口。1.1 四條常見(jiàn)路線以及它們各自吃什么硬件我通常把零基礎(chǔ)能接觸到的AR需求拆成四條路線這個(gè)分法不一定學(xué)術(shù)上嚴(yán)謹(jǐn)?shù)こ躺戏浅：糜谩５谝粭l是平面檢測(cè)加物體放置也就是識(shí)別地面、桌面這些水平或垂直面然后在上面擺東西。這條路的本質(zhì)是同步定位與地圖構(gòu)建SLAM設(shè)備一邊估計(jì)自己在空間里的位置一邊構(gòu)建環(huán)境地圖順便把地圖里近似平坦的區(qū)域擬合成平面。它吃的是設(shè)備的攝像頭、慣性測(cè)量單元IMU和算力絕大多數(shù)中端以上的手機(jī)都支持不需要特殊硬件。第二條是圖像/標(biāo)記跟蹤識(shí)別一張?zhí)囟ǖ膱D片、海報(bào)、卡片識(shí)別到之后在圖片上方疊內(nèi)容。它的原理是預(yù)先對(duì)目標(biāo)圖片做特征提取運(yùn)行時(shí)用相同算法提取攝像頭畫(huà)面的特征做匹配。這條路對(duì)硬件要求最低甚至老機(jī)型也能跑缺點(diǎn)是必須見(jiàn)過(guò)這張圖光照太暗或者角度太斜就認(rèn)不出來(lái)。第三條是面部跟蹤識(shí)別面部關(guān)鍵點(diǎn)和表情通常用于虛擬試戴、濾鏡。它需要人臉檢測(cè)能力深度攝像頭是加分項(xiàng)但不是必須。第四條是WebAR不裝App瀏覽器打開(kāi)鏈接就能用。它的優(yōu)勢(shì)是傳播成本極低劣勢(shì)是能力和性能都被瀏覽器限制復(fù)雜的三維渲染基本別想。我列個(gè)表把這幾條路線的關(guān)鍵差異擺在一起你做選型的時(shí)候可以直接對(duì)著看。路線核心能力硬件門(mén)檻跨端表現(xiàn)典型適用場(chǎng)景平面檢測(cè)空間定位、平面擬合、錨點(diǎn)中端以上手機(jī)深度傳感器可選iOS/Android 兩端都有原生能力家具擺放、虛擬量尺、互動(dòng)展陳圖像跟蹤特征匹配、六自由度姿態(tài)估計(jì)很低兩端支持良好包裝盒互動(dòng)、說(shuō)明書(shū)、卡片游戲面部跟蹤關(guān)鍵點(diǎn)檢測(cè)、表情系數(shù)中等兩端支持良好虛擬試戴、濾鏡、互動(dòng)玩偶WebAR依賴瀏覽器的有限能力看瀏覽器實(shí)現(xiàn)差異最大掃碼即玩的營(yíng)銷(xiāo)頁(yè)、輕量演示需要提醒一句這四條路線在工程上不是互斥的一個(gè)應(yīng)用里可以同時(shí)開(kāi)平面檢測(cè)和圖像跟蹤但每多開(kāi)一項(xiàng)能力性能預(yù)算和調(diào)試復(fù)雜度都會(huì)上一個(gè)臺(tái)階。零基礎(chǔ)階段我強(qiáng)烈建議只挑一條走通別一上手就全都要。1.2 選路線時(shí)我常問(wèn)的三個(gè)判斷問(wèn)題與其糾結(jié)技術(shù)名詞不如回答三個(gè)具體問(wèn)題答案基本能推出路線。第一個(gè)問(wèn)題你的內(nèi)容需要知道自己在空間里的哪個(gè)位置嗎如果只是把一張海報(bào)變成會(huì)動(dòng)的動(dòng)畫(huà)內(nèi)容不需要知道自己離墻多遠(yuǎn)那圖像跟蹤就夠了別碰SLAMSLAM的調(diào)試成本是它的好幾倍。反過(guò)來(lái)如果你要把一個(gè)虛擬沙發(fā)擺進(jìn)客廳并且能從不同角度走過(guò)去看那就必須走平面檢測(cè)這條線沒(méi)有第二條路。第二個(gè)問(wèn)題用戶是專門(mén)打開(kāi)你的應(yīng)用還是掃個(gè)碼就看前者可以接受裝App、接受權(quán)限彈窗、接受請(qǐng)緩慢移動(dòng)設(shè)備的引導(dǎo)流程后者不行用戶從掃碼到看到內(nèi)容如果超過(guò)五秒流失率會(huì)非常難看。這個(gè)判斷直接決定你是做原生應(yīng)用還是做WebAR。第三個(gè)問(wèn)題你的目標(biāo)設(shè)備清單里最老的那臺(tái)是什么這一條最容易被忽略。AR應(yīng)用不是開(kāi)發(fā)機(jī)跑得動(dòng)就行你要考慮用戶手里那臺(tái)用了三年的中端機(jī)。平面檢測(cè)在低端機(jī)上的表現(xiàn)是平面識(shí)別慢、物體漂移明顯、發(fā)熱嚴(yán)重。如果你的用戶群設(shè)備跨度大要么降低效果預(yù)期要么在應(yīng)用里做能力檢測(cè)和降級(jí)。提示能力檢測(cè)不是可選項(xiàng)。上線前一定要在代碼里判斷當(dāng)前設(shè)備是否支持AR會(huì)話不支持時(shí)給出明確提示而不是讓用戶對(duì)著黑屏發(fā)呆。1.3 為什么我建議小白從平面檢測(cè)起步雖然圖像跟蹤技術(shù)門(mén)檻更低、更容易一次跑通但我仍然建議零基礎(chǔ)的人從平面檢測(cè)開(kāi)始練手理由不是它簡(jiǎn)單而是它把AR開(kāi)發(fā)里最核心的幾個(gè)概念一次性暴露給你會(huì)話Session、跟蹤對(duì)象Trackable、錨點(diǎn)Anchor、姿態(tài)Pose、射線檢測(cè)Raycast。這幾個(gè)概念在面部跟蹤、圖像跟蹤里同樣存在只是名字和用法略有差異。你把這套心智模型建立起來(lái)?yè)Q能力只是換API。反過(guò)來(lái)如果從圖像跟蹤入門(mén)你很可能會(huì)寫(xiě)出一個(gè)能跑但完全不理解為什么能跑的Demo等到要加平面檢測(cè)的時(shí)候之前那套代碼幾乎全部要重寫(xiě)。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)太多這種返工。另外還有一個(gè)現(xiàn)實(shí)原因平面檢測(cè)的調(diào)試反饋?zhàn)钪庇^。物體放上去穩(wěn)不穩(wěn)、漂不漂、跟著手機(jī)轉(zhuǎn)的時(shí)候跟不跟得住肉眼一看就知道。這對(duì)建立調(diào)試直覺(jué)非常重要。2. 開(kāi)發(fā)環(huán)境搭建真正容易卡住人的三個(gè)環(huán)節(jié)環(huán)境搭建這部分網(wǎng)上的教程普遍寫(xiě)得太順好像點(diǎn)幾下就裝好了。實(shí)際情況是零基礎(chǔ)的人在這一步花掉整個(gè)項(xiàng)目一半時(shí)間都很正常。我把常見(jiàn)的卡點(diǎn)歸成三類(lèi)硬件與系統(tǒng)、版本對(duì)齊、工程配置。這三類(lèi)問(wèn)題的排查思路完全不同混在一起想會(huì)非常痛苦。2.1 硬件與系統(tǒng)那些教程里不會(huì)寫(xiě)的隱性要求先說(shuō)測(cè)試設(shè)備。移動(dòng)端AR開(kāi)發(fā)必須用真機(jī)模擬器和編輯器里的預(yù)覽都不能替代真機(jī)驗(yàn)證因?yàn)閿z像頭、IMU、以及底層的空間定位能力在編輯器里都是模擬的模擬數(shù)據(jù)不會(huì)告訴你平面識(shí)別到底準(zhǔn)不準(zhǔn)。這一條沒(méi)有例外。設(shè)備選擇上有個(gè)細(xì)節(jié)值得說(shuō)帶深度傳感器比如飛行時(shí)間傳感器或激光雷達(dá)的機(jī)型在平面檢測(cè)的啟動(dòng)速度和低光照表現(xiàn)上明顯更好因?yàn)樗蓄~外的深度信息輔助。但你的應(yīng)用不能依賴深度傳感器因?yàn)榇蟛糠钟脩羰掷餂](méi)有。開(kāi)發(fā)階段用帶深度的機(jī)器調(diào)試會(huì)給你過(guò)于樂(lè)觀的體驗(yàn)建議至少留一臺(tái)不帶深度傳感器的中端機(jī)做對(duì)照測(cè)試。系統(tǒng)版本方面Android端平面檢測(cè)能力對(duì)系統(tǒng)版本有下限要求一般要求7.0以上iOS端也有對(duì)應(yīng)的下限。這不是框架的限制是底層運(yùn)行時(shí)能力的限制改代碼解決不了。所以工程里的最低系統(tǒng)版本一定要設(shè)對(duì)設(shè)低了運(yùn)行時(shí)會(huì)直接失敗。還有一個(gè)隱性要求是攝像頭權(quán)限和傳感器可用性。有些設(shè)備雖然系統(tǒng)版本夠但攝像頭被其他應(yīng)用占用、或者系統(tǒng)里禁用了某些傳感器AR會(huì)話會(huì)啟動(dòng)失敗。這類(lèi)失敗在日志里的表現(xiàn)通常很含糊后面第4節(jié)我會(huì)給出具體的排查順序。2.2 引擎與AR框架的版本對(duì)齊這是最大的坑零基礎(chǔ)做AR最省事的組合是一個(gè)跨平臺(tái)三維引擎 一個(gè)跨平臺(tái)AR框架?？缙脚_(tái)AR框架的價(jià)值在于它把iOS和Android兩套完全不同的底層AR能力抽象成同一套接口你寫(xiě)一份代碼兩端都能跑。如果不做這層抽象你得寫(xiě)兩套完全不同的實(shí)現(xiàn)零基礎(chǔ)基本不可能。但跨平臺(tái)框架有個(gè)代價(jià)它和引擎版本是強(qiáng)綁定的?？蚣艿拿總€(gè)大版本都要求引擎在某個(gè)版本區(qū)間內(nèi)裝錯(cuò)了就是一堆編譯錯(cuò)誤或者運(yùn)行時(shí)找不到接口。我見(jiàn)過(guò)最多的場(chǎng)景是跟著一個(gè)兩年前的教程做教程里的框架版本和老引擎配套而你裝了最新引擎結(jié)果組件名字都變了教程里的步驟根本對(duì)不上。下面這張表是我整理出的常見(jiàn)配套關(guān)系做項(xiàng)目時(shí)可以直接對(duì)照具體小版本號(hào)以官方發(fā)布說(shuō)明為準(zhǔn)這里給的是大方向引擎版本線配套AR框架大版本需要特別注意的地方2021.3 LTS5.x教程資料最多組件命名是舊的一套2022.3 LTS5.x 或 6.x6.x 在該版本線上支持有限保守選5.x2023.2 及以上6.x核心組件已改名老教程全部對(duì)不上這張表里最值得盯的是最后一行的那句核心組件已改名。在框架5.0之后原來(lái)那個(gè)負(fù)責(zé)管理AR相機(jī)和設(shè)備姿態(tài)的組件舊名是 ARSessionOrigin被替換成了新的命名XR Origin結(jié)構(gòu)調(diào)整過(guò)。這意味著你從網(wǎng)上找到的任何一篇2021年前后的教程里面讓你新建一個(gè)ARSessionOrigin的步驟在新版本里是找不到的。這不是你操作錯(cuò)了是版本變了。提示安裝框架時(shí)優(yōu)先用引擎自帶的包管理器安裝別手動(dòng)往工程里拖壓縮包。手動(dòng)拖入的包不會(huì)參與依賴解析后續(xù)升級(jí)或卸載會(huì)留下大量孤立文件報(bào)錯(cuò)信息還特別難讀。2.3 一個(gè)最小工程的必開(kāi)配置清單環(huán)境裝好之后新建工程接下來(lái)的配置項(xiàng)是決定能不能跑起來(lái)的關(guān)鍵。我把它們列成清單逐條核對(duì)不要跳。第一組包與插件。在包管理器里裝好AR框架本體。然后打開(kāi)工程設(shè)置里的XR插件管理XR Plug-in Management在對(duì)應(yīng)平臺(tái)頁(yè)簽下勾選AR插件。這一步漏掉的表現(xiàn)是場(chǎng)景里一切正常打包出去一片黑日志里提示沒(méi)有可用的AR提供方。這個(gè)坑幾乎每個(gè)新手都會(huì)踩一次。第二組渲染管線。用內(nèi)置渲染管線還是通用渲染管線URP會(huì)影響AR相機(jī)背景畫(huà)面的顯示方式。用URP的話需要額外處理相機(jī)背景否則會(huì)出現(xiàn)虛擬物體正常但看不到真實(shí)世界的現(xiàn)象。零基礎(chǔ)階段如果只是想跑通用內(nèi)置管線最省事如果要做正式項(xiàng)目建議一開(kāi)始就上URP因?yàn)楹竺孀龊筇幚砗托阅軆?yōu)化會(huì)方便很多晚改的成本更高。第三組平臺(tái)設(shè)置。Android端要把腳本后端切到IL2CPP、目標(biāo)架構(gòu)勾選ARM64、最低API等級(jí)設(shè)到AR能力要求的版本之上。iOS端要在打包設(shè)置里填好相機(jī)權(quán)限的用途說(shuō)明否則應(yīng)用一啟動(dòng)請(qǐng)求相機(jī)權(quán)限就會(huì)直接崩。這兩條都是硬性的缺一個(gè)都跑不起來(lái)。第四組場(chǎng)景結(jié)構(gòu)。一個(gè)能跑的最小場(chǎng)景里必須有四樣?xùn)|西會(huì)話組件負(fù)責(zé)啟動(dòng)和停止AR會(huì)話、相機(jī)管理組件負(fù)責(zé)把虛擬相機(jī)和真實(shí)設(shè)備姿態(tài)對(duì)齊、平面管理組件負(fù)責(zé)接收并管理檢測(cè)到的平面、以及一個(gè)用來(lái)接收點(diǎn)擊的邏輯腳本。這四樣缺一個(gè)要么沒(méi)畫(huà)面要么點(diǎn)不動(dòng)。配置完這四組先別急著做交互直接打包到真機(jī)跑一次。這一步的目的不是看效果是驗(yàn)證環(huán)境通了。如果此時(shí)能看到真實(shí)世界的畫(huà)面哪怕什么都沒(méi)有說(shuō)明相機(jī)鏈路、權(quán)限、插件全部正常后面出問(wèn)題就可以排除掉一大片范圍。這個(gè)先驗(yàn)證最小閉環(huán)的習(xí)慣能幫你省掉大量時(shí)間。3. 第一個(gè)能跑通的Demo從平面檢測(cè)到物體落位環(huán)境通了之后我們來(lái)做真正的功能。這一節(jié)我會(huì)把為什么這么寫(xiě)講清楚因?yàn)槠矫鏅z測(cè)這塊有太多人抄了代碼但完全不知道自己在抄什么一旦效果不對(duì)就無(wú)從下手。3.1 平面檢測(cè)到底在做什么很多人以為平面檢測(cè)是識(shí)別出桌子這個(gè)物體。不是的。它的實(shí)際過(guò)程大致是三步。第一步從攝像頭畫(huà)面里提取特征點(diǎn)。特征是畫(huà)面中那些有明顯紋理差異的角點(diǎn)、邊緣交匯處比如桌角的木紋、地磚的縫隙。純白的墻面幾乎沒(méi)有特征點(diǎn)所以你在白墻前面怎么晃都識(shí)別不出平面這不是bug。第二步靠特征點(diǎn)在連續(xù)幀之間的位移結(jié)合設(shè)備的加速度計(jì)和陀螺儀數(shù)據(jù)反推出相機(jī)自身在空間中的運(yùn)動(dòng)軌跡。這一步就是SLAM里的定位部分也是為什么框架會(huì)反復(fù)提示你緩慢移動(dòng)設(shè)備——移動(dòng)太慢特征點(diǎn)位移不明顯移動(dòng)太快特征點(diǎn)匹配不上都會(huì)導(dǎo)致跟蹤丟失。第三步把積累下來(lái)的三維特征點(diǎn)做平面擬合找出那些近似共面的大片區(qū)域輸出成平面對(duì)象附帶位置、朝向、邊界多邊形和尺寸。理解這三步之后很多玄學(xué)問(wèn)題就有解釋了為什么識(shí)別慢因?yàn)樘卣鼽c(diǎn)積累需要時(shí)間。為什么在純色桌面上一放就漂因?yàn)樘卣鼽c(diǎn)太少位置估計(jì)不穩(wěn)。為什么光照太暗效果差因?yàn)樘卣鼽c(diǎn)提取依賴圖像對(duì)比度。3.2 射線檢測(cè)與錨點(diǎn)物體為什么能釘在地上平面檢測(cè)出來(lái)之后用戶點(diǎn)屏幕我們需要知道他點(diǎn)的是空間里的哪個(gè)位置。做法是從屏幕點(diǎn)擊位置發(fā)一條射線穿過(guò)AR相機(jī)和已經(jīng)檢測(cè)到的平面求交交點(diǎn)就是目標(biāo)位置。這就是射線檢測(cè)。但只在交點(diǎn)位置實(shí)例化一個(gè)物體是不夠的。你會(huì)發(fā)現(xiàn)物體放上去之后隨著你走動(dòng)它會(huì)慢慢偏移走得越遠(yuǎn)偏得越多。原因是每幀的空間定位都有微小誤差誤差會(huì)累積。解決方式是給物體掛一個(gè)錨點(diǎn)錨點(diǎn)告訴系統(tǒng)這個(gè)虛擬物體和現(xiàn)實(shí)世界里的這塊區(qū)域是綁定的請(qǐng)你在每次重新定位時(shí)把它一起修正。有了錨點(diǎn)物體就會(huì)跟著平面的位姿更新而更新穩(wěn)定性會(huì)好很多。下面這段是放置邏輯的核心實(shí)現(xiàn)基于跨平臺(tái)AR框架的常見(jiàn)API你可以直接對(duì)照自己的版本改using System.Collections.Generic; using UnityEngine; using UnityEngine.XR.ARFoundation; using UnityEngine.XR.ARSubsystems; using UnityEngine.EventSystems; public class PlaceOnPlane : MonoBehaviour { public GameObject prefab; private ARRaycastManager raycastManager; private ARAnchorManager anchorManager; private readonly ListARRaycastHit hits new ListARRaycastHit(); void Awake() { raycastManager GetComponentARRaycastManager(); anchorManager GetComponentARAnchorManager(); } void Update() { if (Input.touchCount 0) return; Touch touch Input.GetTouch(0); if (touch.phase ! TouchPhase.Began) return; // 點(diǎn)在UI上時(shí)不要觸發(fā)放置否則按鈕和放置會(huì)同時(shí)響應(yīng) if (EventSystem.current ! null EventSystem.current.IsPointerOverGameObject(touch.fingerId)) return; // 只和平面多邊形內(nèi)部求交避免打到平面邊緣外側(cè) if (!raycastManager.Raycast(touch.position, hits, TrackableType.PlaneWithinPolygon)) return; ARRaycastHit hit hits[0]; ARPlane plane hit.trackable as ARPlane; if (plane null) return; // 關(guān)鍵一步把物體掛到錨點(diǎn)上而不是直接放在世界坐標(biāo) ARAnchor anchor anchorManager.AttachAnchor(plane, hit.pose); if (anchor null) return; Instantiate(prefab, anchor.transform.position, anchor.transform.rotation, anchor.transform); } }這段代碼里有三個(gè)地方值得單獨(dú)說(shuō)。第一個(gè)是TrackableType.PlaneWithinPolygon這個(gè)過(guò)濾條件。如果不加過(guò)濾射線可能打到平面的無(wú)限延伸面上也就是打到桌子邊緣外面懸空的空氣里用戶會(huì)覺(jué)得我明明點(diǎn)在桌子外面怎么東西飄在半空。加上這個(gè)條件只有真正落在已識(shí)別平面多邊形內(nèi)部才算命中。第二個(gè)是UI穿透判斷。沒(méi)有這段判斷你在屏幕上放一個(gè)重置按鈕點(diǎn)按鈕的同時(shí)也會(huì)在地上放一個(gè)物體。這是新手最常見(jiàn)的體驗(yàn)問(wèn)題而且很難自己想明白原因。第三個(gè)是AttachAnchor的返回值必須判空。在某些情況下比如平面剛被系統(tǒng)合并或移除錨點(diǎn)創(chuàng)建會(huì)失敗。不判空直接使用會(huì)得到一個(gè)空引用異常而這個(gè)異常在真機(jī)上往往表現(xiàn)為偶爾點(diǎn)一下沒(méi)反應(yīng)或者應(yīng)用直接閃退非常難查。3.3 交互層縮放、旋轉(zhuǎn)與選中反饋物體放上去之后如果只能看不能動(dòng)體驗(yàn)會(huì)很怪?；A(chǔ)的交互我建議就做三個(gè)單指拖動(dòng)移動(dòng)、雙指捏合縮放、雙指旋轉(zhuǎn)。實(shí)現(xiàn)思路上有個(gè)簡(jiǎn)單可靠的做法單指拖動(dòng)時(shí)不要直接改物體的世界坐標(biāo)而是重新做一次射線檢測(cè)把物體移動(dòng)到新的交點(diǎn)位置。這樣物體永遠(yuǎn)貼在平面上不會(huì)出現(xiàn)拖到半空的情況。雙指縮放則取兩指間距離的變化比例直接乘到物體的縮放上同時(shí)做一次上下限鉗制避免縮到看不見(jiàn)或者大到穿模。縮放這里有個(gè)容易忽略的問(wèn)題縮放比例要以物體的初始尺寸為基準(zhǔn)而不是每幀累乘。累乘的寫(xiě)法在手指移動(dòng)快的時(shí)候會(huì)失控因?yàn)橛|摸采樣和渲染幀率不同步。正確做法是記錄手勢(shì)開(kāi)始時(shí)的初始縮放值每幀用初始值 × 當(dāng)前距離 / 起始距離來(lái)賦值。選中反饋也值得花十分鐘做一下。最簡(jiǎn)單的方式是選中時(shí)給物體加一個(gè)描邊或者換一個(gè)材質(zhì)顏色同時(shí)把之前選中的物體恢復(fù)。別小看這個(gè)沒(méi)有選中反饋的AR應(yīng)用用戶完全不知道自己操作的是哪一個(gè)物體。4. 真機(jī)調(diào)試階段的典型故障與排查鏈路這一節(jié)是我認(rèn)為整篇內(nèi)容里最有價(jià)值的部分。前面所有步驟照著做大概率能過(guò)但真機(jī)調(diào)試階段的問(wèn)題千奇百怪而且網(wǎng)上的答案往往互相矛盾。我的建議是按鏈路順序排查不要憑感覺(jué)猜。4.1 打包后黑屏或攝像頭無(wú)畫(huà)面一條固定的排查順序黑屏是最高頻的問(wèn)題。我按從外到內(nèi)的順序排前面的排除了再往后走這樣不會(huì)亂。第一層權(quán)限。應(yīng)用啟動(dòng)時(shí)有沒(méi)有彈出相機(jī)權(quán)限請(qǐng)求如果沒(méi)有彈窗說(shuō)明權(quán)限聲明沒(méi)配對(duì)。Android端要檢查清單文件里的相機(jī)權(quán)限聲明是否被自動(dòng)注入iOS端要檢查打包設(shè)置里的相機(jī)用途說(shuō)明是否填寫(xiě)。權(quán)限聲明缺失的表現(xiàn)就是啟動(dòng)后立刻失敗不會(huì)有任何畫(huà)面。第二層AR插件是否啟用。打開(kāi)工程設(shè)置里的XR插件管理確認(rèn)當(dāng)前目標(biāo)平臺(tái)對(duì)應(yīng)的AR插件處于勾選狀態(tài)。注意這里是按平臺(tái)分別配置的你在Android頁(yè)簽勾了切到iOS頁(yè)簽還得再勾一次。切平臺(tái)后忘記重新勾選是昨天還好好的今天就不行了的經(jīng)典原因。第三層最低版本與架構(gòu)。Android的最低API等級(jí)如果低于AR能力要求AR會(huì)話會(huì)創(chuàng)建失敗。目標(biāo)架構(gòu)如果只勾了32位某些依賴庫(kù)會(huì)加載失敗。這兩個(gè)都在打包設(shè)置里一次配好不用再動(dòng)。第四層場(chǎng)景里的會(huì)話組件是否被禁用。有時(shí)候?yàn)榱苏{(diào)試其他功能把會(huì)話組件臨時(shí)關(guān)掉了忘了打開(kāi)。表現(xiàn)就是有相機(jī)畫(huà)面但沒(méi)有AR跟蹤。第五層渲染管線配置。如果用的是URP檢查AR相機(jī)背景的渲染方式是否配置正確。配置錯(cuò)誤的表現(xiàn)比較特殊能看到虛擬物體但背景是純色而不是真實(shí)畫(huà)面。這五層里前兩層能解決八成以上的黑屏問(wèn)題。如果五層都排除了還是黑屏去看真機(jī)日志日志里通常會(huì)明確寫(xiě)出沒(méi)有可用的AR提供方或者會(huì)話創(chuàng)建失敗這類(lèi)關(guān)鍵詞直接搜這幾個(gè)詞比逐行看日志效率高得多。4.2 平面識(shí)別慢、物體漂移成因不同解法也不同這兩個(gè)現(xiàn)象經(jīng)常被混為一談但成因完全不同。識(shí)別慢指的是對(duì)著桌面晃了半天還不出平面。常見(jiàn)原因有三個(gè)環(huán)境太暗或太亮導(dǎo)致特征點(diǎn)提取困難桌面是純色或反光材質(zhì)玻璃桌面是重災(zāi)區(qū)因?yàn)榉垂夂屯该鞫紩?huì)破壞特征匹配設(shè)備移動(dòng)方式不對(duì)要么太快要么太慢。前兩個(gè)只能換環(huán)境第三個(gè)可以在界面上加引導(dǎo)——用一個(gè)動(dòng)畫(huà)提示用戶緩慢平移設(shè)備這個(gè)小小的引導(dǎo)能顯著提升首次使用成功率成本幾乎為零。還有一個(gè)容易忽略的原因是平面管理組件的檢測(cè)模式設(shè)置。有些模式會(huì)主動(dòng)合并相鄰平面合并過(guò)程需要更多觀測(cè)數(shù)據(jù)表現(xiàn)就是平面出來(lái)得晚。如果你追求快速反饋可以調(diào)成更激進(jìn)的檢測(cè)模式代價(jià)是平面邊界可能不夠精確。物體漂移指的是物體放上去之后會(huì)慢慢移動(dòng)、或者跟著視角變化游走。這個(gè)問(wèn)題的成因通常不在平面檢測(cè)而在錨點(diǎn)沒(méi)有被正確使用。很多Demo代碼直接在世界坐標(biāo)實(shí)例化物體省掉了錨點(diǎn)那一步在小空間里短時(shí)間看不出問(wèn)題一旦走動(dòng)起來(lái)就原形畢露。檢查方式很簡(jiǎn)單把物體實(shí)例化成錨點(diǎn)的子物體看漂移是否明顯改善。如果用了錨點(diǎn)還是漂那就要看平面本身是不是穩(wěn)定。平面在被系統(tǒng)重新識(shí)別、合并、分割的時(shí)候位姿會(huì)更新掛在上面錨點(diǎn)的物體自然跟著動(dòng)。這個(gè)現(xiàn)象在小尺寸平面上尤其明顯比如一張A4紙大小的區(qū)域因?yàn)樾∑矫嬗^測(cè)數(shù)據(jù)少位姿估計(jì)不穩(wěn)定。解決辦法是引導(dǎo)用戶掃描更大面積或者等平面穩(wěn)定幾秒后再允許放置。4.3 兩端表現(xiàn)不一致從我這兒好好的到可控跨平臺(tái)開(kāi)發(fā)里最消耗耐心的一類(lèi)問(wèn)題是同一份代碼一端正常一端異常。我遇到過(guò)幾種典型情況列出來(lái)供你對(duì)照?，F(xiàn)象常見(jiàn)原因處理方向一端能識(shí)別平面另一端完全沒(méi)反應(yīng)目標(biāo)平臺(tái)的AR插件未啟用或系統(tǒng)版本低于要求檢查該平臺(tái)的插件勾選與最低版本設(shè)置一端物體貼地另一端懸空或陷進(jìn)地面兩端對(duì)平面朝向的約定不同代碼里沒(méi)做歸一化檢查放置時(shí)的旋轉(zhuǎn)處理別寫(xiě)死某個(gè)固定朝向一端流暢另一端卡頓掉幀兩端渲染配置或紋理壓縮格式差異統(tǒng)一渲染管線配置紋理按平臺(tái)選壓縮格式一端手勢(shì)靈敏另一端遲鈍觸摸事件坐標(biāo)系或屏幕DPI處理不同手勢(shì)閾值用屏幕比例計(jì)算不要用固定像素值最后一行那條特別值得說(shuō)。我見(jiàn)過(guò)一個(gè)項(xiàng)目縮放的手勢(shì)閾值寫(xiě)的是固定像素距離結(jié)果在高分辨率設(shè)備上手感極好在低分辨率設(shè)備上要手指張很大才開(kāi)始縮放。正確的做法是把閾值和屏幕尺寸掛鉤比如用屏幕短邊的百分比作為閾值單位。提示跨端問(wèn)題最有效的排查手段是在同一時(shí)刻、同一環(huán)境下、兩臺(tái)設(shè)備并排跑。分別跑的時(shí)候你會(huì)懷疑是不是環(huán)境光線變了并排跑能立刻排除掉這個(gè)變量。5. 從能跑的Demo到敢給人用的應(yīng)用Demo能跑和能交給別人用中間隔著的距離比想象中大。這一節(jié)講三件我認(rèn)為最關(guān)鍵的事光照、性能、內(nèi)容資產(chǎn)。5.1 光照估計(jì)虛擬物體落地的關(guān)鍵虛擬物體漂不漂亮是一回事像不像真的在場(chǎng)景里是另一回事。決定像不像的第一因素不是模型精度是光照匹配。AR框架一般提供光照估計(jì)能力從攝像頭畫(huà)面里估計(jì)出環(huán)境光的亮度和色溫然后你去調(diào)整場(chǎng)景里主光源的強(qiáng)度和顏色去匹配它。啟用之后的效果差異非常明顯——虛擬物體不再是一個(gè)亮度和環(huán)境脫節(jié)的貼紙而是會(huì)隨著真實(shí)環(huán)境變暗、變暖。更進(jìn)階的一步是環(huán)境探針Environment Probe和實(shí)時(shí)反射。它能讓虛擬物體表面的高光反射出周?chē)h(huán)境的顏色這個(gè)在金屬材質(zhì)和玻璃材質(zhì)上效果拔群。但如果你的目標(biāo)設(shè)備跨度大我建議做成可開(kāi)關(guān)的選項(xiàng)因?yàn)樗鼘?duì)性能有一定要求。還有陰影。真實(shí)物體是投影的沒(méi)有陰影的虛擬物體看起來(lái)永遠(yuǎn)是浮在地上的。移動(dòng)端的實(shí)時(shí)陰影開(kāi)銷(xiāo)不小一個(gè)性價(jià)比很高的折中方案是用一張預(yù)先烘焙的圓形軟陰影貼圖貼在物體正下方的平面上。它不精確但視覺(jué)心理上足以讓物體站住幾乎零開(kāi)銷(xiāo)。等性能有余量了再換真陰影。5.2 移動(dòng)端性能預(yù)算怎么定性能這塊我給一個(gè)我常用的預(yù)算表按中端機(jī)的目標(biāo)來(lái)你可以對(duì)著自己的設(shè)備調(diào)整。項(xiàng)目建議預(yù)算說(shuō)明目標(biāo)幀率穩(wěn)定30幀優(yōu)先掉幀會(huì)讓跟蹤抖動(dòng)比畫(huà)質(zhì)低更影響體驗(yàn)單場(chǎng)景三角面總數(shù)控制在10萬(wàn)以內(nèi)模型堆到幾十萬(wàn)面在手機(jī)上必然卡同屏繪制調(diào)用數(shù)盡量少于100用材質(zhì)合批和貼圖集來(lái)壓紋理單邊尺寸不超過(guò)2048移動(dòng)端再大收益很小內(nèi)存卻漲得厲害實(shí)時(shí)陰影光源數(shù)最多1個(gè)多個(gè)實(shí)時(shí)陰影光源在移動(dòng)端基本不可接受后處理謹(jǐn)慎啟用抗鋸齒優(yōu)先其他效果按需這張表里最容易超標(biāo)的是繪制調(diào)用數(shù)。零基礎(chǔ)的人做AR習(xí)慣一個(gè)物體一個(gè)材質(zhì)場(chǎng)景里放十幾個(gè)模型繪制調(diào)用就炸了。壓制的辦法是盡量共用材質(zhì)、把多張小圖合到一張貼圖集里、靜態(tài)的裝飾物合并成一個(gè)網(wǎng)格。這些操作在引擎里都有現(xiàn)成工具花半天學(xué)一下收益很大。另外還有一個(gè)AR特有的性能陷阱平面可視化對(duì)象本身的開(kāi)銷(xiāo)。為了讓用戶看到我識(shí)別到平面了大家都會(huì)給平面加一個(gè)半透明的可視化網(wǎng)格。檢測(cè)到的平面越多這些網(wǎng)格就越多開(kāi)銷(xiāo)會(huì)悄悄漲上去。建議做成一個(gè)掃描時(shí)顯示、放置后自動(dòng)隱藏的邏輯既省性能又讓畫(huà)面更干凈。5.3 模型資產(chǎn)的來(lái)源與瘦身零基礎(chǔ)的人最容易在模型上下載一堆高精度資源導(dǎo)進(jìn)引擎之后幀率斷崖式下跌。移動(dòng)端AR的模型我的經(jīng)驗(yàn)標(biāo)準(zhǔn)是單個(gè)物體的三角面盡量控制在幾萬(wàn)以內(nèi)紋理用壓縮格式動(dòng)畫(huà)盡量用骨骼動(dòng)畫(huà)而不是逐幀。模型來(lái)源有幾個(gè)方向一是自己用建模軟件做學(xué)習(xí)成本高但可控二是用程序化生成的幾何體方塊、圓柱這類(lèi)先驗(yàn)證功能功能性Demo完全不需要精細(xì)模型三是使用開(kāi)放授權(quán)的模型資源注意看清授權(quán)范圍特別是商用場(chǎng)景。不管從哪里來(lái)導(dǎo)入后都要做一遍瘦身刪掉看不見(jiàn)的內(nèi)部結(jié)構(gòu)、合并同材質(zhì)部件、降低紋理分辨率、烘焙掉不需要的實(shí)時(shí)光照。還有一個(gè)常被忽略的點(diǎn)是默認(rèn)姿態(tài)。不同來(lái)源的模型坐標(biāo)系朝向和縮放單位各不相同導(dǎo)入后常常出現(xiàn)物體躺著、或者尺寸像一棟樓。建議在代碼里做一層歸一化讀取模型的包圍盒按目標(biāo)真實(shí)尺寸自動(dòng)縮放這樣換模型不用改代碼。6. 走通第一個(gè)Demo之后接下來(lái)練什么跑通平面放置之后很多人會(huì)陷入下一步做什么的迷茫。我給一個(gè)簡(jiǎn)單的練手順序從易到難每一步都能獨(dú)立成為一個(gè)小作品。第一步做圖像跟蹤。找一張有豐富紋理的圖別用純色別用大面積重復(fù)圖案預(yù)先處理成識(shí)別庫(kù)運(yùn)行時(shí)識(shí)別到就在圖上疊一個(gè)內(nèi)容。這一步能讓你理解識(shí)別庫(kù)和實(shí)時(shí)匹配的關(guān)系工作量不大但效果很直觀。第二步做多物體管理與狀態(tài)持久化。在一個(gè)場(chǎng)景里放置多個(gè)物體能選中、能刪除、能拖動(dòng)并且退出應(yīng)用再進(jìn)能恢復(fù)之前放的東西。這一步會(huì)逼你處理數(shù)據(jù)結(jié)構(gòu)和序列化是Demo到應(yīng)用的必經(jīng)之路。第三步做一次完整的用戶引導(dǎo)流程。包括啟動(dòng)時(shí)檢測(cè)設(shè)備是否支持AR、提示用戶移動(dòng)設(shè)備掃描環(huán)境、檢測(cè)到平面后提示可以放置、跟蹤丟失時(shí)提示恢復(fù)。這套引導(dǎo)看起來(lái)是體驗(yàn)設(shè)計(jì)實(shí)際上它對(duì)成功率的提升比任何算法優(yōu)化都大因?yàn)锳R應(yīng)用的失敗大多發(fā)生在最初的十秒。第四步嘗試加一個(gè)輕量的服務(wù)端能力。比如讓兩個(gè)設(shè)備看到同一個(gè)虛擬物體擺在同一位置多人共享空間錨點(diǎn)或者把放置結(jié)果保存下來(lái)同步到另一個(gè)設(shè)備。這一步會(huì)引入網(wǎng)絡(luò)同步和坐標(biāo)系對(duì)齊的問(wèn)題難度明顯上一個(gè)臺(tái)階但做完之后你對(duì)AR的理解會(huì)完全不一樣。最后分享一個(gè)我在實(shí)際操作中體會(huì)到的小技巧每加一個(gè)新功能都先在只有幾何體的極簡(jiǎn)場(chǎng)景里驗(yàn)證驗(yàn)證通過(guò)再往正式場(chǎng)景里搬。AR的調(diào)試鏈路很長(zhǎng)編輯器、打包、真機(jī)、環(huán)境光線在復(fù)雜場(chǎng)景里排查一個(gè)新功能的問(wèn)題你會(huì)同時(shí)面對(duì)十幾個(gè)變量。用幾何體搭一個(gè)實(shí)驗(yàn)室場(chǎng)景能讓你把變量一個(gè)個(gè)摘出來(lái)。這個(gè)習(xí)慣我保持了幾年每次都能省下大量時(shí)間。