欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ARM Mali GPU鏈接實(shí)戰(zhàn):交叉編譯與libmali動(dòng)態(tài)庫加載指南

ARM Mali GPU鏈接實(shí)戰(zhàn):交叉編譯與libmali動(dòng)態(tài)庫加載指南 記得很多年前第一次把 OpenGL ES 程序跑在 ARM Linux 開發(fā)板上時(shí)卡在的不是shader寫錯(cuò)了而是程序一啟動(dòng)就報(bào)錯(cuò)找不到libmali.so。那時(shí)還沒有現(xiàn)在這么多現(xiàn)成工具鏈我折騰了一整天才弄明白所謂“ARM Mali GPU links”主要就是三條線交叉編譯鏈怎么選、GPU 用戶態(tài)驅(qū)動(dòng)庫怎么鏈接、運(yùn)行時(shí)怎么把libmali加載進(jìn)進(jìn)程。搞清楚這三條線你在 RK3399、RK3568、樹莓派或者飛騰平臺(tái)上調(diào) Mali 顯卡基本就是順?biāo)浦鄣氖隆_@篇內(nèi)容我按自己實(shí)際踩坑的順序整理先講整體思路和工具鏈選型再講編譯鏈接時(shí)的具體操作接著講運(yùn)行時(shí)動(dòng)態(tài)庫加載最后是問題排查速查表。內(nèi)容適合剛把 SDL/EGL/OpenGL ES 項(xiàng)目往 ARM 板上移植的開發(fā)者也適合想搞明白 “export LD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali”這行命令到底干了啥的運(yùn)維和 AI 部署工程師。1. 整體設(shè)計(jì)思路Mali 平臺(tái)上的“鏈接”到底在鏈接什么1.1 鏈接的本質(zhì)是讓 GPU 用戶態(tài)驅(qū)動(dòng)與你的應(yīng)用“對(duì)上話”ARM Mali 的 GPU 架構(gòu)里有一個(gè)非常明確的分工內(nèi)核側(cè)有 kbase/mali 驅(qū)動(dòng)用戶態(tài)側(cè)有 libmali.so。你的應(yīng)用程序不管是 EGLC 客戶端、Wayland compositor還是直接掉 OpenGL ES 的圖形程序在調(diào) EGL/GLES API 時(shí)實(shí)際是調(diào)用libmali.so里的入口再由這個(gè)庫通過 ioctl 把命令提交給內(nèi)核驅(qū)動(dòng)。整個(gè)過程里“l(fā)inks”這個(gè)詞體現(xiàn)在兩個(gè)層面第一層是編譯和靜態(tài)鏈接。你的應(yīng)用要能解析到eglCreateContext、glBufferData這類符號(hào)。在 PC 上NVIDIA 幫你把 libGL.so 塞進(jìn)了系統(tǒng)目錄但 ARM 嵌入式環(huán)境往往要你手動(dòng)指-L和-l。這一層出錯(cuò)通常發(fā)生在 cmake 交叉編譯時(shí)找不到庫文件或者鏈接時(shí)出現(xiàn)“undefined reference to eglCreateContext”。第二層是運(yùn)行時(shí)動(dòng)態(tài)加載。當(dāng)你敲下./my_gpu_app后動(dòng)態(tài)鏈接器要能按編譯時(shí)記錄的 SONAME 找到libmali.so以及它的依賴。如果你的板子鏡像預(yù)裝的庫路徑不是標(biāo)準(zhǔn)/usr/lib或者你手動(dòng)把不同版本的 mali 庫扔到倉庫目錄就需要通過LD_LIBRARY_PATH或 ldconfig 告訴動(dòng)態(tài)鏈接器。這一層出錯(cuò)就是經(jīng)典的error while loading shared libraries: libmali.so: cannot open shared object file: No such file or directory。我自己的實(shí)踐里這兩層問題往往同時(shí)出現(xiàn)編譯鏈配好了運(yùn)行又掛。所以你在做平臺(tái)移植時(shí)不妨先停下來把整個(gè)鏈接過程拆開審視一遍不要一上來就去調(diào) shader。1.2 交叉編譯鏈選型為什么別一上來就去翻 ARM Compiler 5.06熱搜詞里反復(fù)出現(xiàn) “arm compiler 5.06u7 下載”“arm compiler 5”我想提醒一下ARM Compiler 5.06RVCT 風(fēng)格確實(shí)是老嵌入式項(xiàng)目里的老朋友很多裸機(jī) SoC SDK 和早期 Mali 驅(qū)動(dòng)包都是用它編譯的。但對(duì)于跑 Linux 的 Mali GPU 項(xiàng)目我建議你優(yōu)先用Linaro GCC而不是 ARM Compiler 5.06。原因是這幾點(diǎn)一linaro gcc 是開源的版本迭代快對(duì) C11/14 和 OpenMP 支持好而 ARMCC 5.x 早就停止功能更新了二Mali 用戶態(tài)驅(qū)動(dòng)廠商比如 Rockchip 的 BSP一般提供的是已經(jīng)針對(duì) GCC 編好的.so你用 ARMCC 編應(yīng)用運(yùn)行時(shí)是去調(diào) GCC 編的動(dòng)態(tài)庫ABI 層面雖然大體兼容都是 EABI但遇到 C 異常處理、STL 符號(hào)版本這類問題調(diào)試成本會(huì)非常高三也是最實(shí)際的ARM Compiler 5.06 在老機(jī)器上還得配許可證折騰 License 的時(shí)間夠你編譯十遍內(nèi)核了。只有一種情況我會(huì)考慮 ARM Compiler 5.06項(xiàng)目里同時(shí)要編裸機(jī)固件比如 Mali 相關(guān)的安全固件或獨(dú)立的 GPU 微控制器程序且 SDK 強(qiáng)制要求 RVCT。這種情境下你可以繞過系統(tǒng) GCC單獨(dú)用 ARMCC 編出獨(dú)立的裸機(jī)鏡像但在 Linux 應(yīng)用側(cè)還是老實(shí)用 GCC/Linaro 的交叉編譯鏈。所以我這里給出一個(gè)非常直接的建議交叉編譯工具鏈選aarch64-linux-gnu-gcc版本不低于 9如果你需要 OpenMP確認(rèn)工具鏈里包含libgomp。如果你用的是 Rockchip Linux SDK里面自帶的交叉編譯鏈就是 prebuilt 的 linaro gcc直接export PATH$PATH:/opt/your_sdk/prebuilts/gcc/linux-x86/aarch64/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin即可。不要混用 kernel 編譯鏈和用戶態(tài)編譯鏈。Kernel module 和用戶態(tài)程序最好用同一套鏈避免 glibc 版本和符號(hào)版本差異帶來的問題。1.3 搞清楚你的 libmali 是哪種“馬甲”鏈接才不會(huì)錯(cuò)Mali 的“馬甲”多到讓人頭大同一個(gè) Rockchip BSP 里目錄下可能同時(shí)躺著libmali-midgard.so、libmali-bifrost.so、libmali-valhall.so或者帶-r32p0、-g2p0這類版本號(hào)尾巴的庫。我剛開始接觸時(shí)老是搞混以為隨便復(fù)制一個(gè)就行結(jié)果程序起來后 EGL 調(diào)用直接返回EGL_BAD_ALLOC。簡(jiǎn)單說Mali 驅(qū)動(dòng)跟 GPU 硬件代際強(qiáng)相關(guān)。你能在 SoC 數(shù)據(jù)手冊(cè)或內(nèi)核設(shè)備樹里看到 GPU 的型號(hào)比如 “Mali-T860”就是 Midgard 代對(duì)應(yīng)libmali-midgard.so“Mali-G52” 是 Bifrost 代對(duì)應(yīng)libmali-bifrost.soG78/G710 這類就是 Valhall 代。不同代際的 libmali 之間絕對(duì)不能混用。它們?cè)?EGL 擴(kuò)展、內(nèi)存分配、job slot 提交方式上差異非常大。鏈接中我的操作方法是先看設(shè)備樹或內(nèi)核日志確認(rèn) GPU 具體型號(hào)再在板子的/usr/lib/aarch64-linux-gnu/mali/或/usr/lib/arm-linux-gnueabihf/mali/里確認(rèn)有哪些庫文件然后用readelf -d libmali.so | grep SONAME查看它的 SONAME 到底是什么——這非常關(guān)鍵因?yàn)檫\(yùn)行時(shí)是按 SONAME 找?guī)斓娜绻愕?app 編譯時(shí)鏈接-lmali但 SONAME 卻是libmali.so.1編譯過了運(yùn)行卻會(huì)去找libmali.so.1而你系統(tǒng)里沒有這個(gè)文件名程序就起來不來。順帶一提像 Luckfox Pico、愛芯派這類小的 ARM 板Mali 的用戶態(tài)驅(qū)動(dòng)可能沒有原始廠商的版本更新快你有時(shí)需要從官方 BSP 的 release notes 里找對(duì)應(yīng)的“version string”而不是只看文件名。這個(gè)細(xì)節(jié)在我初期的項(xiàng)目里浪費(fèi)過好多時(shí)間。2. 編譯鏈接實(shí)操CMake 交叉編譯項(xiàng)目里Mali GPU 鏈接的五步配置2.1 首先讓 CMake 認(rèn)識(shí)你的 ARM 工具鏈寫 Mali 項(xiàng)目的人基本繞不開 CMake因?yàn)樗鼘?duì)交叉編譯的支持做得相當(dāng)順手。你可以先建一個(gè)arm-linux-toolchain.cmake核心內(nèi)容如下set(CMAKE_SYSTEM_NAME Linux) set(CMAKE_SYSTEM_PROCESSOR aarch64) set(TOOLCHAIN_PREFIX aarch64-linux-gnu-) set(CMAKE_C_COMPILER ${TOOLCHAIN_PREFIX}gcc) set(CMAKE_CXX_COMPILER ${TOOLCHAIN_PREFIX}g) set(CMAKE_FIND_ROOT_PATH /usr/aarch64-linux-gnu) set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER) set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)這里最容易被忽略的是CMAKE_FIND_ROOT_PATH。它告訴 CMake找?guī)旌皖^文件時(shí)只在/usr/aarch64-linux-gnu下找不要跑去 x86 宿主機(jī)的/usr/lib。如果你不設(shè)置這個(gè)CMake 可能會(huì)在宿主機(jī)上找 libGL、libEGL鏈接出一堆 x86 格式的庫放板子上直接段錯(cuò)誤。我早期就犯過這個(gè)錯(cuò)連 vc4 simulator 的庫都差點(diǎn)被拉進(jìn)來。CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER的意思是找可執(zhí)行程序比如 pkg-config時(shí)仍用宿主機(jī)的因?yàn)槟鞘?x86 可執(zhí)行的工具用來生成編譯參數(shù)但庫和頭文件只能從目標(biāo)系統(tǒng)目錄里找。2.2 手把手配置 EGL/GLES 頭文件和庫路徑假設(shè)你拿到了 Rockchip 提供的libmali頭文件一般在/usr/include/EGL、/usr/include/GLES2、/usr/include/GLES3這幾個(gè)目錄下。在 CMakeLists 里這么寫set(MALI_INCLUDE_DIR /usr/aarch64-linux-gnu/include) set(MALI_LIB_DIR /usr/aarch64-linux-gnu/lib) include_directories( ${MALI_INCLUDE_DIR} ${MALI_INCLUDE_DIR}/EGL ${MALI_INCLUDE_DIR}/GLES2 ${MALI_INCLUDE_DIR}/GLES3 ) link_directories(${MALI_LIB_DIR})然后添加可執(zhí)行文件并鏈接add_executable(mali_demo main.cpp) target_link_libraries(mali_demo mali # 對(duì)應(yīng) libmali.so EGL GLESv2 pthread dl m )我習(xí)慣把libmali.so通過-l:libmali.so這種形式來鏈接防止名字匹配錯(cuò)。你在 target_link_libraries 里寫mali鏈接器會(huì)找libmali.so或libmali.a如果這個(gè)庫 SONAME 不匹配鏈接也能成功但運(yùn)行時(shí)就有問題。為保險(xiǎn)推薦直接寫全路徑target_link_libraries(mali_demo ${MALI_LIB_DIR}/libmali-bifrost-g52.so EGL GLESv2 pthread dl m )這樣寫還有個(gè)好處你一眼就能告訴自己板上跑的是 Bifrost G52 的 mali 庫而不是 Midgard 的。項(xiàng)目維護(hù)起來幾個(gè)月后回看 CMakeLists 都能想起當(dāng)時(shí)的硬件平臺(tái)。2.3 鏈接選項(xiàng)里必須注意的“隱藏符號(hào)”問題Mali 的 libmali.so 是個(gè)“大雜燴”有些版本會(huì)同時(shí)導(dǎo)出 EGL、GLESv1、GLESv2、OpenVG 的符號(hào)。如果你在鏈接時(shí)用了--as-needed并且鏈接順序不對(duì)鏈接器可能把libmali.so整個(gè)丟棄導(dǎo)致最后可執(zhí)行文件里沒有任何 EGL 符號(hào)。運(yùn)行時(shí)就會(huì)報(bào)undefined symbol: eglGetDisplay。我通常在 CMake 的 CMAKE_EXE_LINKER_FLAGS 里加入以下內(nèi)容set(CMAKE_EXE_LINKER_FLAGS ${CMAKE_EXE_LINKER_FLAGS} -Wl,--no-as-needed)這樣強(qiáng)制所有顯式列出的庫都參與鏈接。在 Ubuntu/Debian 系的交叉編譯環(huán)境里尤其要注意這一點(diǎn)因?yàn)橄到y(tǒng) GCC 默認(rèn)的--as-needed行為會(huì)比你在 x86 電腦上遇到的問題更隱蔽程序編譯通過、卻半天跑不起來。如果你是手工寫gcc命令而不是用 CMake那我給你一個(gè)標(biāo)準(zhǔn)命令行模板aarch64-linux-gnu-g main.cpp -o mali_demo \ -I/usr/aarch64-linux-gnu/include \ -L/usr/aarch64-linux-gnu/lib \ -l:libmali-bifrost-g52.so -lEGL -lGLESv2 -lpthread -ldl -lm \ -Wl,--no-as-needed執(zhí)行完以后用aarch64-linux-gnu-readelf -d mali_demo | grep NEEDED檢查一下看看 NEEDED 列表里的庫名是不是預(yù)期的名稱——這一步真的很快能省去后面大量調(diào)試時(shí)間。2.4 JIT shader 編譯與特定工具鏈約束Mali GPU 驅(qū)動(dòng)有“JIT 編譯”機(jī)制shader 編譯發(fā)生在運(yùn)行時(shí)而不是預(yù)先編譯雖然也有 offline blob 的方式比如malisc但多數(shù)項(xiàng)目還是運(yùn)行時(shí)編譯。這意味著你的進(jìn)程在運(yùn)行時(shí)要能夠分配可執(zhí)行內(nèi)存頁所以我們通常要鏈接dl并且確保/dev/mali設(shè)備節(jié)點(diǎn)的權(quán)限允許當(dāng)前用戶訪問。另外如果你的程序用到了 OpenGL ES 3.1 的計(jì)算著色器compute shader記得要在編譯時(shí)加-stdc11以上并且確保你鏈接的 libmali 支持這個(gè)擴(kuò)展版本。有些老版本 BSP 里的 libmali 只到 GLES3.0運(yùn)行時(shí)會(huì)返回GL_INVALID_OPERATION或干脆造成 GPU 崩潰gpu crash dump triggered。如果你是從桌面 OpenGL 轉(zhuǎn)到 Mali心里要有個(gè)預(yù)期Mali 對(duì) GL 版本的支撐就是“能用但別挑戰(zhàn)極限”你最好把目標(biāo)定為 GLES3.1 或 GLES3.2而不是去想 4.x core profile。這樣鏈接和運(yùn)行時(shí)的問題都會(huì)少一大截。2.5 靜態(tài)鏈接還是動(dòng)態(tài)鏈接別迷信“靜態(tài)更省事”有些朋友為了部署省事把 libmali 直接靜態(tài)鏈接進(jìn)主程序。我不建議這么做原因是一Mali 庫包含對(duì)內(nèi)核接口的依賴內(nèi)核驅(qū)動(dòng)版本升級(jí)后舊靜態(tài)庫可能和新內(nèi)核不兼容而你沒法通過替換一個(gè).so來解決二Mali 生態(tài)里很多輔助庫比如 OpenCL 的libOpenCL.so本來就不是純靜態(tài)發(fā)布的三如果你的 SDK 里有多個(gè) GPU 相關(guān)程序動(dòng)態(tài)鏈接可以共享一份用戶態(tài)驅(qū)動(dòng)內(nèi)存對(duì)整個(gè)系統(tǒng)資源占用更友好。所以我推薦的策略是動(dòng)態(tài)鏈接 在部署腳本里顯式復(fù)制庫 為依賴設(shè)置 RPATH。當(dāng)然有些 BSP 的 libmali 是用某些舊 GCC 版本編的動(dòng)態(tài)加載時(shí)可能會(huì)報(bào)缺少 GLIBC 某個(gè)版本符號(hào)。這時(shí)候如果你不想重新編譯頂層依賴就得在板子上用符號(hào)鏈接偽造一個(gè) GLIBC 版本但這非常危險(xiǎn)不如檢查自己的工具鏈版本和板子 stub 庫的一致性。3. 運(yùn)行時(shí)動(dòng)態(tài)庫加載LD_LIBRARY_PATH 與 ldconfig 的決策細(xì)節(jié)3.1 那行“export LD_LIBRARY_PATH...”命令到底在干嘛你搜到的熱詞里有一個(gè)典型的命令export LD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali:$LD_LIBRARY_PATH這行命令的核心作用是在動(dòng)態(tài)鏈接器的搜索路徑優(yōu)先級(jí)里把/usr/lib/aarch64-linux-gnu/mali放到繼承的路徑之前。動(dòng)態(tài)鏈接器通常是ld-linux-aarch64.so.1加載程序時(shí)會(huì)按以下順序查找共享庫DT_RPATH如果存在且 DT_RUNPATH 未設(shè)置LD_LIBRARY_PATH 環(huán)境變量可執(zhí)行文件的 DT_RUNPATH緩存文件/etc/ld.so.cache默認(rèn)目錄/lib、/usr/lib等如果你板子上/usr/lib/aarch64-linux-gnu/里本身也有一個(gè)libEGL.so而 mali 目錄里有另一個(gè)那么加了LD_LIBRARY_PATH后E GL 調(diào)用就會(huì)優(yōu)先命中 Mali 目錄下的版本。這在 Rockchip 和全志的許多 Debian 鏡像里非常關(guān)鍵因?yàn)樗鼈兿到y(tǒng)自帶的libEGL.so可能指向 panfrost 或 llvmpipe軟件渲染唯獨(dú) mali 目錄里的才是硬件 GPU 驅(qū)動(dòng)。我用個(gè)生活類比LD_LIBRARY_PATH就像給外賣配送員提前畫了一條“優(yōu)先送達(dá)路線”只要這條路線上的商家?guī)齑嬖谒筒粫?huì)繞遠(yuǎn)路去系統(tǒng)默認(rèn)市場(chǎng)取貨。但如果那條路線上的商家還沒開業(yè)文件不存在或權(quán)限不對(duì)外賣小哥還是會(huì)退回默認(rèn)路線而這一“退回”行為程序往往不會(huì)給你明確提示。3.2 驗(yàn)證你的 .so 實(shí)際被哪個(gè)路徑加載如果你懷疑程序加載了錯(cuò)誤的庫版本最實(shí)際的驗(yàn)證方式有兩個(gè)。第一個(gè)用ldd檢查動(dòng)態(tài)庫依賴。注意交叉編譯環(huán)境下的 ldd 不能直接跑目標(biāo)板程序但你可以用aarch64-linux-gnu-readelf -d來看也可以把程序拷貝到板子上在板子上跑ldd。板子的命令rootboard:~# ldd ./mali_demo linux-vdso.so.1 (0x0000ffff8f7f0000) libmali-bifrost-g52.so /usr/lib/aarch64-linux-gnu/mali/libmali-bifrost-g52.so (0x0000ffff8f5f0000) libEGL.so.1 /usr/lib/aarch64-linux-gnu/mali/libEGL.so.1 (0x0000ffff8f5e0000) libGLESv2.so.2 /usr/lib/aarch64-linux-gnu/mali/libGLESv2.so.2 (0x0000ffff8f5d0000) libpthread.so.0 /lib/aarch64-linux-gnu/libpthread.so.0 (0x0000ffff8f5b0000) libdl.so.2 /lib/aarch64-linux-gnu/libdl.so.2 (0x0000ffff8f5a0000) ...如果這里顯示的是/usr/lib/aarch64-linux-gnu/libGLESv2.so.2而不是 mali 目錄說明 LD_LIBRARY_PATH 沒配置成功或者該路徑下沒有對(duì)應(yīng)文件。第二個(gè)是在程序里打印實(shí)際加載路徑。用dladdr或直接打印dlopen句柄的路徑這在調(diào)試時(shí)特別有用。我在一個(gè)合成器項(xiàng)目里加過如下代碼#include dlfcn.h #include cstdio int main() { void* handle dlopen(libEGL.so.1, RTLD_NOW); if (!handle) { fprintf(stderr, dlopen failed: %s\n, dlerror()); return 1; } Dl_info info; if (dladdr(dlsym(handle, eglGetDisplay), info)) { printf(EGL implementation: %s\n, info.dli_fname); } dlclose(handle); return 0; }實(shí)測(cè)下來這個(gè)方法比看 ldd 輸出更直接因?yàn)橛械膸焓峭ㄟ^ dlopen 動(dòng)態(tài)打開而不是直接編譯鏈接的在 ldd 里根本看不到。3.3 更持久的配置/etc/ld.so.conf.d/mali.confLD_LIBRARY_PATH是臨時(shí)的、只對(duì)當(dāng)前 shell 進(jìn)程樹有效的方案。如果你希望程序開機(jī)就能用或者通過 systemd 服務(wù)啟動(dòng)的程序也能自動(dòng)找到 Mali 庫我更推薦在板子上創(chuàng)建一個(gè)配置echo /usr/lib/aarch64-linux-gnu/mali /etc/ld.so.conf.d/mali.conf ldconfig這樣動(dòng)態(tài)鏈接器在讀取/etc/ld.so.cache時(shí)就會(huì)把 mali 目錄下的庫都索引好后續(xù)任何程序直接libEGL.so.1都能命中。這個(gè)做法的核心好處是“全局生效”缺點(diǎn)是如果你板子上同時(shí)存在多個(gè) GPU 用戶態(tài)庫比如 mali 和 panfrostldconfig的索引順序可能不按你的預(yù)期來。這時(shí)候你可以用ldconfig -p | grep mali查看緩存列表確認(rèn)優(yōu)先級(jí)。如果發(fā)現(xiàn) panfrost 搶了先可以用/etc/ld.so.preload但一般不建議或者把不需要的庫重命名/移出目錄來確保命中目標(biāo)庫。我在 RK3588 的板子上就遇到過類似問題系統(tǒng)自帶的 gdm/wayland 合成器需要 Mali 庫但它以 systemd user 服務(wù)方式運(yùn)行LD_LIBRARY_PATH不會(huì)傳入該用戶的登錄 shell。后來我用ld.so.conf.d方案一次性解決穩(wěn)定跑了幾個(gè)月。3.4 RPATH 別亂設(shè)但也不能完全不設(shè)編譯時(shí)設(shè)置 RPATH可以在可執(zhí)行文件內(nèi)部記錄庫搜索路徑效果類似aarch64-linux-gnu-g main.cpp -o mali_demo \ -Wl,-rpath,/usr/lib/aarch64-linux-gnu/mali \ -L/usr/lib/aarch64-linux-gnu/mali -l:libmali-bifrost-g52.soRPATH 的坑在于如果目錄里缺失某個(gè)運(yùn)行時(shí)依賴程序報(bào)錯(cuò)信息會(huì)很隱晦且當(dāng)你把整個(gè)目錄結(jié)構(gòu)移動(dòng)到另一臺(tái)機(jī)器上時(shí)RPATH 里寫死的絕對(duì)路徑會(huì)導(dǎo)致庫找不到。更推薦用$ORIGIN風(fēng)格-Wl,-rpath,$ORIGIN/libs這表示可執(zhí)行文件同目錄下的libs子目錄。把 libmali 系列庫復(fù)制到應(yīng)用的libs目錄整個(gè)程序就是“自包含”的很適合嵌入式應(yīng)用發(fā)布。需要注意的是動(dòng)態(tài)鏈接器只有在可執(zhí)行文件設(shè)置了 DT_RUNPATH 而不是 DT_RPATH 時(shí)才會(huì)讓LD_LIBRARY_PATH優(yōu)先于 RPATH如果你想要 RPATH 最高優(yōu)先級(jí)甚至高于 LD_LIBRARY_PATH必須使用 DT_RPATH 格式但大多數(shù)現(xiàn)代系統(tǒng)默認(rèn)會(huì)轉(zhuǎn)成 DT_RUNPATH。這塊兒細(xì)節(jié)很多我的建議是能用LD_LIBRARY_PATH或ld.so.conf.d解決的就別折騰 RPATH只有在需要“單目錄分發(fā)”時(shí)才用$ORIGIN。4. 交叉編譯中的典型問題與排查技巧4.1 程序咔一下退出了還報(bào) gpu crash dump triggeredMali 驅(qū)動(dòng)的日志里出現(xiàn)gpu crash dump triggered是最讓人頭大的錯(cuò)誤之一。我在一個(gè) RK3399 平臺(tái)上跑自己寫的延遲渲染 demo 時(shí)切換 framebuffer 分辨率后必現(xiàn)崩潰。經(jīng)過抓取/sys/kernel/debug/mali的 dump 才發(fā)現(xiàn)問題出在我在程序里用glBufferData頻繁分配了一個(gè)超大 vertex buffer而庫版本沒有開啟 GPU 內(nèi)存的 CMA 預(yù)分配導(dǎo)致物理內(nèi)存碎片化驅(qū)動(dòng)無法分配連續(xù) pages最終 GPU job 超時(shí)崩潰。這個(gè)問題的排查方向我建議從這三個(gè)點(diǎn)入手用戶的 app 是否用到了 Mali 不擅長(zhǎng)的“長(zhǎng)渲染指令”或“非常規(guī) framebuffer 維度”。系統(tǒng)內(nèi)存是否不足。Mali 和 CPU 共用內(nèi)存GPU 內(nèi)存分配失敗不比 CPU OOM 溫和。內(nèi)核驅(qū)動(dòng)和用戶態(tài) libmali 版本是否一致。版本不匹配是這類崩潰的頭號(hào)原因。調(diào)試時(shí)建議先在內(nèi)核啟動(dòng)參數(shù)里加上mali_debug_force_panic或打開/sys/kernel/debug/mali的 debug 節(jié)點(diǎn)讓它輸出更詳細(xì)的 job 狀態(tài)。工業(yè)級(jí)做法是寫一個(gè)長(zhǎng)時(shí)間運(yùn)行的 stress 腳本不斷地創(chuàng)建銷毀 EGL Context同時(shí)用dmesg監(jiān)控mali內(nèi)核日志一旦崩了就把完整調(diào)用鏈抓出來。我后來定位到崩潰的根因是我在 GLES 主線程里同時(shí)跑了一個(gè) CPU 線程讀回glReadPixels而 Mali 的同步對(duì)象處理在這種情況下有比較高的開銷導(dǎo)致 CPU 線程頻繁觸發(fā) job slot 搶占。為了解決它我在隊(duì)列提交前用了glFinish()而非glFlush()并把讀寫分離到不同 FBO。問題隨之消失。4.2 為什么我鏈接了 libmali還是報(bào) undefined reference to eglCreateContext這問題通常不是你沒鏈接而是頭文件和庫不配套。舉例頭文件來自 Mesa 的主機(jī)開發(fā)包里面聲明了 EGL 1.5 的所有函數(shù)而你板子上的 libmali 可能只實(shí)現(xiàn)了 EGL 1.4。鏈接時(shí)的 undefined reference 倒不一定出現(xiàn)更常見的是運(yùn)行時(shí)報(bào)EGL_BAD_DISPLAY或EGL_BAD_ALLOC。如果你看到的真的是鏈接錯(cuò)誤為undefined reference to eglCreateContext則一般有下面幾種情況你鏈接的庫文件名不對(duì)。-lEGL實(shí)際去找libEGL.so但板子 BSP 里只有l(wèi)ibmali-bifrost-g52.so里面雖然導(dǎo)出 EGL 符號(hào)但并沒有名為libEGL.so的軟鏈接。解決辦法在 mali 庫目錄里手動(dòng)建libEGL.so - libmali-bifrost-g52.so、libGLESv2.so - libmali-bifrost-g52.so。你忘了在鏈接命令里加-lEGL。因?yàn)?EGL 頭文件是純聲明編譯器不會(huì)知道你還需要專門鏈接哪個(gè)庫它只會(huì)看著源碼里調(diào)用了eglCreateContext等到鏈接器階段才告訴你找不到符號(hào)。你的 toolchain 是arm-linux-gnueabihf但目標(biāo)系統(tǒng)是aarch64。位數(shù)不一致鏈接器當(dāng)然報(bào) undefined。排查時(shí)要用file libmali*.so看 ELF 的 machine 類型。實(shí)際操作中我最常用的土辦法是先編譯一個(gè)只調(diào)用eglGetDisplay的最小程序把庫路徑和-Wl,--trace或-Wl,-y,eglCreateContext加進(jìn)去鏈接器會(huì)輸出它到底在哪個(gè)庫里找到符號(hào)。這條命令的輸出信息量極大能幫你快速判斷是頭文件和庫版本不匹配還是庫文件本身有問題。4.3 重啟后 LD_LIBRARY_PATH 丟失如果你是在 SSH 會(huì)話里執(zhí)行export LD_LIBRARY_PATH...一關(guān)終端就失效這是 shell 環(huán)境變量作用域的問題。針對(duì)這種情況我建議根據(jù)啟動(dòng)方式選擇方案手動(dòng)調(diào)試寫到~/.bashrc或/etc/profile.d/mali.sh。systemd 服務(wù)在 service 文件的[Service]段加EnvironmentLD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali。圖形桌面登錄寫到 Xsession 或 wayland-session 的配置里。最省事也最穩(wěn)定直接用/etc/ld.so.conf.d/mali.confldconfig。我見過不少朋友把LD_LIBRARY_PATH寫進(jìn).bashrc結(jié)果 systemd 起的服務(wù)依然找不到庫。后來我全部統(tǒng)一成ld.so.conf.d方案系統(tǒng)所有進(jìn)程都受益。唯一需要注意的是ldconfig后要確認(rèn)ldconfig -p里出現(xiàn)了 mali 庫并注意順序優(yōu)先級(jí)。4.4 一個(gè)萬能級(jí)的排查步驟清單如果你現(xiàn)在編譯一個(gè) Mali GPU 程序遇到問題按下面順序走一遍通常 20 分鐘內(nèi)能定位確認(rèn) GPU 型號(hào)cat /sys/class/misc/mali/device/uevent或內(nèi)核日志里的maliprobe 信息。確認(rèn)用戶態(tài)庫是否存在ls -l /usr/lib/aarch64-linux-gnu/mali/。查看庫的 SONAMEreadelf -d libmali-bifrost-g52.so | grep SONAME。交叉編譯后用readelf -d app | grep NEEDED確認(rèn)依賴。拷貝到板子上用ldd app看能否解析。用LD_DEBUGlibs ./app看動(dòng)態(tài)鏈接器的詳細(xì)查找路徑這招非常有用。運(yùn)行最小 EGL 示例而不是直接上復(fù)雜渲染器。我把常遇到的靜態(tài)問題和應(yīng)對(duì)方法整理成一張速查表方便你貼到工位旁邊癥狀大概率原因排查/解決動(dòng)作編譯時(shí)找不到 EGL/GLES 頭文件INCLUDE 路徑未指向 BSP 的 include 目錄在 CMake 里打印 include dirs確認(rèn)路徑存在且包含 EGL/egl.h鏈接時(shí) undefined reference頭文件與庫不匹配庫名寫錯(cuò)檢查-lEGL是否實(shí)際解析到有符號(hào)的.so用nm -D libmali.so | grep eglCreateContext運(yùn)行時(shí)找不到 libmaliLD_LIBRARY_PATH 未設(shè)置或目錄沒有這個(gè)庫用export LD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali或 ld.so.conf.d運(yùn)行時(shí)加載到錯(cuò)誤的 libEGL庫里有多套實(shí)現(xiàn)用ldd確認(rèn)實(shí)際加載路徑必要時(shí)移動(dòng)/屏蔽舊庫程序崩潰且內(nèi)核打 mali crash dump內(nèi)核驅(qū)動(dòng)與用戶態(tài)庫版本不匹配/內(nèi)存壓力統(tǒng)一 BSP 版本調(diào)整 GPU 內(nèi)存分配策略檢查 dmesg渲染結(jié)果花屏/黑屏顏色格式、buffer 尺寸不對(duì)檢查 EGL config 的 buffer size嘗試不同的 ANativeWindow format5. 再進(jìn)一步GPU 計(jì)算與 AI 部署場(chǎng)景下的 Mali 鏈接經(jīng)驗(yàn)現(xiàn)在在 ARM 板上做 GPU 計(jì)算和 AI 推理的場(chǎng)景非常普遍像paddleocr、sensevoice部署到 ARM 架構(gòu)平臺(tái)時(shí)很多人誤以為只靠 CPU 就能跑或者以為大家都去 CUDA 了Mali 就不需要了。實(shí)際上Mali 也支持 OpenCL部分產(chǎn)品還支持 OpenGL ES 3.1 的 compute shader甚至 ARM 在最新的 Valhall 代 GPU 上強(qiáng)化了矩陣運(yùn)算能力。對(duì)于在 ARM Mali 上部署 AI 模型鏈接層面的經(jīng)驗(yàn)也值得單獨(dú)拎出來說一說。5.1 OpenCL 的鏈接和 libmali 的“萬能導(dǎo)出”Mali GPU 要跑 OpenCL往往同樣依賴一個(gè) libmali 或?qū)iT的 libOpenCL.so。在 Rockchip 的 BSP 里你經(jīng)常會(huì)看到/usr/lib/aarch64-linux-gnu/mali/libOpenCL.so。這個(gè)庫可能只是一個(gè)符號(hào)鏈接到 libmali-bifrost.so。如果你的應(yīng)用要鏈接 OpenCL公式如下aarch64-linux-gnu-g cl_demo.cpp -o cl_demo \ -I/usr/aarch64-linux-gnu/include/CL \ -L/usr/lib/aarch64-linux-gnu/mali \ -lOpenCL -lpthread -ldl這里要注意有些 OpenCL 頭文件版本要求庫至少支持 OpenCL 1.2而部分老 Mali 的 BSP 只提供 1.1 擴(kuò)展。我建議你在編譯前先寫個(gè)clinfo類似的工具在板子上跑一下確認(rèn)CL_PLATFORM_VERSION和CL_DEVICE_TYPE_GPU。從部署角度如果你跑 PaddleOCR 的 GPU 版Paddle Lite 加載的 mali OpenCL 庫需要在編譯 Paddle Inference 時(shí)指定-DWITH_GPUON -DWITH_OPENCLON并且靜態(tài)/動(dòng)態(tài)搜索 libOpenCL.so 的路徑要提前配置好。很多人以為 PaddleOCR 的 GPU 部署只要換一個(gè)模型文件就行實(shí)際上鏈接和運(yùn)行時(shí)庫配置缺一不可。我在 RK3588 上部署 PaddleOCR 時(shí)就是靠把libOpenCL.so放進(jìn)/usr/lib/aarch64-linux-gnu/mali/再寫一個(gè)mali.conf然后用LD_LIBRARY_PATH指向它應(yīng)用才正確調(diào)起 GPU。5.2 SenseVoice 等新一代小模型的 ARM 部署要考慮 GPU 動(dòng)態(tài)庫沖突像sensevoice-small這類 ASR 模型官方往往提供 ARM 架構(gòu) CPU 版本但我實(shí)測(cè)過如果在帶 Mali GPU 的板子上有 libOpenCL部分推理框架會(huì)默認(rèn)嘗試 GPU/OpenCL 加速這時(shí)如果鏈接庫配置不對(duì)運(yùn)行可能掛掉。我的處理方式是如果只是做 CPU 推理驗(yàn)證就在啟動(dòng)腳本里明確不加載 mali 的 OpenCL 庫如果想要 GPU 加速就專門設(shè)計(jì)一條推理路徑確保libOpenCL.so和libmali.so來自同一 BSP 版本并設(shè)置好 loader 搜索順序。這里最容易踩的坑是你自己把libOpenCL.so.1放到/usr/local/lib而系統(tǒng)也有/usr/lib/aarch64-linux-gnu/libOpenCL.so.1兩邊的實(shí)現(xiàn)不同導(dǎo)致 clGetPlatformIDs 返回空。我建議你對(duì)板子上所有 OpenCL 相關(guān)庫做一次“審計(jì)”find / -name *OpenCL* -type f -o -name *libmali* -type f 2/dev/null把路徑理清后再?zèng)Q定是統(tǒng)一通過ld.so.conf.d配置還是在每個(gè)服務(wù)的啟動(dòng)腳本里手動(dòng) export。小模型部署項(xiàng)目里穩(wěn)定大于性能。5.3 多 GPU 同時(shí)測(cè)試與 GPU 調(diào)度Mali 不是主戰(zhàn)場(chǎng)但也別忽略現(xiàn)在的 AI 服務(wù)器場(chǎng)景里linux 三個(gè)gpu同時(shí)測(cè)試、gpu調(diào)度這類詞很熱但那是 NVIDIA 和昇騰的主場(chǎng)。你要是真在 ARM 單板上做“多 GPU 調(diào)度”通常是指 GPU NPU VPU 的異構(gòu)協(xié)同。鏈接層面的經(jīng)驗(yàn)是NPU 工具鏈比如 RKNN和 GPU 工具鏈libmali會(huì)同時(shí)出現(xiàn)在系統(tǒng)里它們各自有自己的 runtime 庫容易因符號(hào)沖突打架。我在 RK3568 上做過一個(gè)路燈檢測(cè)項(xiàng)目RKNN Toolkit 的庫依賴librga.so而這個(gè)庫又依賴libmali.so做 2D 加速。如果不把libmali路徑正確配置RGA 初始化也會(huì)失敗。雖然這不是嚴(yán)格的“多 GPU 調(diào)度”但底層都繞不開 Mali library 的鏈接是否干凈。我當(dāng)時(shí)的做法是把 RKNN 和 RGA 的庫、Mali 庫全部放入/opt/vendor/libs然后為每個(gè)服務(wù)單獨(dú)配置LD_LIBRARY_PATH避免全局污染。5.4 NVIDIA GPU Operator 文檔、arm64 GPU 節(jié)點(diǎn)Mali 只是背景板還有一個(gè)容易誤解的地方nvidia gpu operator 官方文檔 中文這種熱詞你可能會(huì)覺得與 Mali 無關(guān)但如果你的 ARM 平臺(tái)指的是Grace-Hopper 這類 NVIDIA ARM64 服務(wù)器那么它里面并沒有 Mali GPU而是 NVIDIA 自家 GPU。這種平臺(tái)上的 GPU 驅(qū)動(dòng)、容器運(yùn)行時(shí)支持跟 Mali 完全不是一套。寫這篇博文的目的之一也是想提醒大家看到 “ARM” 和 “GPU” 兩個(gè)詞不要想當(dāng)然認(rèn)為就是 Mali。ARM 作為一種 CPU 架構(gòu)可以搭配 Mali、Adreno、PowerVR、NVIDIA 等不同的 GPU IP而“Mali GPU links”更準(zhǔn)確地說是針對(duì) ARM SoC 集成的 Mali 圖形/計(jì)算處理單元的鏈接與部署場(chǎng)景。如果你要在 NVIDIA ARM64 上部署加速需要考慮的是 NVIDIA 官方 driver 的 deb/rpm 包【像熱詞里的銀河麒麟 ssh 10.3 rpm升級(jí)包arm就屬于這種場(chǎng)景】而不是 Mali 的 libmali。這個(gè)區(qū)別我在多個(gè)項(xiàng)目里反復(fù)提醒過因?yàn)閮烧呔幾g參數(shù)、動(dòng)態(tài)庫名稱、EGL 實(shí)現(xiàn)都完全不同。6. 避坑心得與長(zhǎng)期維護(hù)建議6.1 我每次搭建 Mali 開發(fā)環(huán)境都會(huì)做的三件小事經(jīng)過反復(fù)折騰后我把一套“初始化清單”固定了下來你以后拿到任何新的 ARM/Mali 板子都可以照做第一下載或提取 BSP 后先別急著編應(yīng)用先把板子上的 GPU 相關(guān)庫做一次快照ls -l /usr/lib/aarch64-linux-gnu/mali/、cat /sys/kernel/debug/mali/version或/sys/class/misc/mali/device/uevent把版本號(hào)記錄下來。第二在板子上跑一個(gè)最小的 EGL 初始化程序。這個(gè)程序不做任何渲染只是創(chuàng)建 EGLDisplay、EGLContext打印EGL_VENDOR。如果它能過說明庫和系統(tǒng)環(huán)境正常如果不行后面搞什么大程序都是白搭。第三寫一個(gè)setenv_mali.sh腳本內(nèi)容就是用export LD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali:$LD_LIBRARY_PATH并且用ldconfig -p驗(yàn)證它的實(shí)際生效情況。如果你的系統(tǒng)已經(jīng)用ld.so.conf.d方案則這個(gè)腳本可以空著但你要確保每個(gè) systemd 服務(wù)的Environment字段都對(duì)了。6.2 如何確保內(nèi)核驅(qū)動(dòng)和用戶態(tài)庫版本的一致Mali 最麻煩的問題就是內(nèi)核 kbase 驅(qū)動(dòng)和用戶態(tài) libmali 的版本必須匹配。比如 RK 的 BSP release 里內(nèi)核側(cè)通過mali_kbase模塊實(shí)現(xiàn)用戶態(tài)側(cè)libmali的版本字符串通常長(zhǎng)這樣r32p0-01rel0或g2p0-01rel0。如果你的內(nèi)核 driver 是 r32p0而用戶態(tài)庫是 g2p0即使兩者都能加載運(yùn)行一段時(shí)間后也極易產(chǎn)生 GPU crash dump。我建議你在初始化時(shí)寫一個(gè)監(jiān)控腳本定時(shí)抓 dmesg 里的maliregister 信息再對(duì)照庫的strings libmali.so | grep r[0-9]p輸出確認(rèn)一致。這聽起來很土但在嵌入式環(huán)境里往往比想象中有效。你甚至可以寫個(gè)小函數(shù)把查詢結(jié)果自動(dòng)拼接成一條日志放到 CI 流水線里每次更新 BSP 后自動(dòng)比對(duì)。選擇 BSP 時(shí)盡量使用官方 release 里配好的固定版本組合不要自己去內(nèi)核主線里隨便升級(jí) kbase 驅(qū)動(dòng)——主線內(nèi)核的 Mali 驅(qū)動(dòng)版本往往和 Rockchip/全志的庫版本不匹配。6.3 最終部署分發(fā)應(yīng)用時(shí)把庫和環(huán)境一起帶上我經(jīng)常看到有人把編譯好的二進(jìn)制直接拷給同事然后同事跑不起來原因就是目標(biāo)板子缺少 Mali 庫路徑。為了避免這種低級(jí)問題我現(xiàn)在一律在發(fā)布目錄里帶上一個(gè)deploy/文件夾my_app/ ├── my_app # 主程序 ├── libs/ │ ├── libmali-bifrost-g52.so │ ├── libEGL.so - libmali-bifrost-g52.so │ ├── libGLESv2.so - libmali-bifrost-g52.so │ ├── libOpenCL.so - libmali-bifrost-g52.so │ └── libgbm.so.1 # 如果有 GBM 需求 ├── run.sh └── README.mdrun.sh內(nèi)容非常短#!/bin/bash SCRIPT_DIR$(cd $(dirname $0) pwd) export LD_LIBRARY_PATH$SCRIPT_DIR/libs:$LD_LIBRARY_PATH exec $SCRIPT_DIR/my_app $這種方式既保證了庫版本的可控又避免了污染系統(tǒng)目錄后續(xù)升級(jí)應(yīng)用時(shí)只需替換libs下的.so完全不用改動(dòng)系統(tǒng)鏡像。我做過的好幾個(gè)嵌入式 HMI 項(xiàng)目都是這么發(fā)版的。當(dāng)然如果板子上的系統(tǒng)集成商有統(tǒng)一鏡像管理你仍可以沿用/usr/lib/aarch64-linux-gnu/malild.so.conf.d方案但應(yīng)用自攜帶libs至少是一種與環(huán)境解耦的底牌。6.4 關(guān)于LD_LIBRARY_PATH的一個(gè)容易被忽略的細(xì)節(jié)最后補(bǔ)充一個(gè)在這個(gè)問題上極其容易被忽略的坑動(dòng)態(tài)鏈接器對(duì)LD_LIBRARY_PATH的搜索順序是啟動(dòng)時(shí)固化的不是運(yùn)行中動(dòng)態(tài)變更的。也就是說如果你的程序在運(yùn)行過程中把庫路徑unset或改成別的值已經(jīng)加載進(jìn)來的庫不會(huì)受影響。所以如果你在調(diào)試時(shí)看到“我明明改了環(huán)境變量但程序還是報(bào)錯(cuò)”大概率是因?yàn)槟愕?shell 環(huán)境沒有重新執(zhí)行export或者程序的父進(jìn)程是 systemd 啟動(dòng)的根本不會(huì)繼承你 shell 里的變量。解決方法是始終用env | grep LD_LIBRARY_PATH確認(rèn)當(dāng)前值或者在程序里主動(dòng)調(diào)用dlopen并指定絕對(duì)路徑。有些程序例如部分 AI 推理引擎內(nèi)部自己管理庫加載可能不走系統(tǒng)動(dòng)態(tài)鏈接器的默認(rèn)搜索而是通過/proc/self/maps和dlopen的絕對(duì)路徑來加載。這種情況下你即便配好LD_LIBRARY_PATH也不一定管用最直接的辦法就是看到庫路徑不對(duì)時(shí)手動(dòng)改庫的軟鏈接或直接替換/usr/lib下的庫文件但這種操作要盡量保證系統(tǒng)里沒有其他程序依賴舊版本。我在 RK3588 上面調(diào)試 GStreamer Mali 的 GPU 視頻合成時(shí)就遇到過 GStreamer 用絕對(duì)路徑加載libmali而忽略LD_LIBRARY_PATH的情況最后是通過patchelf --set-rpath /usr/lib/aarch64-linux-gnu/mali給 GStreamer 的插件 .so 設(shè)置 RPATH 解決的。這里不展開講 patchelf 的所有參數(shù)但記住一個(gè)原則軟件加載庫的路徑可能五花八門最終要確認(rèn)的是 /proc/進(jìn)程pid/maps 里面那行 .so 到底指向哪里。6.5 額外提醒交叉編譯時(shí)不要過度依賴-marchnative我知道很多人喜歡在交叉編譯時(shí)加-marchnative來提升性能但在 Mali 項(xiàng)目里這是個(gè)非常危險(xiǎn)的操作。-marchnative會(huì)讓編譯器根據(jù)宿主機(jī)x86的 CPU 特性生成指令而不是目標(biāo) ARM 板卡的指令集。結(jié)果就是編譯出的程序根本跑不了或者出現(xiàn)非法指令。正確做法是明確指定目標(biāo) CPU 的微架構(gòu)比如-marcharmv8-asimd或更高版本。Mali GPU 本身和 CPU 指令集無關(guān)但用戶態(tài)驅(qū)動(dòng)的調(diào)用序列和方式與 CPU ABI 強(qiáng)相關(guān)。如果你在交叉編譯時(shí)不小心加了 host 相關(guān)的 flags鏈接階段可能不會(huì)報(bào)錯(cuò)但程序一上板就是 illegal instruction。這種錯(cuò)誤很難排查所以我建議在你的 CMakeLists 里加上set(CMAKE_C_FLAGS ${CMAKE_C_FLAGS} -marcharmv8-a) set(CMAKE_CXX_FLAGS ${CMAKE_CXX_FLAGS} -marcharmv8-a)如果你的程序一定要用 OpenMP 或向量化再按目標(biāo)板卡的 CPU 核型如 Cortex-A76微調(diào)-mcpu參數(shù)。這個(gè)原則在“ARM Mali GPU links”這個(gè)主題下尤其重要Mali 庫本身是預(yù)編譯好的你的應(yīng)用只要遵循目標(biāo)板的 ABI鏈接就不會(huì)出問題。我在實(shí)際項(xiàng)目里見過太多因?yàn)?marchnative把整個(gè)工程搞得云里霧里的情況所以這里單獨(dú)拎出來提醒一下。7. 最后再分享一個(gè)實(shí)用小技巧用LD_DEBUGlibs看透一切加載細(xì)節(jié)如果你和我一樣是“肉眼調(diào)試派”那么LD_DEBUG環(huán)境變量絕對(duì)是你解決動(dòng)態(tài)庫鏈接問題的殺手锏。在板子上執(zhí)行LD_DEBUGlibs ./mali_demo你會(huì)看到動(dòng)態(tài)鏈接器打印出它查找每個(gè)庫的完整路徑find librarylibEGL.so.1 [0]; searching search path/usr/lib/aarch64-linux-gnu/mali/tls/aarch64:/usr/lib/aarch64-linux-gnu/mali/tls:/usr/lib/aarch64-linux-gnu/mali (LD_LIBRARY_PATH) trying file/usr/lib/aarch64-linux-gnu/mali/tls/aarch64/libEGL.so.1 trying file/usr/lib/aarch64-linux-gnu/mali/tls/libEGL.so.1 trying file/usr/lib/aarch64-linux-gnu/mali/libEGL.so.1這一段信息幾乎能解決所有“我明明設(shè)置了路徑但程序還是找不到”的困惑。比如它告訴你搜索路徑里有沒有 mali 目錄、是否因?yàn)?tls 子目錄不存在而被忽略。還有LD_DEBUGbindings可以看到符號(hào)綁定過程LD_DEBUGfiles看到文件打開關(guān)閉順序。真實(shí)項(xiàng)目中使用這招一個(gè)小時(shí)能頂你好幾天“猜謎式”調(diào)試。但注意LD_DEBUG輸出量很大會(huì)拖慢程序啟動(dòng)只適合調(diào)試時(shí)用。生產(chǎn)環(huán)境千萬不要留著。寫在最后ARM Mali GPU 的鏈接?xùn)|西說多不多說少也不少。你只要抓住“編譯時(shí)符號(hào)解析”和“運(yùn)行時(shí)動(dòng)態(tài)加載”這條主線再深入理解libmali在 BSP 體系中的定位大部分問題都能迎刃而解。我個(gè)人經(jīng)歷中最難的不是哪一條命令不會(huì)寫而是同時(shí)面對(duì)內(nèi)核驅(qū)動(dòng)、用戶態(tài)庫、CMake 交叉編譯鏈、運(yùn)行時(shí)環(huán)境變量這幾個(gè)環(huán)節(jié)時(shí)心智容易混亂。建議你調(diào)試時(shí)一次只動(dòng)一個(gè)變量改完路徑就ldd驗(yàn)證改完 CMake 就readelf -d驗(yàn)證不要一次性把所有參數(shù)全換掉。這樣即便報(bào)錯(cuò)也能快速回滾。如果你已經(jīng)能順利把 EGL Context 創(chuàng)建出來并且glGetString(GL_RENDERER)返回了 “Mali-…” 開頭的信息那恭喜你這一關(guān)過了。后面無論是寫渲染器、OpenCL 計(jì)算還是往 RKNN/NPU 異構(gòu)方案里塞 Mali 加速你都已經(jīng)有了扎實(shí)的底層基礎(chǔ)。希望這篇內(nèi)容能幫你在 ARM Mali 的板子上少走彎路早點(diǎn)跑出第一幀畫面。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天网址| 99视频九九热| 日日躁夜夜躁狠狠久久AV| AV在线大香蕉| 另类小说五月天| 色婷婷五月天天天做| 超碰av在线| av在线观看网址| 精品夜夜澡人妻无码AV| 久久久97| 婷婷香五月天| 丁香六月婷婷色播| 五月天成人小说| 人妻在线中文字幕久久| 久久网站观看免费欧洲国产| 激情五月天色网站| 第五婷婷伊人丁香色| 丁香五月婷婷av影院| 丁香色五月 97干| 色五月婷婷综合在线| 五月婷婷激情综合拍| 婷婷五月天Av| 开心五月激情| 大功率国产在线| 中文字幕,综合,91| 超碰99热精品| 久九九热| 亚洲色婷婷久久99精品91| 久久大大香| 亚洲亚洲人成综合网络| 97精品综合| 色噜噜狠狠色综合日日| 欧美精品999| 五月婷婷激情网| 五月天激情无码专区| 天天做天天干天天综合网| 26UUU| 婷婷射图| 色婷婷69| 精品成人在线观看| 天堂中文国产| 99热久草| 色婷婷免费观看| 婷婷综合影院| 9精品视频在线| 人妻中文字幕精品| 超碰人人操人人9| 久久44| 影音先锋91在线资源站| 欧美午夜乱妇午夜福利| 9精品久久999| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 亚洲色色精品| 婷婷丁香五月天亚洲| 五月天激情网址| 2050人人操免费工开爱| 一區四區歐美日韓| 婷婷五月精品在线| 色婷婷九月综合| 能看的av片| 婷婷五月天无码视频| 婷婷六月丁香综合| 狠狠另类视频| 九九热免费观看视频| 激情深爱五月婷婷| 天天舔夜夜操www com| 色婷婷五月开心六月综合| 久久久五月天| 欧美五月丁香啪啪响视频| 五月婷成人| 婷婷久久综合久| 久久久中文| 欧洲毛片基地c区| 亚洲综合99| 五月婷色色| 91chinese在线| 超碰在线观看99| 亚洲操逼网| 亚洲激情婷婷| 天天综合情| 久热精品视频在线观| 丁香五月天导航| 亚洲久热| 五月丁香拍拍激情综合| 丁香六月成人网| 青青草六月丁香| 俺去也在线官网| 开心五月综合激情综合五月| 九九精品视频在线观看| 97色色色| www.99久| 色狠狠综合| 亚洲精品99| 爱射综合| 婷婷五月丁香综合亚洲| 美国不卡视频| 婷婷九九| sisi热国产| 成人婷婷深爱综合网| 成人狠狠成人狠狠成人狠狠成人狠狠| 国产色99| 日本在线99| 伊人激情综合网| 婷婷五月综合激情| 免费视频WWW在线观看网站| 中国女人做爰A片| 九九爱激情| 五月婷综合| 日本色色影院| 丁香五月另类色婷婷麻豆| 国产成人+综合亚洲+天堂| 99精品视频免费在线播放| 亚洲舔观看| 丁香五月天啪啪激情综合网| 综合在线色婷婷| 97精品在线| 天天搞天天爽| 人妻内射一区二区在线视频| 黄色短视频在线观看| 色婷成人狠干| 久久婷婷五月天| 丁香六月亚洲| 99热这里只有精品最新网址| 婷婷少妇激情| 人妻久久久久久| 黄色三级毛片中字| 天堂亚洲 在线| 另类伊人婷婷| 狠狠五月天婷婷| 婷婷丁香激情五月天色色| 婷婷五月综合亚洲| 亚洲日日操| 国产又粗又大又爽又黄| 一级七香蕉| 丁香五月天狠狠操| 五月婷婷内射网| 久99久热只有精品国产99| 91人人爽久久涩噜噜噜| 久久综合婷婷| 色色五月婷婷网| 国产亚洲成AV人片在线| 婷婷色导航| 青青草蜜臀| 亚洲视频伍月婷婷| 97操操| 国产又粗又大又爽又黄| 国产4P视频精品五区| 9热视频在线观看| 久久九九免费大视频| 狠狠色噜噜狠狠狠888了| 色五婷婷在线视频| 婷婷五月天成人网| 亚洲国产网站| 性爱动图国产麻豆一区二区三区| 五月丁香无码| 天天婷婷操| www五月天激情com| 99视频在线播放大全| 日本久久天堂| 在线免费视频caop| 五月丁香成人| 先锋男人99资源| 久久九九免费视频| 激情婷婷五月天| 一区二区你懂的| www.精品99| 六月丁香婷婷网| 777色婷婷爱五月| 天天草天天舔| 丁香五月av| 九九热在线视频| 狠狠爱丁香婷| 五月婷婷激情网| 激情网开心网| 大香蕉久艹| 开心五月色婷婷综合开心网| 97色色综合| 亚洲 精品 综合 精品| 另类综合婷婷五月天欧美视频| 九九色人| 丁香花狠狠婷婷亚洲中文字幕| 超碰免费99| 五月丁香婷婷六月天| 五月婷婷丁香| 欧美成人AAA片一区国产精品| 色婷婷在线影院| 99色这里| 日日撸夜夜操| 日欧一片内射VA在线影院| 超碰国产AV| 久热这里只有精品在线观看 | av婷婷丁香 六月| 99热精品在线播放| 狠狠狠狠狠| 久久天堂婷婷五月| 五月天婷婷青青| 女人天堂AV| 日产精品久久久久久久蜜臀| 九九热视频99| 久久婷婷五月综合色和| 色偷偷综合| 人人操婷婷| 久久狠狠欧美| 久久怡红院| 国产人妻人伦精品一区二区| 超碰成人在线观看| 玖玖资源站中文| 日本婷婷| 碰97久久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 日本婷婷色日| 国产小精品| 人妻aV在线| 五月婷婷伊人久久| 久热大香蕉| ztEJj| 婷婷丁香五月麻豆| 精品无吗va视频免费观看| 亚洲亚洲人成综合网络| 色久九| 人人做天天爱| 97自拍视频在线| 日本不卡五月婷婷丁香| 色婷婷久久综合久色| 99爱在线视频观看| 蜜臀AV在线观看| 色婷婷视频| 五月天激情图片| 亚洲无AV在线中文字幕| 99综合色色色| 久久婷婷五月| 91人妻人人做人碰人人爽九色| 成人日韩欧美| 99热精品在线观看| 国产激情综合| 性欧美大战久久久久久久83| 激情五月婷婷综合网| 色五月之第四色| 色色色图| 亚洲婷婷五月天在线激情综合网| 99ri精品视频在线观看| 日日干天天爽| 五月丁香久久激情综合| 能直接看的AV网站| 五月丁香久久综合| 99免费综合网| 综合九色| 色五月亚洲| 九九色院| 久久久18| 日本3级片一区2区| 91久久| 精品久色| 九久9精品| 婷婷色5月天在线。| 六月综合在线| 91啪啪啪啪| 大香蕉婷婷色| site:minyis.com| 这里只有精品96| 六月婷婷影院| 久久超级碰视频| 天天操天天操天天操天天操天天操 | 草逼大片| www.黄色片-久久成人国产精品在线播放-999AV | 色婷久久| 人妻狠狠操| 色婷婷基地| 色婷婷黄色网络| 亚洲综合色色| 思思99热这里只有精品6| 一起操 91N.com| 91精品久久久久久久| 玖玖在线视| 我爱大香蕉| 爱草视频在线| 欧美色激情四射| 可以免费观看的AV| 九九日本视频| 色婷婷激情视频| 久久婷婷啪啪视频| 激情五月图| 天天色天天操天天射| 色婷婷五月天综合网| 精品亚洲国产成AV人片传媒 | 激情网开心网| 丁香五月婷综合| 第四色激情网| 思思w99| 丁香九月综合激情| 亚洲第一成人无码A片| 天天做天天爽| 激情五月综亚网| www.金莲av| 色综合久久99色| 日日爱678| 99超碰欧美| 日韩av在线电影| 五月婷婷co.m| 超碰在线99热| 性爱激情综合网| 丁香蜜臀黄色婷婷五月天| 婷婷五月开心中文字幕色| 91婷婷五月丁香碰| 国产做爰视频免费播放| 久9久成人精品视频| 婷婷色五月亚洲| 久久激情天堂| 天天日夜夜爽| 超碰免费成人| 婷婷五月天啪啪| 婷婷色九月| 九九热视频精品999| 婷婷天天色| 九九在线精点品| 激情宗合哪里能看| 9人人操人人看| 婷婷五月丁香成人网| 婷婷九月丁香| 婷婷亚洲五月色综合| 亚洲、欧美、国产另类笫二区| 精品人妻伦九区久久AAA片| 色婷婷色99国产综合精品| nvrentiantang av| 丁香色综合| 九月婷婷综合八月丁香在线观看| 婷婷色色五月| 香蕉操亚洲| 婷婷五月激情基地| 怡红院 久久| 色狠狠色| 人妻久久久久久久| 色综色五月天婷婷| 91久久婷婷| 激情丁香五月| 欧州婷婷五月天综合| 国产精品美女| www久久99| 久久亚洲天堂| 无套内射极品大美女| 五月天激情小说电影| 伊人网啪啪| 五月开心啪啪| 久久久国产精品黄毛片| 91狠狠综合久久久| 超碰99热精品| 5月丁香六月婷婷| 欧美欧盟性爱网| 五月天啪啪视频| 超碰A V在线| 最近韩国日本免费高清观看| 操逼三区| 六月婷婷久久| 超碰资源在线| 1024操逼视频| 欧美三日本三级少妇三99| 日本成人噜噜| av人人操| 丁香五月婷婷色| .操區COm| 久久这里面只有精品视频| 99热综合在线| 99久久色| 九九精品丁香花| 99国产精品久久久久久久久久久 | 色青青五月| 久1色色| 狠狠色丁香| 激情网第九色| 五月天激情站| ...婷婷国产成人亚洲日韩| 婷婷五月色天| 六月香五月婷| 婷婷六月激情| 亚洲综合五月天婷婷| 99热这里是精品| 婷婷伊人久久| 99碰网站| 丁香五月首页| 亚洲中文av| 99精品在线观看| 区美毛片子| 五月天婷婷激情| www,色婷婷| 99无码视频| 欧日韩成人| 久热99| 久久婷婷色| 99热这里只有精品青草| 99热碰碰热| 九九99精品视频在线观看| 免费视频无码| 色青青电影色五月| 精品成人在线| 九九综合九| 欧美成综合在线观看| 丁香花五月天婷婷成人社区| 久草婷婷在线| 丁香九月激情久久| 亚洲黄色影视| 婷婷久久综合久| 色综合色综合婷婷热| 99高级会所久久| 丁香激情六月天婷婷| 丁香婷婷色| 成人综合视频在线| 五月丁香六月婷综合成人综合 | 亚洲avjiujiur91| 26uuu欧美亚洲日韩| 夜夜夜夜夜操| 91丨九色丨43老版熟女| 激情五月天丁香| 中字幕视频在线永久在线观看免费| 99自拍视频在线观看| 不卡的AV网站| www.99riav99| 久久精品女人天堂AAA| 综合激情专区| 婷婷99视频精品| 激情丁香婷婷六月天| 综合久久婷婷五月丁香| 深爱婷婷色| 婷婷五月丁香六月天亚洲综合| 久久五月综合| 夜夜操天天干| 色色色色色色综合网| 神马久久五月天| 色色色婷| 极品人妻videosss人妻| 色五月天本日| 亚洲激情网| 九月丁香很很色| 九九热99免费视频| 婷婷五月丁香色情| 91婷婷色 | 天堂久久久久天堂网| 99久久www| oVV4WIB3vFi8D| jiqingliuyuetian| 色综合久久88色综合天天99| 亚洲12p| 麻豆精品| 99热9| 人人干Av| 久久99精品久久久久久三级| 大香蕉520| 国产欧美日韩综合精品一区二区| 日本久久色| 久久aaaaa| 激情婷婷色色| 国产精品久久久丁香五月八戒视频| 一本色道久久综合狠狠躁小说| 综合五月婷婷| 婷婷五月日本| 激情五月天在线观看婷婷| 激情五月天小说网| www,黄色在线,con| 99热最新网址| 婷婷五月激情视频| 日本欧美在线| 亚洲婷婷丁香| 九九久久精品| 五月婷婷亚洲天堂97色婷婷| 开心久久网婷婷| 97碰人人操| 五月婷婷av| 青青操绿aaa一区日v| 一本伊人色婷| 五月丁香六月色| 久久久久久久人妻| 久久91久久精品久久| 91av视频在线观看最新网址| 日本色频| 五月丁香五月天现场视频| 五月天涩涩| 婷婷综合色色| 日韩成人精品中文字幕电影| 九九99在线| 色一情一乱一乱一区91Av| 日本va欧美va精品发布视频| 天天激情| 婷婷社区五月天| 九九伦子片| 一区视频网站| 丁香五月婷婷成人色区| 六月婷婷开心| 五月天婷婷综合| 91综合在线观看| 婷婷激情中文综合| 色五月丁香六月欧美综合| 色综合99| 精品九九婷婷| 丁香五月天激情婷婷丁香六月| 五月综合色播播丁香婷婷 | 狠狠爱婷婷爱| 插插五月天| 五月婷婷日| 亚洲欧洲中文日韩久久AV乱码| 九九热99视频在线| 婷婷五月天亚洲激情戏精品| 91操片| 天天爱天天狠天天透| 丁香六月婷婷| 丁香五月天狠狠操| 69激情小说| 色5月婷婷| 色综合久久8| 天天做天天视天天谢| 欧美va在线| 九月婷婷久久| 丁香五月天.com| 五月婷婷六月开心| 婷婷五月av| 99re青青草| oVV4WIB3vFi8D| 欧美成人A片AAA片在线播放| 色婷婷亚洲在线观看| 综合色五月天| 色中色综合| 久久人五月| 久久这里只有国产精品视频| 精品久久人妻| 久久伦乱| 精品五月天| 夜夜嗨一区二区三区直播内容 | 色婷狠狠| 婷婷五月丁香激情色情| 丁香五月av| 国产脫衣舞一区二区三区| 天天天天天久久久久久| www.夜夜操| 色一情一乱一乱一区91Av| 亚洲欧美婷婷五月色综合| 丁香五月婷婷天激情| 深爱五月月天| 日韩综合久久| 成人网在线视频| 狠狠干五月丁香综合网| 欧美日本韩国亚洲| 欧美成人无码一区二区三区| 婷婷综合网| 丁香久月| 九九视频在线| 激情综合网站| 五月天 另类图片| 国产精品人人做人人爽人人添| 狠狠综合久久| 五月天开心色情网| 玖玖99免费视频| 丁香综合婷婷五月天| 色婷婷影视99| 这里只有精品69| 99久久人妻精品无码二区| 777.色色| 激情第四色| eeuss人妻| 五月天大香蕉| 色婷婷婷婷| 激情六月天婷婷| 大香蕉欧美在线| 天天日,天天插| 丁香六月成人网| 五月天婷婷亚洲| 亚洲无码猫咪| 99这里只有精品|v| 亚洲婷婷激情综合激情999精品| 婷婷色正月| 91丨九色丨国产打屁股网站| 26uuu亚洲精品国产| 一起操最新网址| 性色视频| 亚洲一级AV在线免费播放| 综合网五月| 久综合九| 久久久8| 九九九九毛片| 开心五月天激情网| 激情5月婷婷狠狠干| 人妻内射一区二区在线视频| 秋霞网在线观看理论91| 婷婷五月天国产传媒| 99热在线免费| 伊人色五月| 天天插天天插| 亚州色婷婷| 婷婷综合激情| 五月丁香婷婷激情在线视频| 欧美内射AAAAAAXXXXX| xxx日本东京热| 狠狠色婷婷六月激情网| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 九九久热| 五月丁香激情综合六月涩涩爱| 99热e| 色婷婷五月天中文字幕| 激情操逼婷婷| 色五月天综合网| 色色色区| 亚洲六月婷婷| 都市激情小说婷婷| 婷婷五月天午夜激情影院| 99人人干| 欧美综合丁香网| 狠狠爱丁香婷| 丁香五月手机在线| 五五月丁香花激情综合网| 九九亚洲天堂| 99在线精品视频| 人人爽天天莫| 婷婷五月丁香基| z色五月播播久久| 五月激情啪啪啪| 欧美激情综合| 五月婷婷丁香瑟瑟视频| 91爱操| 99国产精品久久久久久久久久久| 六月色色婷婷| www.91在线观看| 亚洲国产精品二二三三区| 婷婷五月天欧美图片在线播放电驴| 69色婷婷| 疯狂做受XXXX高潮A片| 玖玖精品视频| 九九AV| 在线超碰免费| a网站免费观看| 丁香五月综合亚洲| 91色五月| 性爱111111| av中文在线| 天天开心AV色综合婷婷五月天| 中文AV在线观看| 高清无码网址| 九九99热| 亚洲综合婷婷| 久久资源网五月婷| 色综合99无码 | 免费做A爰片77777| www.91在线观看| 精品色色网| 九九色婷婷| 99欧美热| 五月天桃色深爱网| 亚洲成人五月| 五月的丁香六月的婷婷| 91porn一起草| 丁香五月综合网| 色婷婷在线视频| 91久久婷婷| 久久久精品免费啪啪国| 夜夜爽天天爽| 婷婷射图| www.色擼擼.com| 99热这里只有99| 97精品自拍视频| 亚洲妇女熟BBW| 国产精品电影| 激情综合五月婷婷丁香| 日韩久久这里只有精品| 永久的网站AAAA | 影音先锋一区| 狠狠综合久久综合| 五月天久久色| 久久久久人妻精品| 超碰成人av| 26uuu欧美激情另类| 六月婷婷深深爱| 五月丁香久久丝袜啪啪| 色综合久久之分久久| 99久久综合| 五月天色区| 91大屁股| 日本va欧美va精品发布视频 | 色人久夂| 91呦呦呦| 大战熟女丰满人妻AV| av网址在线| 天天综合影院| 好吊丝aV| 婷婷五月花免费视频在线| 婷婷娌伦网| 99人妻碰碰久久久禁片| 99久久综合网| 五月婷婷之综合激情| 婷婷国产成人| 丁香六月婷婷综合啪啪| 天天做 天天爱| bbwcuckold精品熟妇| 免费啪啪亚州视频| 国产综合81p| 丁香六月婷婷久久亚洲天堂| 我淫我色婷婷五月天激情四射| 99色色| av大香蕉| 激情綜合網址| 色五月婷婷五月| 色狠狠色综合| 伊人狠狠操| 欧美婷婷六月丁香综合色连续高潮抽搐| 久操激情| 久久免费9| 97人操| 色婷婷av综合网| 欧美综合五月天婷婷tin| 亚洲视频在线观看| 综合色色婷婷| 91超碰人人操| 婷婷五月天激情网| 91人人网| 9久久久久| 亚洲操逼片| www.91九色| 五月天丁香婷| 色婷婷综合视频| 五月丁香大香蕉| 亚洲人妻AV| 亚洲美女高潮久久久久久69| 日韩成人电影AV| 五月丁香操婷逼| 五月婷婷深深爱| 天天摸天天舔天天天天爽| 婷婷操婷婷干婷婷射| 深爱激情丁香五月| 五月天婷婷影院影院观看| 舔色婷婷| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 亚洲人妻AV| 色色操| 五月丁香综合| 免费视频WWW在线观看网站| 亚洲精品V天堂中文字幕| 性色做爰片在线观看WW| 91碰免费视频| 人人操人| 日韩啪| 亚洲激情亚洲激情| 亚洲网站在线鸭子av| 2015好吊操| 亚洲综合激| 五月婷婷丁香五月亚洲色| 婷婷五月天免费| 五月婷婷香| 91丨九色丨熟女丰满| 午夜色婷婷| 九九亚洲视频| 五月丁香综合色婷婷| 国产精品黑丝| 99男人天堂| 久久久妻人人人| 五月在在观看| 婷婷精品性性性性性性性| 99精品在线观看视频| 在线另类视频| 天天插天天插| 变态另类色图| 乱码操操| 欧美成人网婷婷综合在线| 日日爽日日| 久久看婷婷| 开心激情站| 久777| 91黄操| 国产色色网站网址| 婷婷丁香激情综合色情| 天天色色天天| 国产精产国品一二三在观看| 71在线精品视频一区| 婷婷六月丁香激情| 日本AAAAAAAAAAAAAA片| 六月婷婷综合| 爱操天堂| 久久久999精品| 开心五月深爱五月婷| 六月婷婷啪啪| 午夜少妇在线观看视频| 丁香五月大香蕉AV| 九九这里只这里只有精品| 99久久精品视频女神1| 免费AV在线| 91.www综合| 婷婷的色色五月天| 丁香六月狠狠| 激情综合五月婷婷| 丁香五月天堂网| 97操在线资源| 丁香激情合作五月| www.天天干| 激情开心五月天| 99热99操| 五月天 综合 在线| 五月丁香中文| 白人荫道BBWBBB大荫道| www激情网站| 深爱网深爱综合网| 色欲丁香| 一本婷婷丁香久久| 久热91| AV五月婷婷露脸| 亚洲中文字幕AV| 五月天大香蕉视频| 五月激情视频网| 激情综合五月婷婷| 欧美大片免费播放器| 国产在线黄色| 激情深爱五月| 九月丁香婷婷| 久操无码| 日日干天天爽| 丁香婷婷综合激情五月色| 九九热10| 亚洲五月色| 午夜大香蕉| 天天肏夜夜肏| 国产密乳av一区二区三区四区| 538在线精品| 丁香花五月天激情| 欧美成人色婷婷| 超碰9799| 亚洲天天免费| 九九色精品| 丁香婷婷色色| 五月情色天| 超碰狠狠干99| 六月婷婷俺也去| 9色在线| 五月丁香啪啪婷婷| 91成人电影| 九九这里是免费的视频5| 丁香九月久久| 橾逼网| 色综久久久| 夜夜操少妇| 五月天婷婷在线播放| 99精品久久| 色婷天天| 9久国产| 99久久精品国产色欲| 99热色综合| 少妇人妻综合色6699| 草草女人亚洲| 丁香五月激情综合网激情五月| 蜜桃人妻无码AV天堂三区 | 九九精品丁香花| α久久| 五月婷丁香| 九九爱这里只有精品| 99婷婷| 亚洲五月婷| 色婷婷香蕉| 成人网在线视频| 国产综合色婷婷精品久久| Caop在线| 久久婷婷五月综合啪| 激情婷婷久久| 成人在线综合| 久久婷中文字幕| 五月丁香六月婷婷久久| 伊人激情网| 国产无套精品一区二区| 国产探花一片区| 玖玖婷婷五月天| 婷婷五月18永久免费网站| 老司机伊人| 99re在线免费视频| 啪色综合| 久久婷狠狠色| 91chinese在线| 天天综合情| 狠狠综合网| 深爱激情小说五月婷婷| 男女啪啪做爰高潮无遮挡| 天天开心AV色综合婷婷五月天| 性欧美大战久久久久久久83| 国产成人va在线| 亚洲精品无码一区二区| 五月噜噜| 91丨九色丨国产打屁股网站| 婷婷五月天在线观看| 色五月超碰| 综合网亚洲| 色综合性视频| 丁香五月婷婷国产在线| 久久久人妻| 五月婷婷激情| 五月天色婷婷综合| 第六色在线| 99碰碰。| 午夜婷婷久久 | 97干欧美| 99性爱视频| 久婷婷久草| 野外99热| 91爱操| a69在线视频| 日日噜噜夜夜狠狠久久丁香五月| 狠狠干综合网| 久久久久9999| 亚洲乱码日产精品BD| 日本久久爱| 超碰com| 中文字幕丰满孑伦无码专区| 91婷婷五月天嫩女| 丁香五月婷婷色情综合| 免费视频WWW在线观看网站| 六月久久狠狠| 99激情网| 激情综合网激情五月俺也去| 播五月丁香三月婷婷| 激情丁香久久| 三日本无码| 六月撸婷婷| 天天草天天爱| 国产性爱色| 五月天婷婷成人网| 婷婷五月丁香久久| 东北黄色一级| 亚洲亚洲人成综合网络| 夜夜操夜夜操| www色婷婷久久综合久色 | 人人爱国产| 人妻精品久久久久久| 91九色国产| 亚洲AV久久久久久久久久久久久久久久 | http:色情日本com| 操日视频| 五月丁香av在线| 五月丁香色综合| 精品一二三区久久AAA片| 99色综合| 色视五月天婷婷| 欧美综合五月丁香六月婷| 天天日天天肏天天奸| 香蕉婷婷色五月| 婷婷五月综合视频| 超碰免费在线| 99re这里| 99热无码| 色综合xx| 亚洲成人免费电影| 色在线免费观看| 色色色热| 翔田千里 50岁 无码| 五月丁香999| 亚洲成人在线播放| 区啪精品| ..真实国产乱子伦毛片 | 亚洲av骚货| 激情丁香五月| 五月丁香婷在线| 色色五月天婷婷| 久久婷婷的综合色丁香五月| 极品人妻VIDEOSSS人妻| 五月香婷婷| 五月色亚洲| 五月天色视频| 99在线免费视| 99国产er热视频| jiujiujiuwuyuetian| 我淫我色婷婷五月天激情四射| 91日本在线观看| 午夜激情婷婷| 婷婷五月天天爽| www夜夜操comwww| 视频这里只有精品16| 97福利视频| www综合久久| 99热国产在线| 无码激情AAAAA片-区区| 综合网激情| AV在线大香蕉| www.yw色| 婷婷五月天在线一区| 5月婷婷六月丁香| 久久色五月| 五月丁香综合| 日本超碰在线| 999激情视频| 97亚洲婷婷| 色色网91| 丁香综合久久| av一区免费看| 五月天色色色网| 99riAV成人在线视频| 丁香网五月天| 婷婷丁香成人色综合| 97超碰免费超级在线观看| 无码日本精品XXXXXXXXX | 激情五月丁香五月| 五月丁香狠狠爱| 91九色网| 亚洲妇女熟BBW| 夜夜爽77777妓女免费下载 | 五月天另类小说| 久久久这里有精品| 色五月婷婷五月丁香五月| 狠狠操在线视频| 五月婷婷影视| 天天干-天天日| 天天日夜夜夜操操操操| 综合热无码| 丁香婷婷色色| 亚洲色人妻| 大香蕉520| 久久婷婷五月国产色综合激情| 婷婷丁香五月av| 欧美激情丁香五月| 五月天色婷婷激情综合| 六月激情婷婷色| WWW.五月天9999| 草美女在线观看视频在线播放| 亚洲综合色网站| 青草网在线观看| 九九综合精品| 五月天在线视频尤物视频在线看| 久久aaaa片一区二区| 色婷狠狠| 丁香五月天.com| 日本99久久| 狠狠综合网| www久视频com| 无毒黄色网址| 婷婷成人AV| 思思久久网| 婷婷久久免费看| 开心激情久久久久久久| 999热在线视频| 久久人妻乱| 久久婷婷成人| 色色色网站| 久草婷婷在线| 第五婷婷伊人丁香| 久热成人| 五月丁香花伦理电影| 99久久玖玖| 色综合婷婷| 农村熟妇高潮精品A片| a级毛片一区二区免费视频| 丁香五月婷婷99| 色婷婷丁香网| 九九热这里只有精品一| 亚洲综合五月天| 色噜噜狠狠一区二区三区| 丁香婷婷天堂| www.婷婷,com| 五月婷婷开心色伊人| 亚洲AV成人片无码网站| 678五月丁香亚洲综合| 久久这里有精品视频| 色色色婷婷五月天| 欧美大片免费播放器| 综合久久综合综合| 婷婷五月综合婷婷| 99热这里只有精品18| 情色五月天网站| 熟女人妻视频| 1024你懂的欧美曰韩| 久/久精品99看9| 天堂草在线观| 亚洲激情婷婷| 久草婷婷在线| caop在线| 婷婷五月天免费| 超碰在线视屏| 日韩人妻白浆视频系列| 97人人搞| 先锋av性爱成人电影| 97色在线视频| 天堂在线观看视频| 狠狠做五月| 婷婷五月天激情五月天深爱五月天| 九九热只有精品| 丁香操逼| 久热这里这里有精品| 一丁香五月天月AV| 极骚大香蕉伊人| 伊人激情| 超碰国产在线观看| 熟女强人妻一区二区三区四区无| 97碰啪啪| 婷婷五月天精品| 国产精产国品一二三在观看| www.99精品在线| 99热最新网址| 亚洲五月婷婷| 激情五月色综合网| 五月丁花色综合网| 99热这里只有精品在线观看| 日韩av高清| 亚洲欧洲自拍图片专区五月天| 久久婷婷五月丁香网| 亚洲传媒在线观看| 久久成人性爱| 大香蕉综合| 亚洲AVDVD| 色色色在线观看| 狠狠激情五月天| 五月丁香啪啪啪| 99熟女| 成人丁香五月天Av| 五月婷九月| 五月婷婷色丁香| 色狠狠综合| 在线99色| 99综合免费视频| 99热自拍| 久久婷婷五月天懂色| 玖玖五月| 欧美啪啪五月天| 五月婷婷六月丁香在线视频| 丁香五月花| 丁香伊人综合| 99在线免费观看| 色情婷婷| 久久久性爱视频| 色97啪啪| 色狠狠色噜噜AV天堂五区消防| 人人人操 超碰| 六月丁香综合网| 日本欧美成人片AAAA| 伊人大香五月天| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 九九综合色| 日韩 欧美 国产 一区 二区| 99re6久热只有精品6在线直播| 色热久| 另类精品视频在线观看| 毛v一区二区视频| 情久久综合五月天| av不卡网站| 亚洲色色色色| 精品国产AV色一区二区深夜久久| 激情五月无码| 精品人妻伦九区久久AAA片| 五月丁香日本在线视频观看| 天天色色天天| 色综合99| 综合色久| 五月婷婷五月丁香综合| 丁香五月社区| 人人色人人摸人人看| 99热免费在线| 丁香五月六月久久综合| 婷婷五月天成人| 五月色无码| 国产69久久久欧美黑人A片| 丁香婷婷五月天色播| 成人精品视频99在线观看免费 | 久久五月婷婷丁香| 日本99在线视频| 色五月婷婷av| 五月天五月色婷婷综合| 婷婷五月天干干| 大香人妻| 六月婷婷色色色| 亚洲狠9| 婷婷激情五月天网站| 超碰精品在线| 森林影视大全,最好看的2019年视频 | 色色99| 丁香激激情网| 丁香六月成人网| 亭亭色网| 六月丁香婷婷综合色播| 欧美激情综合五月色丁香| 色99欧洲色19| 色五月婷婷AV| 久久99久久久久久| 99热99思午夜精品| 播丁香五月婷婷欧美| 婷婷丁香综合成人| 伊人9在线| 五月丁香网站| 色婷婷六月天在线| 亚洲人人操| 九九热免费| 亚洲激情区| 第五婷婷伊人丁香| 免费黄色视频网址| 五月激情婷婷六月丁香| 五月丁香婷婷狠狠操| 九色视频91疯狂| 色五月亚洲五月天| 99在线综合视频| 天天肏视频| 天天色天天干天天插| 五月天社区婷婷| 五月天天天天天天天天天天天天天天天婷婷婷 | www.丁香六月婷婷久久天堂影院.con| 色噜噜婷婷| 五月丁香激情四射| 成人无码精品1区2区3区免费看| 欧美日韩AAAA| 99热99色| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 成人AV中文字幕| 婷婷激情图片| 99热在线精品观看| 在线播放中文字幕| 五月婷婷综合在线亚洲视频| 久久婷婷91| 五月婷婷免费在线观看| 婷婷五月综合网| 色香蕉精品五夜婷| 欧美日韩成人一区二区| www.婷婷网| 婷婷久久色| 丁香色五月 97干| 五月激情婷婷丁香天堂| 九月婷婷| www.91AV.com| 久热九九| 成年人最刺激的综合网| site:minyis.com| 欧美久久网| 九九丁香社区欧美激情| 99免费热视频在线| 99精品在这里| 热无码A∨| 午夜成人AV在线| 奇米色大香蕉| 精品人妻伦九区久久AAA片| 久久精品系列| 五月婷婷六月激情网| 亚洲综合久| 无码人妻一区二区一牛影视| 欧美色五月| 婷婷99狠狠躁天天躁中| 婷婷色色欧美| 最新激情五月天| 人妻熟妇国产精品| 婷婷丁香五月基地| 亚洲亚洲人成综合网络| 丁香五月久久| 99精在线| 综合网五月天123| 99热香港| 五月婷婷免费在线| 亚洲啪啪精品| 草了bav视频在线观看| 五月婷激情| 色色激情网| 开心五月深爱五月| 国产精品日韩十五区| 久久五月网| 思思网站| 色色五月婷婷| 成人一级片| WWW·色色色·COM| 蒲京久久无码视频| 性av| 99色视频| 色五月在线观看| 天天久久狠狠色综合| 噜噜狠狠色综合久| 婷婷六月激情| 99热这里只有免费精品| 99久久成人| 有码人妻久久| 久久婷婷五月天懂色| 91色综合网| 99热网址| 中文字幕网站在线观看| 美女91一起草| 人妻在线网站| 婷婷五月娱乐在线| YW无码|