OS08A20 與海思平臺 WDR 三種模式講義關(guān)鍵詞OT_WDR_MODE_BUILT_IN、OT_WDR_MODE_2To1_LINE、OT_WDR_MODE_2To1_FRAME、OS08A20、Staggered HDR、Sequential HDR、MIPI VC目錄三種 WDR 模式總覽基本概念BUILT_IN 模式2To1_LINE 模式2To1_FRAME 模式三種模式對比MIPI Lane 與 VCOS08A20 對應(yīng)關(guān)系核心修正項常見誤區(qū)逐條修正工程檢查清單一句話總結(jié)1. 三種 WDR 模式總覽海思平臺 MPP 定義的 3 種 WDR 模式模式合成位置Sensor 輸出平臺角色OT_WDR_MODE_BUILT_INSensor 內(nèi)部完成 WDR 融合 非線性壓縮單路壓縮后的合成 RAW非線性格式ISP 僅做 Expander 解壓不參與長短幀合成OT_WDR_MODE_2To1_LINE海思 ISP 行間合成行交替長曝光行/短曝光行分兩路 RAWVC0/VC1VI 拆分兩路行數(shù)據(jù)ISP 做行間 2To1 融合OT_WDR_MODE_2To1_FRAME海思 ISP 幀間合成完整長幀 RAW、完整短幀 RAW 先后串行輸出VI 緩存兩幀圖像ISP 做幀間 2To1 融合占用雙幀 Buffer一句話精簡BUILT_INSensor 合成 壓縮ISP 只負責解壓無多幀融合動作。2To1_LINE長短曝光行交錯輸出ISP 行間融合運動鬼影最輕。2To1_FRAME長短整幀先后輸出ISP 幀間融合必須雙幀緩存。2. 基本概念2.1 WDR 寬動態(tài)通過兩組獨立曝光采集長曝光 Long拉高暗部信噪比高光易飽和短曝光 Short保住亮部不溢出暗部噪聲大后端將兩路線性 RAW 合并為一幀寬動態(tài)畫面。2.2 兩大采集架構(gòu)Sensor 端融合BUILT_IN片內(nèi)完成長短幀合并 PWL 非線性壓縮輸出單路壓縮 RAWISP 端融合2To1_LINE / 2To1_FRAMESensor 只輸出兩路獨立線性 RAW不做任何合成由 ISP 完成融合。重點2To1_LINE / 2To1_FRAME 下長短幀數(shù)據(jù)始終是線性 RAW沒有片內(nèi)壓縮。3. BUILT_IN 模式3.1 數(shù)據(jù)流ISP AE計算曝光/增益 → 寫入Sensor寄存器 ↓ Sensor采集長短曝光 → 片內(nèi)完成WDR融合 → PWL分段壓縮 ↓ 輸出單路壓縮RAW一路MIPI數(shù)據(jù)流 ↓ 海思MIPI RX接收 ↓ ISP Expander模塊加載PWL曲線執(zhí)行反向解壓 ↓ 正常去拜耳、3A、ToneMapping處理3.2 核心特性Sensor 內(nèi)部完成長短幀融合ISP沒有兩路 RAW 輸入不執(zhí)行 WDR 融合算法輸出為壓縮 RAW必須配置 Expander 分段線性曲線還原動態(tài)范圍AE 只下發(fā)一組曝光與增益不需要分別配置長幀、短幀兩套參數(shù)帶寬開銷低只占用 1 路 MIPI 數(shù)據(jù)流不需要多路 VC。3.3 關(guān)鍵修正針對 OS08A20??重大結(jié)論OS08A20 原生硬件不支持 BUILT_IN 片內(nèi)合成 壓縮輸出OS08A20 僅支持兩路獨立線性 RAW 輸出Staggered/Sequential HDR無片內(nèi) WDR 融合與壓縮電路無法直接跑OT_WDR_MODE_BUILT_IN該模式僅適用于帶 Built-in WDR 的 Sensor如部分 OV/索尼 DCG HDR 型號。4. 2To1_LINE 模式Staggered HDROS08A20 原生首選4.1 工作時序Sensor 逐行交替曝光奇數(shù)行 長曝光偶數(shù)行 短曝光一行 Long、一行 Short 循環(huán)讀出輸出兩路獨立 RAW 數(shù)據(jù)流。4.2 兩種輸出方案修正原文誤區(qū)雙 VC 模式主流方案長行數(shù)據(jù)走 VC0短行數(shù)據(jù)走 VC1MIPI 一進兩路邏輯流VI 直接拆分 VC0/VC1 得到兩路行數(shù)據(jù)無需軟件逐行解析。單 VC 無虛擬通道模式長短行共用同一個 VC依靠 Dummy Line 行計數(shù)區(qū)分長行/短行由 VI 軟件逐行切割兩路數(shù)據(jù)兼容性弱只在 VC 資源不足時使用。4.3 模式特點長短曝光時間差只有一行讀出時間運動物體鬼影、重影最輕僅需要少量行緩存DDR 開銷遠小于 2To1_FRAME兩路 RAW 都是線性未壓縮數(shù)據(jù)ISP 可以自由調(diào)節(jié)曝光比 RatioAE 必須分別配置 Long Exp/Gain、Short Exp/Gain 兩組參數(shù)短板行交替會帶來行間噪聲差異容易出現(xiàn)水平橫紋需要 ISP 做行均衡降噪。5. 2To1_FRAME 模式Sequential HDR幀交替雙曝光5.1 工作時序輸出一整幀完整長曝光 RAWLong Frame緊接著輸出一整幀完整短曝光 RAWShort Frame循環(huán)往復(fù)長幀 → 短幀 → 長幀 → 短幀。兩幀先后串行輸出共用一路 MIPI可以用 FS/幀序號區(qū)分長短幀。5.2 模式特點長短幀是兩張完整圖像像素一一對應(yīng)幀配準簡單無行間橫紋問題必須開啟雙幀幀緩存DDR 占用顯著升高兩幀采集存在一幀的時間差運動場景一定會出現(xiàn) Ghost 重影有效輸出幀率直接減半Sensor 輸出 30fpsWDR 合成后只有 15fps同樣輸出兩路線性 RAW無片內(nèi)壓縮AE 獨立控制長短幀曝光比。補充OS08A20 本身沒有原生 Sequential 幀交替模式2To1_FRAME 是靠驅(qū)動配置 Context 切換 組保持Group Hold時序軟件模擬實現(xiàn)的并非硬件原生時序。6. 三種模式對比項目BUILT_IN2To1_LINEStaggered2To1_FRAMESequential融合位置Sensor 片內(nèi)ISP 行間融合ISP 幀間融合RAW 數(shù)據(jù)非線性壓縮 RAW兩路線性 RAW兩路線性 RAWMIPI 輸出單路數(shù)據(jù)流雙 VCVC0/VC1為主單路、幀序號區(qū)分時間差無片內(nèi)同時采集僅一行時間整整一幀時間運動鬼影幾乎無輕微嚴重緩存開銷極小無需雙路緩存僅行緩存雙幀緩存DDR 開銷大OS08A20 支持? 硬件不支持? 原生硬件支持?? 軟件時序模擬AE 參數(shù)僅一組曝光增益長短幀兩套獨立參數(shù)長短幀兩套獨立參數(shù)7. MIPI Lane 與 VCVCVirtual Channel 虛擬通道是 MIPI 協(xié)議邏輯標簽不是物理線Lane 才是物理差分數(shù)據(jù)線二者互不沖突2To1_LINE 標準配置物理 Lane 只用 1 組2/4 lane邏輯上拆分 VC0長行、VC1短行一路物理 MIPI 承載兩路邏輯數(shù)據(jù)流2To1_FRAME 不需要雙 VC長幀、短幀先后分時輸出在同一個 VC 下依靠幀起始 FS 和幀序號區(qū)分無 VC 模式不是關(guān)閉 VC 字段而是長短兩路復(fù)用同一個 VC 編號只能依靠行計數(shù)/Dummy Line 做軟件切分。8. OS08A20 對應(yīng)關(guān)系核心修正項OS08A20 硬件只具備2-exposure Staggered HDR行間交替雙曝光無內(nèi)置 WDR 融合壓縮功能對應(yīng)關(guān)系嚴格如下OS08A20 HDR 工作模式數(shù)據(jù)輸出形態(tài)海思 WDR 模式映射硬件原生性Staggered HDR行間交替長短行交替支持 VC0/VC1 雙路輸出OT_WDR_MODE_2To1_LINE? 硬件原生支持首選方案Sequential HDR幀交替整長幀 整短幀先后輸出OT_WDR_MODE_2To1_FRAME?? 僅能通過 Context 切換 Group Hold 軟件模擬非原生時序Built-in WDR 片內(nèi)合成單路壓縮合成 RAWOT_WDR_MODE_BUILT_IN?硬件不支持無法啟用重要結(jié)論OS08A20 工程上只能跑 2To1_LINE2To1_FRAME 為軟件模擬方案BUILT_IN 模式直接不可用。9. 常見誤區(qū)逐條修正誤區(qū) 1VC 是物理 Lane? 錯誤。VC 是 MIPI 協(xié)議的邏輯通道標簽Lane 是物理差分線一路物理 MIPI 可以承載多個 VC 數(shù)據(jù)流。誤區(qū) 2Staggered HDR 只輸出一幀交織圖像? 不準確。Sensor 輸出交織行但 MIPI 通過 VC0/VC1 拆分成兩路獨立 RAW 流VI 接收后先拆成長行、短行兩路數(shù)據(jù)再送入 ISP 做行間融合不是單幀數(shù)據(jù)。誤區(qū) 3無 VC 模式就不帶 VC 字段? 錯誤。無 VC 模式只是長短兩路共用同一個 VC 編號MIPI 包依然攜帶 VC 字段只是不再依靠 VC 區(qū)分長短曝光改用行號、Dummy Line 軟件切分。誤區(qū) 4BUILT_IN 模式下 ISP 不用配置曝光寄存器? 正確。ISP 依然負責 AE 閉環(huán)依然要下發(fā)曝光與增益只是只下發(fā)一組參數(shù)不需要區(qū)分長短幀同時必須配置 Expander 解壓曲線。誤區(qū) 52To1_FRAME 和 2To1_LINE 只是名字區(qū)別? 錯誤2To1_LINE行間采集時間差極小行緩存鬼影輕微OS08A20 原生硬件2To1_FRAME幀間采集時間差一整幀雙幀緩存運動重影嚴重OS08A20 只能軟件模擬時序。誤區(qū) 6OS08A20 可以直接開啟 BUILT_IN 模式? 錯誤。OS08A20 沒有片內(nèi) WDR 融合 PWL 壓縮電路硬件原生不支持 BUILT_IN 模式無法配置該模式運行不要在 SDK 里嘗試開啟。誤區(qū) 72To1 模式下 Sensor 輸出是非線性 HDR RAW? 錯誤。2To1_LINE / 2To1_FRAME 都屬于 HDR 采集模式但長短幀每一組曝光都是線性 12bit RAWSensor 不做任何壓縮所有融合與非線性映射都交給 ISP 處理。10. 工程檢查清單10.1 2To1_LINEStaggered HDR正式項目首選Sensor 寄存器配置為 Staggered 2-exposure HDR關(guān)閉幀交替時序開啟 MIPI 雙 VC 輸出長行 → VC0短行 → VC1VI 配置雙路 RAW 接收綁定 VC0/VC1 分別對應(yīng)長幀、短幀數(shù)據(jù)流ISP WDR 模式選擇OT_WDR_MODE_2To1_LINE開啟行間融合AE 配置雙路曝光分別設(shè)置 Long Exp/Gain、Short Exp/Gain配置曝光比 Ratio校驗長短行對齊、行時序無錯位避免出現(xiàn)水平橫紋若啟用無 VC 單通道模式提前調(diào)試 Dummy Line 與行計數(shù)切分邏輯。10.2 2To1_FRAME僅測試場景不推薦量產(chǎn)驅(qū)動配置 Context 切換 Group Hold軟件模擬長幀 → 短幀交替時序配置 FS 幀標記讓 VI 能夠識別當前幀是長幀還是短幀VI 開啟雙幀乒乓緩存滿足幀間融合的數(shù)據(jù)緩存需求ISP 選擇OT_WDR_MODE_2To1_FRAME開啟幀間配準與融合提前評估運動鬼影風險必須做運動檢測與鬼影抑制AE 依然分開控制長短幀兩套曝光與增益。10.3 BUILT_IN 模式OS08A20 直接跳過無需調(diào)試本條直接備注OS08A20 硬件不支持片內(nèi)合成壓縮禁止配置該模式無需調(diào)試 Expander 模塊。11. 一句話總結(jié)BUILT_INSensor 片內(nèi)融合 壓縮輸出ISP 僅做解壓OS08A20 硬件不支持無法使用2To1_LINEStaggeredOS08A20 原生硬件方案長短曝光行交替輸出依靠 VC0/VC1 拆分兩路線性 RAWISP 行間融合運動鬼影最輕是量產(chǎn)首選2To1_FRAMESequential靠驅(qū)動時序模擬整幀交替輸出必須雙幀緩存運動重影嚴重僅適合靜態(tài)場景測試所有 2To1 類 WDR 模式Sensor 輸出都是兩路獨立線性 RAW片內(nèi)無壓縮長短幀曝光比完全由 ISP AE 自由控制。