18884710760
技術(shù)文章
想象一下：你開發(fā)了一套自動駕駛相機(jī)感知算法，需要驗(yàn)證它在強(qiáng)光逆光、暴雨、攝像頭鏡面被泥水污染等場景下是否穩(wěn)定可靠。
現(xiàn)實(shí)道路測試？
等一場大雨需要時間
制造一場大霧需要運(yùn)氣
一次完整的實(shí)車路測動輒百萬成本
某些危險場景根本無法在公共道路上重現(xiàn)
這就是整個自動駕駛行業(yè)的共同痛點(diǎn)：真實(shí)數(shù)據(jù)稀缺、場景覆蓋率低、測試成本居高不下。
傳統(tǒng)的硬件在環(huán)（HiL）測試雖然能解決部分電控驗(yàn)證問題，但卻難以真實(shí)模擬傳感器的物理感知過程，尤其是相機(jī)傳感器的光學(xué)特性、成像質(zhì)量以及復(fù)雜環(huán)境下的視覺退化。這就是為什么越來越多的 Tier1 和 OEM 開始將目光投向高保真?zhèn)鞲衅鞣抡嫫脚_。
那么，有沒有一種方法，能夠在實(shí)驗(yàn)室里就精確模擬出強(qiáng)光逆光、暴雨、泥污污染這些場景下的相機(jī)成像？這正是高保真?zhèn)鞲衅鞣抡嫫脚_需要解決的問題。下面，我們以aiSim為例，從傳感器覆蓋、相機(jī)模型、分辨率配置、HDR渲染到全棧可調(diào)參數(shù)，逐一拆解其技術(shù)實(shí)現(xiàn)。
二、全品類傳感器統(tǒng)一仿真
aiSim 仿真核心
aiSim 依托自研 AIR 引擎，基于 Khronos Vulkan API 構(gòu)建統(tǒng)一的 GPU 渲染管線，目前支持超過 20 種傳感器模型，覆蓋主流自動駕駛感知體系：
相機(jī)傳感器（Camera）：支持光柵化與光線追蹤兩種渲染模式
LiDAR 傳感器：支持旋轉(zhuǎn)式與固態(tài)，可輸出帶語義的三維點(diǎn)云
雷達(dá)傳感器：含高層目標(biāo)列表與底層雷達(dá)目標(biāo)仿真，支持多徑反射建模
GPS / IMU 傳感器：支持噪聲注入的慣性導(dǎo)航仿真
此外，還有超聲波傳感器、占用柵格傳感器等多類 CPU 處理傳感器
所有傳感器均工作在統(tǒng)一的物理坐標(biāo)系下，支持多傳感器聯(lián)合仿真，輸出可直接對接感知算法驗(yàn)證流水線。
aiSim GUI 傳感器配置
三、詳解相機(jī)：物理級仿真核心能力
相機(jī)是自動駕駛感知的核心器件之一，其仿真保真度直接影響算法訓(xùn)練數(shù)據(jù)和測試結(jié)果的可信度。aiSim 基于自研 AIR 引擎，可實(shí)現(xiàn)物理級相機(jī)傳感器的仿真渲染。
1、覆蓋全場景的多種相機(jī)模型
aiSim 支持以下多種主流相機(jī)畸變模型：
3DGS地圖下的多樣化相機(jī)模型示例
（Perspective、OCam Fisheye、OpenCV Pinhole）
2、分辨率 & 視場角自由配置
相機(jī)的水平與垂直分辨率可在 0 到 32768 像素之間自由設(shè)置（width / height），滿足從低分辨率 IoT 攝像頭到高分辨率感知相機(jī)的全覆蓋需求。
視場角通過 render_y_fov 參數(shù)控制（范圍 1°～180°），對于視場角超過 120° 的廣角相機(jī)，推薦使用 Cube_6_Face 六面體環(huán)境映射以確保無盲區(qū)覆蓋。此外，Auto_* 系列自動模式能根據(jù)傳感器畸變分布自動選取渲染策略，免去手動調(diào)參的煩惱。
3、物理級 HDR 真實(shí)光照成像
aiSim 的核心渲染哲學(xué)是"全鏈路物理光照"——從光源（太陽輻照度 120,000 lx、IES 人工光、天空模型）到材質(zhì)（PBR 材質(zhì)、Cook-Torrance BRDF），再到相機(jī)成像，完整遵循渲染方程。
HDR 數(shù)據(jù)存儲在線性色彩空間（sRGB）中，默認(rèn)采用 16 位浮點(diǎn) RGB 格式（值 6.55×10?，精度 3.31 位小數(shù)），也可切換為 32 位浮點(diǎn)格式獲得更高精度（值 3.4×103?，精度 7.22 位小數(shù)）。
HDR 數(shù)據(jù)還可導(dǎo)出為 EXR 或 DDS 格式，Alpha 通道攜帶表面輻照度（單位：lux）；將 RGB 三元組從 sRGB 轉(zhuǎn)換到 CIE XYZ 色彩空間后，Y 分量即為亮度值（單位：cd/m2），直接支持光度學(xué)分析。
不同參數(shù)下的光照渲染效果
4、全鏈路可調(diào)參數(shù)
aiSim 相機(jī)傳感器提供了業(yè)界罕見的全棧參數(shù)開放能力：
（1）光學(xué)參數(shù)
-景深（DoF）：focus_distance（焦距，支持 infinity）、aperture_diameter（光圈直徑，置 0 關(guān)閉 DoF）、sensor_size_scaling_number（像元尺寸，默認(rèn) 4μm）
（2）成像管線參數(shù)
- 曝光控制：支持手動（F值 f_stop、快門速度 shutter_speed、ISO sensitivity）與自動（基于平均亮度 AutoFromAverageLuminance、基于 LUT AutoFromExposureLUT）多種模式
- RAW 傳感器輸出：通過 AimRawCFA16 模式模擬 CMOS/CCD 信號處理流程，支持 rgb_radiant_exposure_to_voltage（輻射曝光轉(zhuǎn)電壓）、analog_gain、adc_bit_precision（ADC 位深）等底層參數(shù)
- 卷簾快門（Rolling Shutter）：逐行采樣動態(tài)對象狀態(tài)，精確重現(xiàn)運(yùn)動模糊與卷簾畸變（需開啟光線追蹤）
（3）渲染質(zhì)量參數(shù)
- 光線追蹤：samples_per_pixel（每像素采樣數(shù)）、max_depth（彈射深度）、denoiser_type（Intel OIDN 2.0 降噪，支持 Low/Balanced/High 三檔）
- 后處理：色調(diào)映射（Filmic / FilmicACES / Reinhard / AMDFidelityFXLPM 等多種算法）、色彩校正、飽和度、Bloom、SSAO、SMAA 等
- 色差（Chromatic Aberration）：基于 STN 模型，可獨(dú)立平移紅/綠/藍(lán)通道，模擬真實(shí)鏡頭色散
（4）環(huán)境干擾參數(shù)
- 傳感器污染（Sensor Blockage）：支持泥污（Mud）和冷凝（Condensation）兩種污染類型，bias 參數(shù)控制污染程度（0～100），seed 控制隨機(jī)分布
- 運(yùn)動模糊：基于每像素速度圖，精確計算運(yùn)動方向與模糊程度
四、結(jié)語
從物理光照建模到鏡頭畸變還原，從HDR成像鏈路到底層RAW信號模擬，aiSim在相機(jī)傳感器仿真的每個環(huán)節(jié)都提供了可量化的參數(shù)配置接口。其核心特征在于：覆蓋11種鏡頭畸變模型、支持0~32768像素分辨率連續(xù)可調(diào)、實(shí)現(xiàn)了全鏈路物理光照的HDR成像，并將光學(xué)、成像管線、渲染質(zhì)量與環(huán)境退化參數(shù)全面開放。
關(guān)注微信