[具身智能-614]：相机原始信号 + 拜耳（Bayer）阵列完整原理（适配MIPI Sensor、RDK X5 ISP 链路）

一、核心前提CMOS 感光像素只能感知亮度无法区分色彩CMOS 感光二极管光电二极管只感知光子数量亮度天生不能分辨红 / 绿 / 蓝。感光元件输出信号只有电压值 入射光强弱没有颜色信息。想要彩色图像解决方案在像素前加装彩色滤光片Color Filter ArrayCFA。行业通用方案拜耳阵列 Bayer Pattern。二、拜耳阵列排列规则最主流 RGGB标准RGGB拜耳单元2×2最小重复单元plaintextR G G B放大成片排列plaintextR G R G R G G B G B G B R G R G R G G B G B G B比例特点绿色 G 像素数量是 R、B 的 2 倍人眼对绿光亮度最敏感增加绿色采样提升亮度信噪比。四种常用拜耳排布硬件必须匹配错了画面严重偏色RGGB最通用OV5647、IMX219、IMX335BGGR、GRBG、GBRG⚠️ 如果你在 ISP 配置写错阵列类型RAW 解码出来图像颜色完全错乱。三、相机信号完整链路从光子到 RAW 帧光线 → 镜头 →彩色滤光片→CMOS 光电二极管每个像素只透过一种颜色光只能采集 R / G / B 其中一个分量CMOS 电路将光信号转为模拟电压 → ADC 模数转换输出数字信号RAW 拜耳数据Bayer RAW✅ 重点每个像素仅有单一通道数值缺少另外两个颜色分量例R 像素只有红色亮度没有绿色、蓝色数据。这就是为什么 RAW 文件不是彩色图像不能直接预览必须插值。四、Demosaic去马赛克 / 拜耳插值原理单个像素只有一种颜色要得到完整 RGB 像素必须利用相邻像素插值估算缺失的另外两个颜色。 举个例子阵列中某个 R 像素当前已知R 值通过周边相邻 G、B 像素插值估算出该位置 G、B 数值 最终生成每个像素都具备 R/G/B 三通道的完整图像。这项运算由ISP 图像信号处理器完成RAW(Bayer) → Demosaic → RGB临时图像 →色彩空间转换→ NV12(YUV420)也就是整条链路里RAW → NV12 的核心步骤。五、RAW 数据关键特性结合之前的格式对比无完整彩色像素只是离散采样点阵不能直接送入 CNN/BPU不存在 “YUV” 概念YUV 是 ISP 插值、色彩空间转换之后才产生位深常见8bit (RAW8)、10bit (RAW10)、12bit (RAW12)IMX219/OV5647 大多 RAW8/Raw10高动态工业 Sensor 常用 RAW12数据结构是二进制裸流没有文件头打开必须指定分辨率 拜耳排布六、容易混淆的关键点澄清1拜耳 RAW ≠ NV12plaintext光子 → CMOS → Bayer RAW单通道点阵 ↓ISP Demosaic3A色彩转换 NV12YUV420 完整可视图像单向流程NV12 无法还原回拜耳 RAWISP 处理丢失了原始采样信息。2为什么 AI 推理不用 RAW必须使用 NV12/RGBCNN/FCOS/YOLO神经网络输入要求每个像素拥有R、G、B 三色信息。 RAW一个像素只有单一颜色不满足网络输入条件。3什么时候需要抓取拜耳 RAWSensor 寄存器调试、排查 I2C 通信、曝光异常、噪点问题当前相机调试阶段镜头标定、ISP 参数调优白平衡、Gamma、降噪 正常业务运行不会输出 RAW直接使用 ISP 输出NV12。七、结合 RDK X5 硬件链路对应关系plaintextMIPI Sensor硬件输出Bayer RAW(RGGB) ↓ 通过MIPI总线传给开发板 地平线VIO接收RAW → 送入内置ISP ↓ ISP流水线 Demosaic去马赛克 → 白平衡 → 降噪 → Gamma校正 → RGB→YUV转换 ↓ ISP输出 NV12mipi_cam节点 /image_combine_raw话题如果你想抓取 RAW 帧需要修改 mipi_cam/VIO 配置让 ISP 旁路、直接输出原始拜耳数据默认工作模式下你拿到的只有 NV12。八、典型故障场景和你遇到的 I2C 相机问题关联I2C 通信异常 → Sensor 配置失效 → RAW 数据乱码、图像花屏ISP 拜耳排布参数配置错误 → RAW 解码后整体偏绿 / 偏红位深配置不匹配Raw10 当成 Raw8 解析→ 画面条纹、噪点爆炸