[具身智能-615]：为什么 CMOS 传感器不在每个像素内置 R/G/B 三个感光单元？拜耳阵列的折中思路

一、先给出直观结论如果一个像素点内部集成 3 个独立感光二极管分别检测红、绿、蓝工程上将面临四大无法接受的难题像素尺寸暴涨、感光效率暴跌、成本飙升、读出速度下降。拜耳阵列单点单色采样 插值是光学、半导体、成本三者权衡后的最优工业方案。二、逐层拆解底层原因1. 物理面积限制最核心现在消费 / 工业 MIPI 传感器像素尺寸典型1.4μm、2.0μm、2.4μm。 假设单个像素区域大小固定方案 A拜耳1 个像素 1 块光电二极管 1 片单色滤光片R/G/B 任选其一方案 B单像素 3 色同一个像素格子里要塞下3 套独立光电二极管 3 套滤光片在相同感光区域面积下 方案 B 里每一种颜色对应的感光面积只有原来的 1/3。✅ 后果进光量大幅降低→暗光信噪比急剧变差夜景、弱光画面布满噪点。类比同样大小窗户拜耳是一整块玻璃三色像素是窗户被隔成3 个小格子每个格子采光面积更小。2. 半导体电路布线复杂、读出电路拥挤每个感光二极管都需要配套传输晶体管、复位电路、信号读出线路。 1 像素 3 感光单元 电路数量直接翻 3 倍。像素内部走线拥挤容易产生光电串扰crosstalk相邻感光单元光线、电荷互相干扰色彩失真晶体管挤占感光区域进一步压缩光电二极管有效面积芯片设计难度上升良率下降传感器价格大幅上涨。3. 数据带宽、功耗、帧率瓶颈假设分辨率 1920×1080拜耳 RAW一帧只有207 万采样点单像素三色方案一帧需要输出622 万采样点3 倍数据量同等时钟速率下 数据量 ×3 →传输带宽需求 ×3、ADC 模数转换功耗上升、最大帧率下降。 对于 MIPI 接口相机带宽压力会直接限制分辨率与帧率。4. 光学难题垂直堆叠结构的短板补充Foveon X3 特例有一种技术叫Foveon X3适马相机传感器 垂直堆叠感光层同一 XY 位置从上到下分层捕捉蓝、绿、红光。 看起来实现了“同一像素获取三色”但是存在明显缺陷不同波长光线穿透硅片深度不同色彩分离不纯净存在串色难以小型化无法做到小像素尺寸不适合手机、嵌入式 MIPI 摄像头量产成本极高无法普及。这也侧面证明理论可行但不适合大规模工业视觉 / 消费摄像头。三、拜耳阵列的折中思路工程师的取舍工程师放弃「每个像素直接拿到完整 RGB」换来了巨大优势每个像素只保留1 个感光二极管感光面积最大化暗光性能最优像素电路极简适合缩小像素尺寸轻松做到千万级像素原始数据量更小MIPI 传输、存储压力低芯片结构简单量产良率高成本可控。代价 单个像素仅采集单一颜色必须依靠ISP 执行 Demosaic 插值利用周边像素估算另外两个颜色通道。⚠️插值属于估算会存在轻微伪色、细节损失但在绝大多数场景下人眼几乎无法察觉。四、一张对比总结表表格方案感光面积数据量成本弱光性能适用场景拜耳 Bayer1 像素单色最大基础值低优秀手机、MIPI 工业相机、监控99% 市场单像素内置 R/G/B 三个感光单元缩小至 1/3×3极高很差几乎无商用产品Foveon X3 垂直堆叠中等×3极高一般小众单反无法小型化五、延伸关联你的视觉工程为什么 Sensor 输出只能是拜耳 RAW 硬件架构决定原生只能单点单色采样RAW 就是传感器最原始的采样结果NV12 从何而来 RAW 送入 ISP → Demosaic 插值补齐三色 → 色彩空间转换 → NV12 (YUV)AI 网络为什么不能直接用 RAW RAW 每个像素只有单一颜色不满足 CNN 输入要求每个像素需要完整 RGB 信息。补充拓展有没有其他替代 CFA 阵列除拜耳 RGGB 外还有 RGBW 阵列增加白色无滤光像素提升亮度多用于监控低光照场景但依然不是单像素三色依旧依靠插值属于同类思路延伸。