马斯克已用激光雷达10年了，激光雷达与相机将合二为一

互推小编 2024-01-26

周彦武

马斯克的特斯拉上没有用激光雷达，不过马斯克的龙飞船用了，激光雷达实际与传统的CMOS摄像头没有本质区别，二者最大区别是传统的CMOS摄像头是2D，激光雷达是3D的，特别是Flash激光雷达，其最初名字就叫3D相机，它还有一个名字，就是ToF相机。龙飞船上用的就是Flash激光雷达。

Flash激光雷达最早追溯至1987年，美国NASA为登陆太阳系其他行星设计的感知系统，由NASA资助的ASC公司负责，2006年NASA设立自动着陆有害障碍物躲避技术即ALHAT项目，2010年项目通过验收，2009年ASC公司的3D相机搭载于奋进号航天飞机上并成功发射，2012年后搭载于龙飞船上，2016年首次龙飞船首次发射成功，没错，就是特斯拉CEO马斯克的龙飞船。ASC为龙飞船制作的3D相机名为DragonEye，2016年美国的OSIRIX-REX项目，即 Origins Spectral Interpretation Resource Identification SecurityRegolith Explorer（OSIRIS-REx），这个项目是发射一个航天器采集小行星样本返回任务，使用的着陆舱命名为Tiger，ASC为其制作了3D相机，命名为TigerEye。

ASC称之为FLC，即Flash Lidar Camera

图片来源：互联网

TigerEye使用128*128的阵列，有效距离5厘米到1.1公里。

图片来源：互联网

2010年，ASC在IEEE上发表论文，ASC's 3D Flash LIDAR™ Camera: The Sciencebehind ASC's 3D Depth Imaging Video Camera，网址：https://ieeexplore.ieee.org/document/7268968。

奋进号的3D激光雷达相机

图片来源：互联网

ASC的Flash激光雷达相机用在美军的武装直升机上，因为波长是1570纳米，可穿透浓雾及沙尘，上图就是其沙漠试验，美军研发的无人直升机的关键元件就是Flash激光雷达相机，它将为无人直升机提供精准的3D图像做导航。

TigerEye是不折不扣的Flash激光雷达，与长城汽车上用的IBEO的激光雷达原理上没有区别，就连像素数也很接近，不过ASC是在2008年就做出来了，当然ASC的TigerEye价格很高，约45万美元，毕竟这相机要用在龙飞船上，太空环境是很恶劣的。据说ASC大约卖出了100套TigerEye，主要用于太空和军事领域，由于这个市场太小了，ASC在2016年出售给了德国大陆汽车公司，为其开发车载的Flash激光雷达或者说车载的3D相机，ASC仍然提供太空级3D相机，有效距离目前可达6公里。

图片来源：互联网

Flash激光雷达与传统CMOS相机非常相似，只不过它是发射激光，而传统CMOS相机是接收自然光的反射。Flash激光雷达的发射通常是VCSEL，接收是SPAD阵列，VCSEL它是可寻址的阵列模式，易与SPAD阵列对应。

索尼在2021年9月6日，推出车规级激光雷达用SPAD传感器IMX459，最大探测距离300米，在300米处的距离精度仍有15厘米，IMX459有10万像素，而安森美的样品目前只有4万，ASM的只有1万，目前国产长城汽车即将使用的IBEO的真固态激光雷达，其SPAD就是ASM的，像素为10240。

10万像素显然太低了，佳能于2021年12月初推出了320万像素的SPAD传感器，并预计2022年下半年量产。320万像素通常分辨率是2048*1560，也就是等效于传统360度旋转式激光雷达的1560线。这样的分辨率和传统相机已没有区别。佳能在2021年初宣布的100万像素SPAD传感器拥有每秒24000帧的超高帧率，目前360度旋转激光雷达帧率仅为10FPS，佳能是其2400倍，是传统摄像头的800倍。

图片来源：互联网

佳能的320万像素SPAD传感器，尺寸为13.2毫米长，9.9毫米宽，在佳能川崎晶圆厂制造。不仅佳能，松下，三星和索尼都在此领域花费大量精力研发，目前佳能遥遥领先，奥地利AMS、松下、索尼和三星处于第二梯队，第三梯队还有东芝、丰田（电装）、安森美、滨松、英飞凌、意法半导体、富士胶卷。第四梯队则有苹果、博通、Lumentum。

佳能的320万像素SPAD传感器可以直接取代传统的CMOS图像传感器，加上VCSEL，就是激光雷达，1500线的激光雷达，并且体积和成本与现有的CMOS图像传感器相差不大，这样的激光雷达看起来就是个摄像头。

图片来源：互联网

CMOS图像传感器与SPAD图像传感器对比，CMOS图像传感器内部多了两级处理，自然光照射像素阵列，发生光电效应，在像素单元内产生相应的电荷。当电容充满电荷之后，光子的射入会导致内部激发出新的电子空穴对，与原来充电形成的电子空穴对进行配对放电，形成光电流，光电流给右侧的电容充电变成一个电压输出，为提高信噪比，对模拟信号进行放大，然后进入ADC变换电路，再以数字形式输出，噪音会在模拟信号放大阶段和ADC变换阶段产生，同时模拟信号放大器有线性范围，也就是CMOS图像传感器有个动态范围。而SPAD不会有噪音，它是直接光子计数，从头到尾都是数字信号，未有任何噪音。

图片来源：互联网

CMOS图像传感器的光电转换效率很低，约为SPAD的百万分之一。所以SPAD特别适合低照度场合。CMOS加大感光面积也可以用于低照度场合，但成本也会飞涨。

目前城市里光污染严重，肉眼可看到的星星极限大约为四等亮星，这种情况下的环境照度大约0.01Lux，大城市里即使再黑暗，基本都有0.01lux的照度，SPAD可轻易做到0.002Lux，也就是说任何城市环境，无论多暗，SPAD都能正常工作，这也是佳能的SPAD图像传感器目前还是主打监控的原因，SPAD相机可以取代NIR近红外相机，它拥有近红外相机的全部能力，却没有近红外相机的缺点。

图片来源：互联网

SPAD超高的光电效率也让其帧率可以超高，SPAD的时间精度可达100皮秒，可以做超高速相机，理论帧率可轻易做到每秒10万帧。

图片来源：互联网

佳能的SPAD不同于传统SPAD，开口率达到100%，因此可以做到超高像素。

图片来源：互联网

SPAD另一个益处是让点云处理下岗，因其可以直接输出图像，无需任何后端处理，SPAD就是个3D相机。SPAD有两种输出，一是光子计数器，二是飞行时间。SPAD因具备高灵敏度，可以检测到单一个光子，因此可做成光子计数器，光子计数器可以直接转换为强度图像，原理类似普通的数码相机，传统数码相机上的PIN二极管检测到自然光反射后的光线，光电变换将光强变为电流信号，TIA放大器将电流信号转换为电压信号，电压信号再经ADC处理，最终生成图像。

图片来源：互联网

典型SPAD D-ToF系统，这里只看飞行时间，SPAD阵列的每个Cell利用启动截至时间可以轻易得到飞行时间。再加上TDC电路就可以输出深度图像了。

TDC的原理这里不再赘述，简单说就是将离散的时间数据转换为直方图，再转换为数字图像。因为要检测每个像素的开关，因此最佳的做法将TDC电路与像素集成在芯片上。目前多用两段式TDC法，单段TDC占的面积过大，会导致成本大增。

图片来源：互联网

一种典型的集成TDC的SPAD阵列，传统激光雷达需要单独加一片TDC芯片来处理，集成了TDC的SPAD自然不需要，直接可以输出深度图像。当然集成TDC的工艺不太好掌握，成本也略高，因此有些SPAD厂家依然选择外置TDC，不过这样精度有所降低，功耗自然也有增加。

更多佐思报告

佐思 2021年研究报告撰写计划

智能网联汽车产业链全景图（2021年12月版）

主机厂自动驾驶	汽车视觉（上）	高精度地图
商用车自动驾驶	汽车视觉（下）	高精度定位
低速自动驾驶	汽车仿真（上）	OEM信息安全
ADAS与自动驾驶Tier1	汽车仿真（下）	汽车网关
汽车与域控制器	毫米波雷达	APA与AVP
域控制器排名分析	车用激光雷达	驾驶员监测
激光和毫米波雷达排名	车用超声波雷达	红外夜视
E/E架构	Radar拆解	车载语音
汽车分时租赁	充电基础设施	人机交互
共享出行及自动驾驶	汽车电机控制器	L4自动驾驶
EV热管理系统	混合动力报告	L2自动驾驶
汽车功率电子	汽车PCB研究	燃料电池
无线通讯模组	汽车IGBT	汽车OS研究
汽车5G	汽车线束	线控底盘
合资品牌车联网	V2X和车路协同	转向系统
自主品牌车联网	路侧智能感知	模块化报告
自主品牌ADAS研究	商用车车联网	商用车ADAS
汽车多模态交互	汽车智能座舱	车载显示
Tier1智能座舱(上)	座舱多屏与联屏	智能后视镜
Tier1智能座舱(下)	智能座舱设计	汽车照明
座舱SOC	汽车VCU研究	汽车座椅
汽车数字钥匙	TSP厂商及产品	HUD行业研究
汽车云服务平台	OTA研究	汽车MCU研究
AUTOSAR研究	智慧停车研究	传感器芯片
软件定义汽车	Waymo智能网联布局	ADAS/AD主控芯片
T-Box市场研究	自动驾驶法规	ADAS数据年报
T-Box排名分析	智能网联和自动驾驶基地	汽车镁合金压铸
乘用车摄像头季报	智能汽车个性化	飞行汽车
专用车自动驾驶	农机自动驾驶	矿山自动驾驶
港口自动驾驶	自动驾驶重卡	无人接驳车
仪表和中控显示	车载DMS	合资品牌ADAS
800V高压平台