独家对话清华大学吴嘉敏：计算光学成像将如何推动技术变革？｜钛媒体科普

互推小编 2023-05-02

利用光学成像看到事物（来源：Unsplash）

《圣经》旧约·创世纪篇里面有一句著名的话：神说要有光，于是就有了光（Optics）——从光开始上帝创造了万有。

光是人类感知世界的信息载体，也是人类的希望。

早在远古时代，古埃及人与美索不达米亚人第一次将石英晶体磨光制成宁路德透镜（Nimrud lens），翻开了人类光学成像历史的第一页，距今已3000多年的历史。

过去十多年来，随着微纳加工工艺的快速进步、光传感器（芯片）的多功能化、信息计算能力提升等新一代技术的不断演进，一个新兴多学科交叉技术“计算光学成像”应运而生，悄无声息中颠覆了人类与机器感知世界的方式。

计算光学成像以具体应用任务为准则，改变传统光学成像所见即所得的设计理念，通过多维度获取或编码光场信息（如角度、偏振、相位等），为传感器设计远超人眼的感知新范式，同时结合数学和信号处理知识，深度挖掘光场信息，在空间分辨率、成像速度、灵敏度、数据通量等一系列维度取得了前所未有的突破，广泛应用于手机智能摄影、汽车自动驾驶、生物医学成像、深空探测、VR/AR等领域。

2014年和2017年诺贝尔化学奖中，瑞典皇家科学院授予了美国、德国、瑞士、英国共六位科学家，分别表彰他们为发展超分辨率荧光显微镜、冷冻电镜技术所作的贡献，让人类得以细窥纳米世界。“计算光学成像”的理念在其中承担着重要作用。

今年1月11日，阿里达摩院2023十大科技趋势发布，计算光学成像、生成式AI（人工智能）、存算一体等技术成功入选。更早之前的12月下旬，彭博发布的一篇Opinion文章中提到，计算光学成像中的“元光学”（Meta-Optics）技术有望在今年引起广泛关注，并在未来十年内产生变革。

实际上，相比其他大众认知性较强的技术领域，由于计算光学成像太专业化了，因此技术较“冷门”，很少有媒体关注到，但却已经在潜移默化中应用在几乎日常生活中涉及光学的方方面面。而且该技术对于人类触及“见所未见”事物过程非常重要，大大提升了信息获取能力，突破传统光学成像极限，带来很多更具创造力和想象力的应用，促进了基础学科和应用学科发展，有望进一步颠覆传统成像体系。

1月中旬，2022第五届“达摩院青橙奖”获得者、清华大学自动化系助理教授吴嘉敏接受了钛媒体App的独家专访。作为达摩院十大科技趋势项目特邀专家，吴嘉敏非常详尽地向我们介绍和阐述“计算光学成像”为何会成为2023年趋势性技术，以及该技术未来将如何推动技术发展与变革。

“借你一双慧眼”的冷门技术

2022年7月11日，在长达20年的开发、100亿美元的高昂投入和150万公里的太空艰险旅行之后，美国宇航局（NASA）发布了旗下詹姆斯·韦伯太空望远镜（JWST）拍摄到的非常珍贵的第一张全彩图像，展示了从地球上看到的一些最遥远星系的深空区，凸显了JWST惊人的观测能力。

这一事件入选了2022《Science》（科学）杂志年度十大科学突破。

詹姆斯·韦伯太空望远镜在各个方面几乎都达到了人类在传统光学工艺上的极限，“计算光学成像”技术有望在未来带来新的突破，拓展人类对宇宙的认知边界，同时极大地降低成本。

光学成像系统主要由光源、光学镜头组、光探测器三部分组成。其中，传统光学成像建立在几何光学基础上，利用光学镜头将三维场景目标发出或者透/反/散射的光线聚焦在表面上，探测器像素和样品之间通过建立一种直接的一一对应关系来获取图像，图像的强度由光探测器离散采集，并经过图像处理器计算处理后形成可显示的图像。

不过，传统光学成像这类基于人类视网膜“所见即所得”的技术原理，忽略了诸多光本身的高维信息，导致其受强度成像机理、探测器技术水平、光学系统设计、成像衍射极限等等因素的限制，以及单视角、相位丢失、光谱积分、二维平面成像等因素的制约。

此外，当前传统光学成像在硬件功能、成像性能方面接近物理极限，在众多领域已无法满足应用需求。例如，在手机摄影领域，无法在保证成像效果的同时缩小器件重量和体积，出现令人诟病的“前刘海”和“后浴霸”的情况；在显微成像领域，无法同时满足宽视场和高分辨率的需求；在监控遥感领域，难以在光线较暗、能见度较低、距离极远的复杂环境中获得清晰图像等。

那么，突破“所见即所得”的一一映射，到对高维光场的耦合编码与计算重构，克服常规成像的局限性，以更低的成本获得更多更高质量的高维信息（诸如深度、光谱、偏振等等），是计算光学成像——“借你一双慧眼”能够出现的重要原因。

1873年，德国科学家恩斯特·阿贝(Ernst Abbe)提出了基于波动光学的衍射极限。即光学系统的分辨率存在上限。在很长一段时间里，衍射极限限制了高分辨率成像。随后，多位科学家利用计算成像技术，巧妙地通过波前编码技术或时域稀疏特性，绕过了光学衍射极限，实现了在活细胞内的纳米级观测，并获得了2014年的诺贝尔化学奖。

2016年，基于超表面的概念，哈佛大学的科学家Federico Capasso研制了首个在可见光范围内有效聚焦的超透镜（Metalens），开辟了平面光学（Flat Optics）领域，能够实现对复杂光场的超精细调制，有望极大地缩小成像系统的尺寸与成本。

2022年10月，英国《自然》杂志发表了吴嘉敏助理教授担任第一作者的研究成果，研究团队提出了一种集成式的扫描光场成像传感器，称为元成像传感器，进一步发展了数字自适应光学架构，无需额外的硬件修改即可实现适用于通用应用的高速像差校正三维摄影。

这些研究成果背后，是计算光学成像技术带来的巨大应用实践。

吴嘉敏对钛媒体App表示，相比传统光学成像，计算光学成像是将数字化、信息化深度融合在光学设计里面，软硬件一体化，通过计算为光学成像注入了新的“生命”。

“从理念上来说，传统光学成像最核心的设计理念是‘人眼在设计’，我们把Sensor（传感器）当作人眼来设计的光学系统。而计算光学最重要、最核心的是改变了这样一个设计，是让机器更好地感知这个世界；从原理上来说，把数字化融入到光学成像过程当中，在感知成像的过程中就开始进行计算编码，数字化建模整个成像过程，在光电转换以后再通过计算重构恢复想要获得的高维信息，甚至可以选择去完成特定的智能任务，比如图像分类，人脸识别。把计算与成像过程完全融合在一起。”吴嘉敏表示，计算光学成像的核心作用，是能够解决很多普通光学无法处理的瓶颈和难题。

由于计算光学成像研究内容覆盖范围广，包括无透镜成像（FlatCam）、元光学成像等，目前还没有一个比较明确的分类方法。按照计算成像技术所解决的应用问题来分类，可以大致分为以下三类：

功能提升：对传统方式无法获取的光学信息，如光场、偏振、相干度等进行成像或测量；
性能提升：即提升现有成像技术的性能指标，如空间分辨率、时间分辨率、景深、复杂环境鲁棒性等；
简化与智能化：通过单像素、无透镜等特定技术简化成像系统，或者以光速实现特定人工智能任务。

对于元光学技术，吴嘉敏进一步解释称，元光学技术起初是材料科学概念，作用是减少、减薄光学成像系统。通过一些非常极小的微纳光学结构，实现对高维光场的超精细调控，从而实现最终需要的成像结果。

他举了一个例子。元光学与深度学习技术的融合可以实现超薄甚至小于1mm的成像镜头，或者在一些AR/VR（虚拟现实/增强现实）设备上，利用元光学技术可以对不同偏振光进行不同调控，进而实现裸眼三维显示等。

吴嘉敏认为，很多时候我们其实感知不到计算光学成像技术在外观上的改变，更多时候这项技术其实已经集成在现有的设备，润物细无声地融入到我们日常生活中的方方面面。

“其实光是我们的手机上，就已经有大量的技术背后都已经用到了计算成像的许多方法，比如高性能的手机摄影，弱光成像，大变焦范围，以及支付级别的高精度人脸识别等等。”吴嘉敏对钛媒体App表示。

不过，当前计算光学成像技术仍需克服诸多挑战：首先，需以任务为导向重新设计多样化的光学系统，计算光学其实让我们多了大量的可能性，未来大家可能会见到各种各样稀奇古怪的成像设备；其次，为了实现对大规模的量产，需要研发更稳定更低成本的微纳加工工艺；最后，计算成像对算力要求非常高，大规模计算重构是计算成像发展的必然趋势。

从无人系统手机摄影，到工业检测安防监控，甚至显微观测天文遥感，计算光学成像将融入到人们生活的方方面面，具有广泛的应用价值。

产业处于早期，与仪器科学、移动终端、VR/AR结合将成为重要趋势

吴嘉敏表示，计算光学成像是一个光学、信息科学、计算科学、微纳加工等多学科交叉的技术，使其在功能、性能、可靠性、可维护性等方面获得显著提高，有助于实现光学成像设备的高性能、微型化、智能化，更直接地以工业规模生产为产品提供视觉技术。

尽管该技术非常重要与专业，但整个计算成像相关产业仍处于发展早期，正在慢慢地从学术界进入产业界的大规模应用，许多最具价值潜力的技术大部分都是院校、科研机构、以及苹果、谷歌等科技巨头完成的。

根据“3D视觉第一股”奥比中光股份（688322.SH）发布的招股书显示，截至2021年12月30日，全球已掌握核心技术并实现百万级面阵3D视觉传感器量产的企业仅有苹果、微软、索尼、英特尔、华为、三星和奥比中光等极少数企业。但同时，奥比中光2022年前9个月营收仅2.45亿元，同比下降21.17%，扣非后净亏损达2.43亿元。

不过，计算光学成像技术与AI、脑科学、VR/AR设备等其他产业结合，可能会爆发出很大的商业潜力。据多家媒体报道，美国科技巨头苹果公司计划发布首款自研AR头戴式设备，预计会引爆新一轮产业热点。

对于VR/AR与计算成像的结合，吴嘉敏对钛媒体App表示，AR技术背后的全息感知同样非常重要，因此内部包括了大量的计算光学成像技术应用，希望以此实现精准、可靠的光线追踪与全息交互，让消费者戴上AR设备时，能真正做到身临其境。

对于仪器科学与计算成像的结合，吴嘉敏表示，很多先进的光学成像技术都会首先应用在先进仪器中推动基础科学研究，脑科学就是一个非常典型的例子，在各国脑计划的推动下，过去十年间神经光子学高速发展。而计算光学成像技术在其中的重要作用，是帮助人类更好的探索大脑内部的精细活动。“例如我看到一张图像，我今天跟你说话，我说的每一句话，大脑里面的神经元是怎么编码的，这些是我们研究的重点之一。”

事实上，吴嘉敏还有另外一个身份，就是担任清华大学-IDG/麦戈文脑科学研究院的研究员，其所在团队主要研究计算成像技术在脑科学的技术转化，尤其是开发活体介观显微成像实现在哺乳动物上大规模高精度的神经记录，探究大脑的神经编码机制与许多脑疾病机理等。

而推动产业化发展，对于计算光学成像技术来说至关重要。

吴嘉敏提到，目前国内正在同步推进在计算成像领域的产业化发展，包括仪器的产业化、以及在安防、工业检测、机器人等领域的应用，以及在算力需求下做药物筛选、医疗诊断的高通量成像观测等等。

“做仪器方面的产业化，一方面是能够显著降低系统成本，提升系统鲁棒性，另外一方面能够突破传统仪器的局限，在性能上实现数量级的提升，这些都可以通过计算光学成像方法实现。”吴嘉敏对钛媒体App表示。

从光学成像系统的组成架构与总的发展趋势来看，光电探测器、信号处理技术与新型计算光学成像理论与方法已经逐渐呈现出多点突破蓄势待发的生动景象，有望对未来精密光学仪器的底层机理与构架形态产生重大影响，最终催生高端精密光学仪器颠覆性和换代性的重大产业变革。

达摩院十大科技趋势预测中指出，未来，计算光学成像将进一步颠覆传统成像体系，带来更具创造力和想象力的应用，在移动终端、无人系统、工业检测、天文遥感、显微仪器、医疗检测等领域具有广泛的应用价值。（本文首发钛媒体App，作者｜林志佳）

[注：本文部分图片来自互联网！未经授权，不得转载！每天跟着我们读更多的书]