计算机视觉life”，选择“星标”
快速获得最新干货
本文转载自新机器视觉，文章仅用于学术分享。
01 导读
近日，南京大学现代工程与应用科学学院徐挺教授、陆延青教授团队联合电子科学与工程学院闫锋教授团队研发出一款具有极限成像景深的超构透镜光场相机，实现了景深范围从厘米量级到公里量级的大景深消色差光场成像。
相关成果以“Trilobite-inspired neural nanophotonic light-field camera with extreme depth-of-field”为题于2022年4月19日发表在 Nature Communications 上。
2022 | 前沿进展
02 研究背景
景深是成像系统的重要指标，它是指在像平面得到清晰的目标物体时，物方空间的前后可移动范围。在日常摄影中，人们都习惯于先对焦后拍摄，主要是由于普通相机的景深有限，无法实现整个视野范围内的清晰成像。
拓展景深成像可以提高视野的纵向清晰范围，在光学显微、摄影、机器视觉、卫星遥感等领域具有重要的应用价值。扩展景深最简单的方式就是缩小光圈，使得投影光线发散得更慢一些。但是，减小光圈将限制光学系统的通光量，极大的降低成像质量。其他关于拓展景深的方法还包括机械扫描、波前编码以及多层透明探测器叠加等。然而，这些方法在拓展景深的同时均以损失部分成像性能为代价(如通光量、时间分辨、彩色成像能力或成像保真度)。
03 研究创新点
源于史前生物三叶虫复眼结构研究中获取的灵感，研究团队提出了一种高性能的大景深成像方法，从组成器件、系统构架以及重构算法三个层面构建了一套完整的仿生光场成像系统(图1)。构建该成像系统的基本思想是通过充分利用超构表面中的偏振光学特性和色散效应，最大限度的获取目标场景的景深信息，再通过多尺度人工神经网络进行图像重建。
图1 超构表面透镜阵列实现极限景深全彩成像
图2为微纳加工制备的超构表面透镜阵列及其性能测试表征。通常，在基于衍射器件的成像系统中，器件的色散效应会引入严重的色差，很大程度上降低了成像质量，这是导致衍射器件难以应用于彩色成像的重要因素。而该研究反其道而行，把色散效应当作一种调制方式加以利用，联合光谱与偏振维度对场景信号进行调制。原始的场景信息经过光谱与偏振维度的调制后被传感器采集，后续重建算法则根据采集到的调制信号，解耦出清晰的大景深图像。
图2（a）超构表面透镜阵列的光学显微图像；（b）SEM图像；（c）双焦超构表面色散效应
在成像实验中，该团队布置了具有较大纵向深度(厘米至公里量级)的实验场景。一块印有不透明字母的玻璃被放置在距主镜光阑3 cm的位置作为最近的物体，最远的高楼距离约为1.7公里。图3a、b分别为自然光条件下像差校正前后的光场子图像。从放大后的子图（图3c,d）中可以清楚地看到，成像系统光学像差引起的模糊效应可以很大程度上被消除。进一步利用图像融合算法，可以得到整个场景的清晰图像(图3e)。因此，该成像系统不仅可以实现高分辨的大景深成像，而且可以消除由超构表面器件引起的色差。
图3 室外场景的成像实验。（a-b）分别为自然光条件下像差校正前后的光场子图像;(c-d)为部分放大的子图像；(e)最终重构得到的清晰图像
04 总结与展望
该研究工作是纳米光子学与计算成像学的深度融合，同时也为未来先进成像技术的发展提供了重要参考。南京大学副研究员范庆斌博士、博士研究生徐伟祝以及副研究员胡雪梅博士为该项工作的共同第一作者。徐挺教授、陆延青教授、岳涛副教授以及闫锋教授为论文的共同通讯作者，南京大学为论文第一单位。
该工作得到了包括科技部重点研发计划、国家自然科学基金、江苏省双创团队等项目资助，以及人工微结构科学与技术协同创新中心、固体微结构物理国家重点实验室等平台的大力支持。
论文链接：
https://www.nature.com/articles/s41467-022-29568-y
独家重磅课程官网：cvlife.net
1、视觉SLAM基础： 刚看完《视觉SLAM十四讲》，下一步该硬扛哪个SLAM框架 ？
2、VIO灭霸：VIO天花板ORB-SLAM3第2期上线！（单/双目/RGBD+鱼眼+IMU+多地图+闭环）
3、机器人导航运动规划： 机器人核心技术运动规划：让机器人想去哪就去哪！
4、详解Cartographer： 谷歌开源的激光SLAM算法Cartographer为什么这么牛X？
5、深度学习三维重建 总共60讲全部上线！详解深度学习三维重建网络
6、三维视觉基础 详解视觉深度估计算法（单/双目/RGB-D+特征匹配+极线矫正+代码实战）
7、 VINS:Mono+Fusion SLAM面试官：看你简历上写精通VINS，麻烦现场手推一下预积分！
8、图像三维重建课程：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图
9、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战
全国最棒的SLAM、三维视觉学习社区↓
技术交流微信群
投稿、合作也欢迎联系：simiter@126.com
— 版权声明 —
本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。返回搜狐，查看更多
责任编辑：