MULTI-MEDIA LAB

研究人员
项目简介

项目背景

现有数字图像系统大多由CCD 和 CMOS 都对影像信息做超 Nyquist 时空采样,并将光信号转换成电信号然后读出(“感”)。经颜色插值、滤波降噪等图像信号处理(Image Signal Processing,ISP)、编码压缩、解压缩和数据传输后,利用通过大量图像数据训练的深度 神经网络实现多种视觉功能(“知”)。在此体系下,由于“感”“知”未针对视觉应用进行联合优化,系统所采集的海量数据和对这些数据所进行的大量处理与最终视 觉功能无关,但需要极高的算力才能完成预处理、压缩、训练和应用等一系列操作, 整体功耗、延时、成本较高。由于摩尔定律和 Dennard Scaling 失效,系统的分辨率、算力、功耗难以通过半导体技术的进步而改善。再考虑到光学系统的局限(如 艾里斑(Airy Disk)等)以及基于深度学习的机器视觉算法面临的发展瓶颈,现有机器视觉系统已经接近其信息获取和处理能力的极限。

总结前述,我们可以看到:

  • 数字影像技术的众多应用案例和巨大应用前景呼唤新一代的数字影像传感器架构。 谁率先解决该架构的理论、算法和设计问题,并优先产业化,就可以在未来的应用生态中抢占先机,并引领行业 30 年。从 CCD 到 CMOS的升级花了 三十年的时间。而 CMOS 从提出到现在也已经接近 30 年; 

  • 新架构需要比现有技术在能耗、价格、延时等方面有至少一个数量级的提高; 

  • 新架构需要应尽可能采用 CMOS 工艺生产,从而充分利用半导体技术进步的红利; 

  • 新架构不但需要解决视觉信息的“感”,也需要解决从“感”到“知”的信息处理、压缩、学习训练和应用的全面优化。避免海量数据的低效处理和传输对高效 率的传感和应用形成瓶颈。 


研究意义

VPU 的设计思想体现了影像传感器及其工业发展的规律,集成了相关领域如信号处理, 机器视觉、深度学习、计算机体系结构等领域的最新成果,是符合科学技术发展和市场发 展规律的框架。作为一种全新的设计思想,VPU 设计把现有针对机器视觉优化的先进思想 和理论如domain specific architecture、低功耗设计、亚-Nyquist采样有机集成并推向极致, 因此有望称为一个全新具有清晰专利池和国际标准的新架构,并如同 CMOS 极大拓宽了数 字影像的应用范围一样,在医学、自动化、机器人、人工智能等众多领域得到应用。其比 CMOS 低一个数量级以上的成本和功耗,也使得其可以像 RFID 一样广泛部署,为上层智能应用和控制提供视觉信息的保障。它也将解决 CPU, GPU 处理视觉训练和视觉应用中算 力严重不足的问题,把 CPU, GPU 和存储、带宽资源从不必要的视觉信息处理和传输、存 储中解放出来。VPU 不但是对现有视觉应用的更新换代,而且可以拓展新的应用市场。仅 在现有视觉应用中一项,其总经济效益和市场规模即可望超过目前用于机器视觉的 CMOS 传感器和相应处理、存储设备的规模,达到每年数百亿美元。


涉及领域

图像传感器理论、数字图像处理、深度学习与计算机视觉、低功耗芯片设计

所包含的子研究方向

  • 高效率的端到端计算机视觉系统设计

  • 极低光照下的SLAM系统

  • 面向机器的视频编码优化

  • 深度学习算法的FPGA加速/芯片优化


里程碑

极低光成像技术

团队目前在极低光场景的成像技术上已有研究基础,基于搭载1/2.7英寸CMOS传感器的开发板系统原型(如图1 右侧系统所示)完成了初步的技术验证。这一系统直接对RAW格式数据做处理,通过团队自研低光视觉感知算法,从RAW原始数据中提取出环境中物体的边缘和轮廓图像。

image.png

图1 极低光成像技术系统原型及对照实验系统


目前,该系统已经能够在环境光照度为0.07lux的极低光场景下完成边缘提取任务,边缘提取结果如下图所示。如图2所示,在该场景下传感器拍摄得到的RAW数据强度很低,几乎看不出细节,经过我们系统和算法的处理,能够从黑暗的场景中发现物体边缘并且输出。经过测算,在该场景下每一个传感器像素上积累的像素数目仅仅为20个左右。这足以说明团队在极低光照场景下的成像技术方面已经探足领域前沿,具有攻关极低光照成像难题的创造力。

vpu.png

图2 团队极低光成像技术效果

(左侧为开发板系统拍摄的RAW格式图像数据,右侧为极低光成像技术提取出的边缘轮廓图)

该技术与现有技术路线相比具有明显优势,基于现有的传感器-ISP-后处理框架,团队基于Canon EOS 5D(配备有全画幅大尺寸CMOS传感器,如图1 左侧系统所示)设计了对比实验处理流程:利用最大ISO设置的ISP将RAW格式数据转换为RGB图像;对该低光RGB图像做增强和降噪处理;用现有最好的神经网络边缘提取算法对降噪后图像进行处理。基于这样的处理流程,该对比实验的结果如图3.5所示,可以看出这一对比实验虽然采用了更好的传感器、引入了更多的处理步骤、带来了更高的系统功耗和延时,但得到的边缘提取结果远远不如图所示的极低光成像系统。

vpu2.png

图3 对照实验组效果-无法提取边缘
(左侧为Canon EOS 5D拍摄的RAW格式图像数据,右侧为目前最好技术路线提取出的边缘轮廓图)