MULTI-MEDIA LAB

项目背景

现有数字图像系统大多由CCD 和 CMOS 都对影像信息做超 Nyquist 时空采样，并将光信号转换成电信号然后读出(“感”)。经颜色插值、滤波降噪等图像信号处理(Image Signal Processing，ISP)、编码压缩、解压缩和数据传输后，利用通过大量图像数据训练的深度 神经网络实现多种视觉功能(“知”)。在此体系下，由于“感”“知”未针对视觉应用进行联合优化，系统所采集的海量数据和对这些数据所进行的大量处理与最终视 觉功能无关，但需要极高的算力才能完成预处理、压缩、训练和应用等一系列操作， 整体功耗、延时、成本较高。由于摩尔定律和 Dennard Scaling 失效，系统的分辨率、算力、功耗难以通过半导体技术的进步而改善。再考虑到光学系统的局限(如 艾里斑(Airy Disk)等)以及基于深度学习的机器视觉算法面临的发展瓶颈，现有机器视觉系统已经接近其信息获取和处理能力的极限。

总结前述，我们可以看到:

• 数字影像技术的众多应用案例和巨大应用前景呼唤新一代的数字影像传感器架构。 谁率先解决该架构的理论、算法和设计问题，并优先产业化，就可以在未来的应用生态中抢占先机，并引领行业 30 年。从 CCD 到 CMOS的升级花了 三十年的时间。而 CMOS 从提出到现在也已经接近 30 年; 

• 新架构需要比现有技术在能耗、价格、延时等方面有至少一个数量级的提高; 

• 新架构需要应尽可能采用 CMOS 工艺生产，从而充分利用半导体技术进步的红利; 

• 新架构不但需要解决视觉信息的“感”，也需要解决从“感”到“知”的信息处理、压缩、学习训练和应用的全面优化。避免海量数据的低效处理和传输对高效 率的传感和应用形成瓶颈。 

研究意义

VPU 的设计思想体现了影像传感器及其工业发展的规律，集成了相关领域如信号处理， 机器视觉、深度学习、计算机体系结构等领域的最新成果，是符合科学技术发展和市场发 展规律的框架。作为一种全新的设计思想，VPU 设计把现有针对机器视觉优化的先进思想 和理论如domain specific architecture、低功耗设计、亚-Nyquist采样有机集成并推向极致， 因此有望称为一个全新具有清晰专利池和国际标准的新架构，并如同 CMOS 极大拓宽了数 字影像的应用范围一样，在医学、自动化、机器人、人工智能等众多领域得到应用。其比 CMOS 低一个数量级以上的成本和功耗，也使得其可以像 RFID 一样广泛部署，为上层智能应用和控制提供视觉信息的保障。它也将解决 CPU, GPU 处理视觉训练和视觉应用中算 力严重不足的问题，把 CPU, GPU 和存储、带宽资源从不必要的视觉信息处理和传输、存 储中解放出来。VPU 不但是对现有视觉应用的更新换代，而且可以拓展新的应用市场。仅 在现有视觉应用中一项，其总经济效益和市场规模即可望超过目前用于机器视觉的 CMOS 传感器和相应处理、存储设备的规模，达到每年数百亿美元。

涉及领域

图像传感器理论、数字图像处理、深度学习与计算机视觉、低功耗芯片设计

所包含的子研究方向

• 高效率的端到端计算机视觉系统设计

• 极低光照下的SLAM系统

• 面向机器的视频编码优化

• 深度学习算法的FPGA加速/芯片优化