MULTI-MEDIA LAB
王福堂
博士生
芯片架构
项目背景
仿生智能复眼技术是计算视觉的新兴研究方向，它可以利用视觉传感器的空间和时间分布，采用算法对传感器信号采集链路的进行实时控制和视频信号的增强等信号进行深度处理，以解决视觉和视频采集处理中的噪声，分辨率，功率和成本等诸多矛盾，克服光学和传感器的一些硬件限制，改善或者引入设备不具备的功能。
自2011年美国杜克大学的David J. Brady等人搭建了一套多镜头组成的复眼相机原型系统以来，复眼计算视觉的这一类应用已经受到越来越多的关注。2014年，美国国防部委托BAE耗资1850万美元设计ARGUS -IS系统正式装备美国空军。它是由368个500万像素级别的手机摄像模块构成，视频数据实时传输至地面（每天的数据存储量接近100万TB），并实时处理拼接成为清晰度高达18亿等效像素的复眼相机系统，可于高空监控50平方公里内范围，并且能够同时跟踪多个目标，识别地面15cm大小的物体。但是其摄像头是全部部署在离地面1.75万英尺(约合5334米)高空的无人机上，受天气/云层的影响较大，且未有地面监控系统与之进行结合，在对目标的跟踪方面具有一定的局限性。另外，其视觉数据存储传输量要相当于每天5000小时的高清视频，对于带宽是极大的挑战。
研究意义
该系统是一种革命性的复合计算相机系统，它在数字成像的许多重要领域都超越了当前的限制。 它使用一系列算法控制和协调的传感器和镜头来实现亿级像素的分辨率。 该系统通过利用一系列高度并行的算法，在资源占用、处理质量和处理延迟等方面具有优势，而且能够实时完成资源建模，同时兼顾考计算、存储、通信和质量的动态调度。综合上述特征，系统实现的功能和性能超出当前范式所施加的限制的数量级。
涉及领域
视频编解码、并行计算、图像拼接
所包含的子研究方向
- 图像拼接
- 相机位姿估计