MEMS(微机械系统)如何实现眼动追踪?

原标题:MEMS(微机械系统)如何实现眼动追踪?

眼动追踪(Eye Tracking),是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。

眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备,在视觉系统、心理学、认知语言学的研究中有广泛的应用。最近很热门的AR/VR应用就需要时刻跟踪眼动来实现全浸没体验。另外,眼动跟踪还可以帮助渐冻症(ALS)患者用眼球移动来与他人交流。

一种比较常用的无创方式为视频/图像捕捉。摄像头拍摄得到眼部图片,具有一些可以提取的特征,经过某些图像处理的算法提取出这些特征参数,从而确定眼球位置,用于判定人眼注视的方向和目标,计算结果由处理器CPU反应于你所使用的VR/AR设备上。根据中国眼动跟踪初创公司七鑫易维(该公司今年九月刚拿到高通的投资)的介绍,眼图录像法和角膜反射法都属于该类方法。

以下来自七鑫易维的介绍:

眼图录像法主要是通过辨认眼球的特征如瞳孔外形、异色边缘(虹膜、虹膜边界)、近距指向光源的角膜反射来实现眼动跟踪。根据云视频的宣传,其所提到的能够读懂人“眼神意识”的视频技术,就是基于此项技术。

然而虹膜识别+瞳孔运动识别虽然可以捕捉人眼的动作但是却无法检测到人眼的注视点,这才是最硬的伤!首先虹膜识别和瞳孔识别都是基于一个平面的,要测量注视点就必须保证头部是固定的,让眼睛同头和注视点的相对位置一致才可以。

人眼作为人体最精细的器官之一,注视点转移仅需要一个微小的动作,而人类仅仅因为呼吸而造成的头部动作就足以让测量误差造成定位偏移。然后我们再退一万步讲,即使的头部是固定的,对于虹膜的识别也没那么容易,欧洲人的人眼特征较为明显,识别相对容易,但也不是一个家用普通摄像头就可以判断眼球特征的,而亚洲人瞳孔多为深褐色,人眼特征较弱,普通摄像头几乎无法捕捉。

因此从云视链的眼球追踪技术的出发点来说,通过眼神就能推送出你想要的信息是不可能的了!角膜反射法是目前眼球追踪领域广泛认可并应用的方法,主要通过摄像头捕捉人眼特征,通过算法建立人眼二维或者三维注视点估计模型,通过算法判断人眼动作和注视点。

眼球的特殊构造会形成一到多个浦肯野像,基于这种方法的眼球追踪一般定位第一浦肯野像,通过定标步骤,可以测量出处在垂直平面现实定标点表面上人眼的注视点。

有创的手段包括在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。眼电图(electrooculography )检测方式通过电极测量当眼球移动时的电位变化,其原理是眼球可以被考虑为偶极子。其优点是成本低,但普及型差。

微电极描记眼动电图

MEMS同样可以实现眼球追踪功能,下面介绍的一项MEMS eye tracking技术来自加拿大滑铁卢大学的N. Sarkar等人(SCANNING DIFFRACTIVE OPTIC ELEMENTS FOR UNTETHERED EYETRACKING MICROSYSTEMS)。

眼睛与眼角膜具有不同的直径,这是该设计的原理基础。该方案通过采用下图所示的简单设计从而实现在尺寸、价格、功率、带宽、准确性的改进。该设计使用一束低辐射(1-10μW/cm2),红外(850nm)、发散(~ 50mrad)的光束。

光束从激光源发出后射向扫描仪scanner,扫描仪scanner具有一个平面,功能类似于镜子,将入射光束反射。再由扫描仪scanner操控该光束射向眼角膜,然后从角膜表面反射(掠射角从60⁰到90⁰)到一个光电二极管。

光电二极管的作用为接受光信号,产生电信号。输出电信号随输入光强增大而增大。随着眼睛的转动,扫描仪scanner控制光束追踪眼角膜上能够使光电二极管接受到最大信号的点。

值得注意的是,其光电二极管的表面可作为一个空间滤波器,使其不需要大面积平坦的微镜。相应地,该设计使用了一个300微米大小的扫描仪(Fresnel zone plate scanner)。其支撑anchor可以实现扫描仪scanner两个自由度(蓝色支撑以及红色支撑均可旋转)的偏转,可以完成光束的较大范围操纵。

下图为另一种同样具有两个自由度的扫描仪scanner,其工作原理与上图类似,通过支撑anchor的旋转对扫描仪进行旋转,从而操纵光束的角度。其中间载荷为垂直排列的两个cylindrical lens patterns用以投射十字准线(crosshair)。

进行色彩描绘后的扫描仪scanner的扫描电镜图

下面介绍MEMS眼球追踪技术一项来自苹果专利(微型眼动追踪系统与方法US 20150238079 A1)。

该苹果专利为可使用与移动端的微型眼动追踪系统与方法。其专利介绍如下:

本发明公开了一种微型眼动跟踪系统,包括一个摄像头,一个微机电系统(MEMS)设备和处理器。相机像拍摄眼睛的图像。该MEMS装置控制相机的视角方向。处理器接收来自相机的眼睛的图像,确定相机图像内的眼睛的位置,并控制MEMS以保持相机指向眼睛。

在另一个实例中,该MEMS装置控制相机的可调焦距。该处理器确定了眼睛图像的聚焦状况,控制该MEMS以保持所需的聚焦条件。在另一个实例中,该MEMS控制可调相机变焦。该处理器确定眼睛图像在整体相机图像中的大小,然后控制该MES以保持眼睛图像在整体相机图像内的所需大小。

图示为苹果基于MEMS的眼动追踪示意图。

MEMS的一些微型弹簧结构。

MEMS中一些主动位移结构

可以想象,苹果采用MEMS对摄像头/透镜进行偏转将是类似于之前提到的进行光线偏转反射的微镜结构,如下图所示。其微镜可同通过控制其支撑不同的长度对其偏转。

返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
推荐阅读