苹果MR新专利:头戴显示器可提供高品质沉浸式体验

其中一部分源自苹果于2017年收购的创企Vrvana

head 零酱 2020年11月19日 来源:VR陀螺

美国专利商标局今天正式发布了苹果公司一系列共68项新授予的专利。在其中,苹果有一项专利涉及用于让用户更好地沉浸在由头戴式显示器(HMD)提供的虚拟现实(VR)或增强/混合现实(MR)应用程序的环境中。这项专利其中有一部分源自苹果于2017年收购的创企Vrvana。

MR,mr设备,mr应用

苹果在其获得的专利中指出,沉浸在虚拟世界中的目的是说服用户的思想将非物理世界视为现实世界。

这里的现实概念更多地是指感知似然性的概念,而不是代表现实世界。在虚拟现实(VR)中,沉浸感是通过显示计算机生成的图形来实现的,这些图形模拟了真实或想象中的视觉体验。

沉浸质量受几个重要因素的影响,例如显示器的特性、图像质量、帧速率、像素分辨率、高动态范围(HDR)、持久性和纱窗效应(即屏幕上像素之间的可见线条)。

当显示的视野太窄或各种追踪功能缓慢和/或不准确(会导致方向迷失和不适感)时,沉浸式体验的质量会降低。

沉浸还受到相机系统性能的影响,例如图像质量(噪点、动态范围、分辨率、无伪影)以及虚拟图形(3D建模、纹理和照明)与直通图像之间的连贯性。在混合现实(MR)中,虚拟元素被实时合成到用户看到的真实环境中。虚拟元素与现实表面和对象之间的物理交互可以被模拟并实时显示。

现在业界普遍认为,各种元素的追踪是实现高端VR和MR应用程序体验的基本前提。在这些元素中,头部位置追踪,用户身体追踪和环境追踪在实现出色的沉浸感方面起着关键作用。

头部位置追踪(此后称为位置追踪)旨在估计环境中HMD的位置和方向,因此必须保持低延迟且又准确。原因是渲染的图形必须与用户的头部动作紧密匹配,才能在VR中产生很大的沉浸感,并且需要在MR的真实世界中正确对齐虚拟内容。

用户身体追踪则可以估计相对于HMD的用户身体(特别是但不限于手和手指)的位置和方向。它可以在VR和MR中提供一种用户输入方式(例如手势),从而可以与虚拟元素进行交互。虽然某些位置追踪方法也可以用于手部追踪(例如,手持控制器上带有LED阵列的IR摄像机),但其他方法则利用较小的分析空间(通常距HMD 1米以内)来增加手和手指追踪算法的鲁棒性。

例如,近距离飞行时间(ToF)摄像机可以与HMD集成在一起或放置在HMD中。这些摄像机可以产生手的深度图,从中可以构建手的骨骼模型。另一种方法是将IR LED泛光灯与相机一起使用,以分割出并估计手和手指上的3D点。

苹果的专利图1是具有多个摄像机和红外(IR)发射器的头戴式显示器(HMD)的示意图。图2A是用于实现虚拟现实和混合现实的光学器件、显示器和照相机的示例性实施例的俯视图。

MR,mr设备,mr应用

苹果的专利图4A示出了HMD设备的第一示例性实施例的正视图,其中具有两个RGB相机和为追踪提供可视数据的两个IR相机;图5是通过位置和用户身体追踪来实现VR的处理步骤流程图;图8是实现用户身体追踪的示例性过程流程图,它还包括手势识别。

MR,mr设备,mr应用

美国专利局今天发布的这项苹果专利号为10,838,206。该专利的首席发明家之一是来自蒙特利尔的SimonFortin-Deschênes,他是Vrvana的光学工程师,该公司于2017年被苹果收购。Vrvana的原始专利可追溯到2017年,与今天授予的专利的日期吻合。


相关推荐

用户评论