您对增强现实AR技术了解多少

(增强现实核心技术产业联盟,关注AR/VR前沿资讯及技术资讯)

增强现实(AR)是指通过计算摄像头图像的位置和角度并添加图像分析技术,让屏幕上的虚拟世界与现实世界场景结合、交互的技术。

该术语由前波音研究员 Tom Caudell 于 1990 年首次使用。商业增强现实体验最初引入娱乐和游戏业务。 随着电子产品计算能力的提高,增强现实的用途越来越广泛。

目前增强现实有两种常见的定义。 第一个是由北卡罗来纳大学教授Ronald Azuma于1997年提出的。他认为增强现实包括三个方面:

另一个定义是保罗·米尔格拉姆和岸野文雄在1994年提出的米尔格拉姆现实-虚拟连续体。他们将真实环境和虚拟环境视为连续系统的两端,中间的称为“混合现实”。 其中,接近真实环境的为增强现实(Augmented Reality),接近虚拟环境的为增强虚拟环境。

技术

硬件

增强现实的硬件组件包括:处理器、显示器、传感器和输入设备。 智能手机和平板电脑等现代移动计算设备结合了这些元件,通常包括摄像头和微机电系统 (MEMS) 传感器,例如加速度计、GPS 和固态罗盘,使其适合 AR 平台。 增强现实中使用了两种技术:衍射波导和反射波导。

软件与算法

AR 系统的一个关键指标是它们将增强功能与现实世界集成的真实程度。 该软件必须获得独立于相机和相机图像的真实世界坐标,这一过程称为图像配准,使用不同的计算机视觉方法,主要与视频跟踪相关。 许多用于增强现实的计算机视觉方法继承自视觉里程计。 Augogram 用于创建 AR 计算机生成的图像。 Augography 是为 AR 创建增强现实地图的科学和软件实践。

通常,这些方法由两部分组成。 第一步是检测相机图像中的兴趣点、基准标记或光流。 该步骤可以使用角点检测、斑点检测、边缘检测或阈值检测等特征检测方法以及其他图像处理方法。 第二阶段根据第一阶段获得的数据恢复现实世界的坐标系。 一些方法假设场景中存在具有已知几何形状(或基准标记)的对象。 在某些情况下,应该预先计算场景3D结构。 如果场景的一部分未知,同步定位与建图 (SLAM) 可以绘制相对位置。 如果没有有关场景几何的信息,则使用运动方法的结构,例如束调整。 第二阶段使用的数学方法包括:射影(极)几何、几何代数、指数图旋转表示、卡尔曼和粒子滤波、非线性优化和鲁棒统计。

在增强现实中,区分了两种不同的跟踪模式,称为标记和无标记。 标记是触发虚拟信息显示的视觉提示。 可以使用一些不同几何形状的纸张。 相机通过识别图形中的特定点来识别几何形状。 无标记跟踪,也称为即时跟踪,不使用标记。 相反,用户更喜欢将相机视图中的对象放置在水平面内。 它使用移动设备中的传感器来准确检测现实世界的环境,例如墙壁和十字路口的位置。

增强现实标记语言 (ARML) 是开放地理空间联盟 (OGC) 内开发的数据标准,由用于描述场景中虚拟对象的位置和外观的可扩展标记语言 (XML) 语法和允许动态地访问虚拟对象的属性。

为了快速开发增强现实应用,一些软件开发工具应运而生,例如SenseAR、ARkit等。

增强现实系统组件

基于监控的系统

在基于计算机显示器的AR实现中,摄像机捕获的现实世界图像被输入计算机,与计算机图形系统生成的虚拟场景合成,并输出到屏幕显示。 用户在屏幕上看到最终的增强场景图片。 虽然它并没有给用户带来太多的沉浸感,但却是最简单易用的 AR 实现方案。 由于该解决方案的硬件要求非常低,因此被实验室中的AR系统研究人员广泛使用。

现实增强眼镜_增强现实AR_现实增强技术作用/

视频透视系统

头戴式显示器(HMD)广泛应用于虚拟现实系统中,以增强用户的视觉沉浸感。 增强现实技术的研究人员也采用了类似的显示技术,这就是AR中广泛使用的透射式HMD。 根据具体实现原理分为两类:基于视频合成技术的视频透视HMD和基于光学原理的光学透视HMD。

图视频透视增强现实系统实施方案

增强现实AR_现实增强眼镜_现实增强技术作用/

光学透视系统

在上述两个系统实现方案中,输入计算机的信息有两个通道,一个是计算机生成的虚拟信息通道,另一个是来自摄像机的真实场景通道。 在光学透视HMD实现方案中,后者被去除。 真实场景的图像经过一定程度的减光处理后直接进入人眼,而虚拟通道的信息经过投影反射后进入人眼。 两者都是光学合成方法。

增强现实AR_现实增强技术作用_现实增强眼镜/

三种系统结构性能对比

三种AR显示技术实现策略在性能方面各有优缺点。 在基于监视器和视频透视显示技术的AR实现中,通过摄像头获取真实场景的图像,并在计算机中将虚拟图像和真实图像结合并输出。 整个过程中不可避免地存在一定的系统延迟,这是动态AR应用中虚实配准错误的一个主要原因。 但此时,由于用户的视觉完全处于计算机的控制之下,因此这个系统延迟可以通过计算机内部虚实通道的协调来补偿。 基于光学透视显示技术的AR实现中,真实场景的视频图像传输是实时的,不受计算机控制。 因此,无法通过控制视频显示速率来补偿系统延迟。

现实增强眼镜_现实增强技术作用_增强现实AR/

此外,在基于监视器和视频透视显示技术的AR实现中,可以利用计算机分析输入的视频图像并从真实场景的图像信息中提取跟踪信息(参考点或图像特征),从而辅助动态AR的虚拟和现实场景的配准过程。 在基于光学透视显示技术的AR实现中,唯一可以用来辅助虚实配准的信息就是头盔上的位置传感器。

开发设计

在消费产品中实现增强现实需要考虑应用程序的设计以及技术平台的相关约束。 由于 AR 系统严重依赖用户沉浸感以及用户与系统之间的交互,因此设计可以促进虚拟化的采用。 对于大多数增强现实系统,可以遵循类似的设计指南。 下面列出了设计增强现实应用程序时的一些注意事项:

场景设计

情境设计侧重于最终用户的物理环境、空间和可访问性,这些在使用 AR 系统时可能会发挥作用。 开发人员应该了解最终用户可能遇到的身体状况。 通过评估每种物理情况,可以避免潜在的安全隐患,并可以做出改变以进一步提高最终用户的沉浸感。 用户体验设计师必须定义相关物理场景的用户旅程,并定义界面如何对每个场景做出反应。

特别是在增强现实系统中,考虑影响增强现实技术有效性的空间和周围元素也至关重要。 光和声音等环境因素可能会阻止 AR 设备传感器检测必要的数据并破坏最终用户的沉浸感。

情境设计的另一个方面涉及系统功能的设计及其适应用户偏好的能力。 虽然辅助工具在基本应用程序设计中很常见,但在设计定时提示(以防止意外操作)、音频提示和总体参与时间时,应考虑一些注意事项。 在某些情况下,应用程序的功能可能会妨碍用户的能力。 例如,驾驶应用程序应减少用户交互量并使用音频提示。

交互设计

增强现实中的交互设计以用户与最终​​产品的交互为中心,以改善整体用户体验和娱乐。 交互设计的目的是通过组织所呈现的信息来避免疏远或困惑用户。 由于用户交互依赖于用户输入,因此设计人员必须使系统控件更易于理解和访问。 提高增强现实应用程序可用性的常用技术是发现设备触摸显示屏中经常访问的区域,并设计应用程序以匹配这些控制区域。 构建用户使用路线图和显示的信息流也很重要,这可以减少系统的整体认知负担,并大大改善应用程序的学习曲线。

增强现实技术允许引入 3D 空间。 这意味着用户可以在单个 AR 应用程序中访问 2D 界面的多个副本。

视觉设计

为了改进图形界面元素和用户交互,开发人员可以使用视觉提示来告知用户哪些 UI 元素旨在与之交互以及如何与它们交互。 由于 AR 应用程序中的导航对于新手用户来说可能难以理解,因此视觉提示可以使交互看起来更自然。

在一些使用 2D 设备作为交互表面的增强现实应用程序中,2D 控制环境无法很好地转换为 3D 空间,从而阻碍用户探索周围环境。 为了解决这个问题,设计师应该使用视觉提示来帮助和鼓励用户探索周围的环境。