近年来，针对虚拟现实/增强现实的计算机系统的发展显着增加。虚拟现实/增强现实环境包括至少部分用于替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备（诸如触敏表面）则用于与虚拟现实/增强现实环境交互。

示例性触敏表面包括触控板，触敏遥控器和触控屏显示器。所述表面可以帮助用户操纵显示器显示的用户界面和对象。示例用户界面对象包括数字图像，视频，文本，图标，以及诸如按钮和其他图形的控制元素。

但对于包含一定虚拟元素的环境，与其进行的方法和接口十分笨重，低效和有限。例如，使用一系列的输入来选择一个或多个用户界面对象十分繁琐，这用户产生了认知负担，并减损了虚拟现实/增强现实环境的体验。

另外，所述方法不必要地浪费了大量的性能。这对于电池设备而言尤为重要。为此，苹果提出的发明旨在优化计算机系统与增强现实和虚拟现实环境的交互。所述方法和接口可以补充或替换用于与增强现实和虚拟现实环境交互的传统方法。

所述方法可以简述用户输入的数量和程度，并产生更为高效的人机界面。对基于电池的设备而言，所述方法和接口可以节省能效并增加每次充电后的使用时间。

在一些实施例中，计算机系统包括桌面PC。在一些实施例中，计算机系统可以是便携设备，如笔记本电脑或手持式设备额。

在一些实施例中，计算机系统包括诸如头显这样的个人电子设备，如下图所示。途中用户正通过头显设备感知一个增强现实环境，并能够通过触敏控制工具与之交互。在下图中，iPhone可以作为一种导航工具。

用户可以添加虚拟人物，汽车和树木等等，并将建筑楼层逐层分解。相信建筑师在向投资人解释其方案时会十分喜欢这个功能。

苹果在年度iPhone（或iPad）活动中指出，下一代的的交互游戏可以支持AR。苹果同时向开发者提供了用于游戏的Swift Shot，而专利中有深入探索游戏和交互功能。

苹果同时指出，在一些实施例中，用户可以通过手写笔和/或手指接触触控表面，以及手势来与GUI交互。

在未来，苹果设想未来的用户可以通过混合现实头显进行图像编辑，绘图绘画，演示演讲，文字处理，表格制作，电话通讯，视频会议，网页浏览，音乐播放和视频播放等等。在2018年的一份专利中，苹果同时指出坐在自动驾驶汽车里面的用户可以开展各种活动。在“用户界面和相关处理”一栏，苹果提到了“投影仪和平视显示器”，而这可以与AR挡风玻璃相关联。

延伸阅读：苹果专利：研发自动驾驶VR乘坐系统，带来沉浸式乘车体验

专利同时指出，用户可以通过“头口输入激活”头显的锁定和解锁，而相同的逻辑可以在未来集成至未来的苹果电视。

这份292页的苹果AR专利最初是于2018年Q3季度提交。尽管描述如此长篇累赘，但只有18个专利声明与生成AR环境的“方法”和“计算系统”有关。