联系我们的团队
您可以在这里向我们发送关于燧光XIMMERSE的一般问题查询
前不久,为庆祝《捉鬼敢死队》电影35周年,索尼宣布将在东京银座的索尼公园开放全新线下AR游戏项目:《捉鬼敢死队新人训练》。据悉,项目中采用的索尼新AR头显原型为一体化设计,外观设计酷似PS VR,或支持手势识别,除了《捉鬼敢死队》项目,可能也会用于园内的其他体验。
据了解,这并不是索尼首次展示其AR头显技术,在2017年时其实曾发布过一款开发者版AR头显:SmartEyeglass SED-E1,它采用分体式设计(计算基于安卓移动设备,通过蓝牙或无线网连接),仅能显示8bit深度的绿色。
后来,SmartEyeglass并没有继续投入C端市场(其技术曾应用于SwimAR泳镜全息显示模块),而作为在VR领域的探索,索尼PS VR却收获了不小的成功,目前销量已经突破420万台。因此几年后的今天,当索尼通过线下AR项目再次向C端市场展示其最新AR头显技术时,引起了很多人的好奇。
分析索尼AR头显外观
据悉,索尼新款AR头显原型的遮光罩具有较高透明度,光学部分看起来像是AWE 2019期间联想AR头显原型上采用的Lumus OE Vision 1080p光学引擎。
不过二者并不完全相同,从图片对比来看,索尼AR头显的光学模组比Lumus的边缘更锐。此外,从索尼公园线下AR项目的视频来看,该头显似乎采用了一个LCD遮光罩技术。使用遮光罩或许表明了其光学模组亮度不够,而相比之下Lumus的光学引擎的亮度可达几千尼特,是市面上亮度最高的光学模组之一。
那么索尼AR头显到底采用什么光学方案呢?目前官方并未公布更多信息,不过光学显示专家Karl Guttag在今年SID显示周上展示的论文中,似乎发现了这款AR头显的更多细节。
这篇论文名为:搭载扫描式光学模组的高透明度头显的延时补偿,主要描述了AR头显的动作预测和预补偿,同时也透露头显采用1280x768分辨率Micro OLED图像源。
除此之外,论文并未继续阐述光学结构,因此只能从其中高分辨率图中显示的光学组合器来继续分析。对比来看,这张图和视频中的头显不管是色彩、外形还是结构来看都十分接近。
索尼对比Lumus光学组合
在放大论文中索尼AR头显后,与Lumus光学模组对比,进一步发现两者有很大区别。首先,Lumus比索尼的光学模组透光性更好,更接近透明,此外Guttag还认为索尼的模组厚度看起来是Lumus的3到4倍。
原理方面,Lumus采用光波导技术,光线通过全内反射的方式在光波导中经过多次反射,以由上至下的方向在光学模组中传播(方形的光学模组也被称为出瞳扩展器,用于放大适眼区)。如果这种光波导方案具备和索尼光学方案同样的低透光性,那头显上部射出的大部分光线将难以到达底部。
因此进一步证实猜测,索尼并没有采用和Lumus不同的光学结构,并不能实现HoloLens、Magic Leap、DigiLens、WaveOptics等光波导技术采用的全内反射式显示方案。Guttag还认为,索尼的设计可能最多只支持一次全内反射,比较接近自由曲面光学。
尽管索尼AR头显的光学模组外形与Lumus相似,并且具有出瞳扩展功能,但是它应该不支持光线多次反射,光线传播更加直接,这样一来将需要更厚的光学模组来帮助传播足够量的光。
OLED对于光波导不够亮
论文中曾提到,索尼AR头显原型采用Micro OLED图像源,OLED亮度约在1000尼特左右,最亮可达5000尼特(高成本元件)。智能手机亮度约达600尼特,电脑屏幕约为200尼特,因此1000到5000尼特听起来似乎足够亮,不过如果放在高透明度的光学模组上,传递给眼球的有效亮度通常远低于图像源的10%。
如果用DLP和LCOS作为图像源,那么输出光线亮度将大大超过100万尼特,因此光波导与DLP和LCOS图像源搭配比与OLED更常见。HoloLens 2中采用的激光扫描光学,可提供数百万尼特级别低的亮度(直接接触眼球甚至可能烧穿)。
而如果采用1000尼特亮度的Micro OLED图像源,那么输出亮度远低于10尼特,仅适合在夜间使用。于是,猜测索尼AR头显采用的Micro OLED并非搭配光波导模组。
对于索尼AR头显使用的光学组合器,如果搭配1000尼特Micro OLED图像源,进入到人眼的亮度可能大约只有100尼特或以下。正是考虑到相似的问题,NReal等公司采用更简单的birdbath光学结构来搭配Micro OLED图像源。
除了用光学组合器遮挡光线,在索尼《捉鬼敢死队》AR项目的宣传视频中,似乎可看到头显开启了光学组合器前面的一个LCD遮光罩,用于遮挡住周围大部分环境光。
或采用新款ARM DPU
话题回到索尼的论文,其重点主要讲了对移动时间延迟提出的预补偿方案。据Guttag称,索尼AR头显采用的Micro OLED图像源支持120Hz刷新率的交错式视频传输,如果不加校正,加上其他延迟问题,用户很可能在任何移动的AR图像上看到梳子状效果。为了解决这一问题,论文通过逆向位移的方式调整帧缓冲器中渲染的图像(帧缓冲后进行的处理被称之为后端处理)。接着,还会继续调整光学变形。
与此同时,ARM在2019年SID光学周上发布了一款名为Mali-D77的显示处理单元(DPU),并且在发布会上曾多次谈到移动时间延迟的问题。而论文中也曾提到,索尼的AR头显采用基于ARM架构的核心,不过目前并不能证实是否就是Mali-D77。
后端处理的概念已经有40多年历史了,而ARM Mali架构将处理任务分成前端处理(帧缓冲之前)和后端处理,这样的架构更完整。此外,ARM的DPU也使用一系列缓存缓冲器来处理旋转等任务,而且渲染也会放在前端处理,将部分任务交给后端是为了降低移动时间延迟。
还有哪些信息
除了索尼论文中提到的AR头显技术,近期日本专利局发布的索尼AR头显专利或许也能给我们一些线索。
据悉,专利中指出了一款无线化设计的AR头显,可通过蓝牙、USB或HDMI接口与PlayStation、PC或移动设备建立连接。此外,它会内置三个立体摄像头组,定位和3D投影会更准确。
当然,索尼AR头显原型到底什么样只有亲身体验过才知道,不过目前索尼公园的线下AR项目为为期间限定,而且必须申请才有可能参与体验。
发表时间: 2020-07-19 08:00:00
浏览:
前不久,为庆祝《捉鬼敢死队》电影35周年,索尼宣布将在东京银座的索尼公园开放全新线下AR游戏项目:《捉鬼敢死队新人训练》。据悉,项目中采用的索尼新AR头显原型为一体化设计,外观设计酷似PS VR,或支持手势识别,除了《捉鬼敢死队》项目,可能也会用于园内的其他体验。
据了解,这并不是索尼首次展示其AR头显技术,在2017年时其实曾发布过一款开发者版AR头显:SmartEyeglass SED-E1,它采用分体式设计(计算基于安卓移动设备,通过蓝牙或无线网连接),仅能显示8bit深度的绿色。
后来,SmartEyeglass并没有继续投入C端市场(其技术曾应用于SwimAR泳镜全息显示模块),而作为在VR领域的探索,索尼PS VR却收获了不小的成功,目前销量已经突破420万台。因此几年后的今天,当索尼通过线下AR项目再次向C端市场展示其最新AR头显技术时,引起了很多人的好奇。
分析索尼AR头显外观
据悉,索尼新款AR头显原型的遮光罩具有较高透明度,光学部分看起来像是AWE 2019期间联想AR头显原型上采用的Lumus OE Vision 1080p光学引擎。
不过二者并不完全相同,从图片对比来看,索尼AR头显的光学模组比Lumus的边缘更锐。此外,从索尼公园线下AR项目的视频来看,该头显似乎采用了一个LCD遮光罩技术。使用遮光罩或许表明了其光学模组亮度不够,而相比之下Lumus的光学引擎的亮度可达几千尼特,是市面上亮度最高的光学模组之一。
那么索尼AR头显到底采用什么光学方案呢?目前官方并未公布更多信息,不过光学显示专家Karl Guttag在今年SID显示周上展示的论文中,似乎发现了这款AR头显的更多细节。
这篇论文名为:搭载扫描式光学模组的高透明度头显的延时补偿,主要描述了AR头显的动作预测和预补偿,同时也透露头显采用1280x768分辨率Micro OLED图像源。
除此之外,论文并未继续阐述光学结构,因此只能从其中高分辨率图中显示的光学组合器来继续分析。对比来看,这张图和视频中的头显不管是色彩、外形还是结构来看都十分接近。
索尼对比Lumus光学组合
在放大论文中索尼AR头显后,与Lumus光学模组对比,进一步发现两者有很大区别。首先,Lumus比索尼的光学模组透光性更好,更接近透明,此外Guttag还认为索尼的模组厚度看起来是Lumus的3到4倍。
原理方面,Lumus采用光波导技术,光线通过全内反射的方式在光波导中经过多次反射,以由上至下的方向在光学模组中传播(方形的光学模组也被称为出瞳扩展器,用于放大适眼区)。如果这种光波导方案具备和索尼光学方案同样的低透光性,那头显上部射出的大部分光线将难以到达底部。
因此进一步证实猜测,索尼并没有采用和Lumus不同的光学结构,并不能实现HoloLens、Magic Leap、DigiLens、WaveOptics等光波导技术采用的全内反射式显示方案。Guttag还认为,索尼的设计可能最多只支持一次全内反射,比较接近自由曲面光学。
尽管索尼AR头显的光学模组外形与Lumus相似,并且具有出瞳扩展功能,但是它应该不支持光线多次反射,光线传播更加直接,这样一来将需要更厚的光学模组来帮助传播足够量的光。
OLED对于光波导不够亮
论文中曾提到,索尼AR头显原型采用Micro OLED图像源,OLED亮度约在1000尼特左右,最亮可达5000尼特(高成本元件)。智能手机亮度约达600尼特,电脑屏幕约为200尼特,因此1000到5000尼特听起来似乎足够亮,不过如果放在高透明度的光学模组上,传递给眼球的有效亮度通常远低于图像源的10%。
如果用DLP和LCOS作为图像源,那么输出光线亮度将大大超过100万尼特,因此光波导与DLP和LCOS图像源搭配比与OLED更常见。HoloLens 2中采用的激光扫描光学,可提供数百万尼特级别低的亮度(直接接触眼球甚至可能烧穿)。
而如果采用1000尼特亮度的Micro OLED图像源,那么输出亮度远低于10尼特,仅适合在夜间使用。于是,猜测索尼AR头显采用的Micro OLED并非搭配光波导模组。
对于索尼AR头显使用的光学组合器,如果搭配1000尼特Micro OLED图像源,进入到人眼的亮度可能大约只有100尼特或以下。正是考虑到相似的问题,NReal等公司采用更简单的birdbath光学结构来搭配Micro OLED图像源。
除了用光学组合器遮挡光线,在索尼《捉鬼敢死队》AR项目的宣传视频中,似乎可看到头显开启了光学组合器前面的一个LCD遮光罩,用于遮挡住周围大部分环境光。
或采用新款ARM DPU
话题回到索尼的论文,其重点主要讲了对移动时间延迟提出的预补偿方案。据Guttag称,索尼AR头显采用的Micro OLED图像源支持120Hz刷新率的交错式视频传输,如果不加校正,加上其他延迟问题,用户很可能在任何移动的AR图像上看到梳子状效果。为了解决这一问题,论文通过逆向位移的方式调整帧缓冲器中渲染的图像(帧缓冲后进行的处理被称之为后端处理)。接着,还会继续调整光学变形。
与此同时,ARM在2019年SID光学周上发布了一款名为Mali-D77的显示处理单元(DPU),并且在发布会上曾多次谈到移动时间延迟的问题。而论文中也曾提到,索尼的AR头显采用基于ARM架构的核心,不过目前并不能证实是否就是Mali-D77。
后端处理的概念已经有40多年历史了,而ARM Mali架构将处理任务分成前端处理(帧缓冲之前)和后端处理,这样的架构更完整。此外,ARM的DPU也使用一系列缓存缓冲器来处理旋转等任务,而且渲染也会放在前端处理,将部分任务交给后端是为了降低移动时间延迟。
还有哪些信息
除了索尼论文中提到的AR头显技术,近期日本专利局发布的索尼AR头显专利或许也能给我们一些线索。
据悉,专利中指出了一款无线化设计的AR头显,可通过蓝牙、USB或HDMI接口与PlayStation、PC或移动设备建立连接。此外,它会内置三个立体摄像头组,定位和3D投影会更准确。
当然,索尼AR头显原型到底什么样只有亲身体验过才知道,不过目前索尼公园的线下AR项目为为期间限定,而且必须申请才有可能参与体验。