关于AR眼镜Orion的分析
(中国AI网 2024年10月09日)日显示技术专家近眼显示技术专家卡尔·古塔格(Karl Guttag)正在分享关于Meta早前发布的AR眼镜Orion的分析。第一篇关于波导,下面是具体的整理:
介绍
Meta在Meta Connect发布的AR眼镜原型Orion成为了大新闻,但除了拥有70度视场和使用碳化硅波导之外,他们几乎没有分享什么技术细节。尽管Meta向科技媒体和大V演示了设备,但似乎没有邀请更多以AR/VR为中心的人,而他们可能更善于分析。通过Meta的专利、Reddit的一篇帖子以及对相关视频和文章的研究,我梳理出了一定的信息。
第一篇文章将重点介绍Orion的碳化硅衍射波导。关于其他方面,我将在接下来的文章中讨论。
狂热阶段和缺乏技术审查
用尤吉·贝拉(Yogi Berra)的话来说,“这就像似曾相识的感觉再次出现。”我们在Apple Vision Pro就经历过这种情况,后者从捧为智能手机之后的计算平台,到现在声音几乎消失不见。对于Orion,一群更有限的媒体人能够体验设备,而且几乎没有对显示器的图像质量或对现实世界的影响进行批判性分析。我可能是一个怀疑论者,但我见过数十种不同的衍射波导设计,它一定有问题,但没有任何报道。我预计会有颜色均匀性和衍射伪影的问题,但在任何文章或视频中都没有提到。见鬼,我没有看到任何人提到明显的眼睛发光问题。
Vergecast播客视频讨论了实用性问题及其相关视频。值得庆幸的是,与Meta或其他任何(模拟的)光学视频不同,The Verge清楚地将视频标记为“模拟”(屏幕截图在右侧)。
据我所知,没有真正的“镜后(用相机拍摄通过显示透镜看到的影像)”的视频或图片(可能是应Meta的要求)。我找到的所有看起来像是镜后图像和视频都是“模拟的”。
另一个信息丰富的视频是Adam Savages Tested,特别是在他采访Meta首席技术官安德鲁·博斯沃思视频的后三分之二。据称这是在一个受控的房间环境中进行的有限演示。我将在这篇文章中多次引用博斯沃思的原话,因为他补充了一定的信息。尽管博斯沃思可能进行了某种程度的营销宣传,但他似乎总体上是诚实的,不像Hololens 2的前任领导者亚历克斯·基普曼(Alex Kipman),他在Hololens 2的演示中多次不诚实。
一般来说,我并不反对公司进行技术演示。然而,在Meta Connect而不是像Siggraph这样的科技大会强调“原型”而非“产品”,这表明了AR对Meta的重要性。这令人联想到苹果的Apple Vision Pro,而这可能是Meta有意为之。
令人有点失望的是,他们只与选定的“受邀媒体”分享演示,而在大多数情况下,这群媒体都缺乏关于显示技术的深度专业知识,很容易被“好的”演示体验所操纵。他们自然会为了获邀参加Meta和其他大公司的新品发布而悠着说。所以,没有关于虚拟显示器的图像质量的信息,同时没有任何通过镜后体验的报告问题(肯定会有问题)。
眼睛发光
我看了几个小时的视频,读了很多文章,但我没有听到任何人提到“眼睛发光”(前投影)这个明显的问题。他们会谈论社会接受度,如同眼镜一般,并且能够看到这个人的眼睛,但他们不会提到眼睛发光这个明显问题。这给我留下了深刻的印象,因为所有的视频和大量的照片中都非常明显。
眼睛发光是衍射波导设计师多年来一直尝试减少/消除的问题。Lumus反射波导的眼睛发光较小。Vuzix,Digilens和Dispelix在如何减少衍射波导的问题方面做了大量的论述。然而,尽管这一系列的衍射波导设计大大减少了眼睛发光问题,但视场相对较小(25-35度)。Orion的设计支持一个非常宽的70度视场,同时尝试实现一个“典型”眼镜框架的大小。我怀疑满足尺寸和视场要求的设计方法意味着无法解决“眼睛发光”的问题。
透光(调光?)
在一系列穿戴Orion的图像和视频中,透射率似乎有所不同。很难说,但它似乎有改变。如下面两张图片所示,当人们戴上眼镜时,眼镜会变暗。
因为我是根据视频和照片来判断,光线不受控制,所以不可能知道它的透过率,但我可以把它和其他AR眼镜进行比较。下面是高透光率的Lumus Maximus眼镜,透光率超过80%,Hololens 2的透光率约为40%。
下图是来自Meta视频的静止帧。照片显示出不同寻常的暗色玻璃盖片,一个带有驱动电路的调光快门(可能是液晶),以及一堆平面光学器件。在视频Adam Savages Tested视频中,他说道:“我的理解是,最前面的一层可以像是一个极化层。”
这似乎与盖片“玻璃”(可能是塑料)一致,与调光快门相比,它看起来很暗(LC几乎是透明的,因为它只改变光的偏振)。
如果它确实使用基于偏振的调光结构,这将在查看基于偏振的显示器(如基于LCD的计算机显示器和智能手机)时造成问题。
Orion不同寻常的衍射波导
王鹏对Meta Orion的波导的分析有被发表在Reddit,标题是《 Meta Orion AR Glasses: The first DEEP DIVE into the optical architecture》。这篇分析是我研究Meta Orion光学元件的起点。我很大程度上同意他的发现。根据展示的图片,他的分析是基于Meta的美国专利申请2024/0179284:
重叠衍射光栅
Orion看起来在衬底两侧使用了带有衍射光栅的波导(见上面的图12A)。在图10中,第一个和第二个“输出光栅”重叠,这表明光栅在不同的表面之上。根据上面的图12A和7C,光栅位于同一衬底的相对两侧。我以前没有见过其他波导采用,怀疑这是一个复杂/昂贵的过程。
HoloLens 1
正如王鹏在他的分析中指出,在眼镜形态中支持这样宽的视场需要两个大光栅重叠。下图左上显示了Hololens 1波导,这是大多数其他衍射波导的典型代表。它由一个小的输入光栅,一个(通常为)梯形的扩展光栅和一个更偏矩形的第二扩展和输出光栅组成。
对于Orion(右上),两个较大的光栅有效地重叠,使得波导适合眼镜的形状参数。我已经大致将Hololens 1和Orion波导定位在相对于眼睛的同一垂直位置。
上图(左下)同时显示了Orion的波导晶圆,我用它来生成光栅的轮廓,另一张图片(右下)显示了Orion眼睛发光中的两个衍射光栅。
应该指出的是,尽管Hololens 1的视场只有Orion的一半,但输出光栅的大小相似。Hololens 1输出光栅的大小是由于Hololens 1有足够的适眼距,能够支持大多数眼镜。眼睛离光栅越远,对于给定的视场,光栅需要越大。
从波导“错误的一面”进入的光
专利申请图12A和7C非常奇怪,因为投影仪位于波导与眼睛/输出的对面。这表明投影仪是在眼镜的外面,而不是隐藏在波导和眼睛同一侧的太阳穴位置。
根据Meta博斯沃思的说法,特定光学元件将光线从太阳穴位置的投影仪传送到波导的前部,这就需要更厚的框架。博斯沃思指出,下一代的波导将接受来自波导背面的光。我认为让波导以这种方式工作是更困难的,或者他们已经这样做了,从而避免了Orion出现更厚的框架。
但博斯沃思表示:“没有气泡。就像你把这玩意扔进鱼缸里,你什么都看不见。”这意味着所有一切紧密地集成到眼镜之中,所以可能不会有太大的尺寸缩小(这里博斯沃思引用了史蒂夫·乔布斯将iPod原型机扔进水里的故事,因为有气泡,所以可以做得更小)。
视差校正(见于专利申请显示,Orion未显示)
对于Meta的专利申请2024/0179284,尽管显示了波导的诸多其他细节,但它主要指向“视差校正”。博斯沃思在数次采访中表示Orion没有视差校正,但打算把它纳入到未来的设计中。正如博斯沃思所描述的那样,视差校正是为了校正任何可能导致波导(及其相对于眼睛的图像)移动的弯曲(或其他对齐问题)。他似乎认为这允许Meta使用更薄的框架,并且可能有一定的弹性。
半圆形输入光栅
王鹏在Reddit的文章中同时注意到,晶圆上可见的小输入光栅看起来是切断的圆圈。他评论道:
但是,如果耦合光栅确实是半月形的,则光引擎输出的光斑也很可能是这种形状。我的个人猜测是,这个设计主要是为了减少SRG在耦合点的一个常见问题:耦合光栅对耦合光的二次衍射。
在进入耦合光栅后,在光引擎的光斑开始全反射再进入人眼之前,会不幸地有相当一部分光再次击中耦合光栅而直接衍射出去。这部分光线会造成很大的能量损失,并且有可能击中屏幕的玻璃表面,然后返回光栅形成拖影。
三种颜色的单一波导?
专利申请似乎表明,有一个单一的(双面)波导支持所有三种颜色。大多数较大视场的全彩衍射AR眼镜将堆叠三个波导(例如Hololens 1和Magic Leap 1&2),或堆叠两个波导(红色+蓝色和蓝色+绿色,例如Hololens 2)。Dispelix具有单层,全彩衍射波导,最高可达50度视场。
衍射光栅的线间距基于它们要衍射的光的波长。在单一波导中使用如此宽的视场支持全彩色通常会导致图像质量问题,包括特定颜色的光衰减和对比度损失。遗憾的是,没有镜后图片,甚至没有独立专家对Orion的图像质量进行主观评估。
碳化硅波导衬底
将碳化硅用作波导的想法并非Meta独有。下面这张图片讨论了使用铌酸锂和碳化硅等高折射率材料制造波导的优势。众所周知,采用更高折射率的衬底可以支持更宽的视场。正如博斯沃思所指,问题在于生产碳化硅晶圆非常昂贵。晶圆小,使得每个晶圆的波导更少。从Meta的晶圆图片来看,他们每片晶圆只有四个波导,而更大更便宜的玻璃晶圆可以制造十几个或更多的衍射波导。
博斯沃思说几乎无伪影,彩虹捕获率低
衍射波导的一个常见问题是,衍射光栅会捕获现实世界中的光,然后像棱镜一样按波长将其扩散出去,从而产生彩虹般的效果。
博斯沃思在Tested专访中说道:“波导本身是纳米蚀刻到碳化硅,这是一种具有超高折射率的新型材料,它使我们能够最大限度地减少丢失的光子,并最大限度地减少我们从世界捕获的光子数量,所以它可以最大限度地减少像拖影和彩虹这样的伪影,同时给你想要的视场。当然,它不是完全没有伪影,但它非常接近于没有伪影。”
我非常欣赏博斯沃思在夸大情况时立即纠正了自己(不像基普曼对Hololens的描述),但如果他们能让独立专家进行研究并给出他们的意见,我感觉会更好。
博斯沃思关于彩虹和其他衍射产物的说法可能是对的,但我希望看到独立专家对其进行评估。
狂热阶段和缺乏技术审查
用尤吉·贝拉(Yogi Berra)的话来说,“这就像似曾相识的感觉再次出现。”我们在Apple Vision Pro就经历过这种情况,后者从捧为智能手机之后的计算平台,到现在声音几乎消失不见。对于Orion,一群更有限的媒体人能够体验设备,而且几乎没有对显示器的图像质量或对现实世界的影响进行批判性分析。我可能是一个怀疑论者,但我见过数十种不同的衍射波导设计,它一定有问题,但没有任何报道。我预计会有颜色均匀性和衍射伪影的问题,但在任何文章或视频中都没有提到。
宽视场和低分辨率的奇怪混合
对于70度视场仅13 PPD的极低角度分辨率,几乎没有任何讨论。这适用于大约720 × 540像素的显示分辨率。
有几个人报告说看到了26PPD的原型演示,但不清楚这是眼镜形态的实现还是说实验室的演示。另外,即便是26PPD,这都是相当低的角度分辨率。
光学AR与透视AR - Orion与Apple Vision Pro
Meta的Orion演示表明,光学AR(如Orion)将是未来最受欢迎的设备。它表明,在动态范围、分辨率、双目立体和无限聚焦深度方面,任何透视摄像头和显示器组合都无法相媲美。
正如我反复指出的那样,光学AR优先考虑的是真实世界的视图,而摄像头透视AR优先考虑的是虚拟图像视图。我认为它们的应用很少有重叠。我无法想象未来会有人戴着Apple Vision Pro类型的设备外出,但可以想象戴着Meta Orion类型的设备。我想这就是Meta想表达的意思。
结论
我理解Meta在某种程度上是想表达:“如果钱不是问题,我们能做什么?”我认为他们过于专注于大视场。我担心衍射碳化硅波导在近期或长期内都不是正确的解决方案。他们当然不能有一个存在明显“眼睛发光”问题的量产/消费产品。
这是一个我讨论过很多次的主题。在某种程度上,非常大的视场和相对较低的分辨率是一个糟糕的组合。同样的钱,我认为他们可以用其他波导材料实现一个更令人印象深刻的演示。
附录:“设备演示是一场魔术表演”
看到Meta介绍Orion的方式,听到他们精心制作的演示,我想起了我2012年的一篇文。
Orion似乎符合“从实验室逃出来的”。下面引用2012年写的文章:
“从实验室逃出来的”:这是指一个非常不切实际的产品概念演示,原因有很多,包括成本、寿命/可靠性、尺寸、不切实际的设置(例如需要一个很少有人能负担得起的特殊房间),没有熟手监督就很危险。有时候,这样做的原因是公司为一个项目投入了大量资金,而公开演示是为了向管理层证明这些概念至少有一天能够吸引消费者。
为什么要把大肆宣扬Orion这个有着奇怪的混合功能和不切实际的昂贵组件的原型?因为有人在尝试证明这个产品概念值得继续投资。
我同时警告说,设备演示是“一场魔术表演”。
通过仔细控制照明、图像大小、查看位置和/或视觉内容以隐藏明显的缺陷,有时你看到的是一场“魔术表演”,与现实世界的使用情况几乎没有关系。
我经常告诉大家,“设备演示只是一次魔术表演”,你看到的一切都是精心挑选,不会显示任何问题,你看到的都是他们想让你看到的画面。另外,你不可能在有限的体验环节中找到所有物理和光学问题。
大多数媒体人可能擅长写作,但他们不是评估技术的专家。在一个精心制作的演示体验中,非专业人士可能不会注意到问题所在。