Orion的上手体验
(中国AI网 2024年09月26日)在Meta亮相首款AR眼镜Orion之后,CNET的斯科特·斯特恩(Scott Stein)分享了自己的上手体验:
我戴着马克·扎克伯格的隐形眼镜。这是Meta的Orion AR眼镜团队在紧要关头给我买的,没人告诉我应该携带隐形眼镜。要尝试Meta在AR领域的下一个重大飞跃,一副代号为Orion的登月里程碑式眼镜,我需要一副隐形眼镜。幸运的是,我的眼睛视力参数和马克的非常匹配。
戴上隐形眼镜后,我给右手腕戴上了一个舒适的腕带,它看起来像是一个健身追踪器,但没有屏幕。然后,我戴上一副无线厚黑眼镜,开始根据硬件的眼动追踪校准眼睛。在另一边,Meta的团队看着附近的电脑屏幕进行监控。
这种时刻令人感觉像是进入了一个陌生的新未来,即便对我这种已经接触AR和VR多年的人而言同样不例外。这是因为Meta的这款早期原型硬件尚未准备好向公众开放。它融合了我在其他地方看到的技术,有的则是我几乎没有尝试过的技术。不过,一切都感觉非常熟悉。
就在数周前,我体验了一副由Snap为开发者制作的AR眼镜。Snap的Spectacles更笨重,视场更有限。Meta的尺寸更小,但有70度的宽视场,这令我印象深刻,而且它有自己的无线神经腕带输入。这款设备需要一个接近手机大小的计算包,以将应用和图像无线传输到眼镜,其大小与Apple Vision Pro的电池组大致相当,但更小更轻,而且无线。多年来,我一直在和Meta的高管谈论这类技术,而现在是我尝试的时候了。
我花了大约一个小时体验Orion,并与Meta的团队讨论了这项新技术的意义,以及我们接下来可能会在哪里看到它。有时候,我觉得自己戴着一个缩小版的混合现实头显,有时候,我又觉得自己戴着一款有着更先进视场,代表着Ray-Bans眼镜未来走向的设备。Orion两者兼而有之。
大量的传感器
Orion的一大亮点是,它配备了通常只有大型混合现实头显搭载的全套传感器。全眼动追踪摄像头隐藏在透镜两侧。前置摄像头塞在框架的上边缘。用于手部追踪和房间追踪的侧摄像头则潜伏在镜臂周围。这款眼镜配有扬声器、麦克风和Wi-Fi 6,可以通过专有协议与独立的计算包对接。
这个计算包有自己的追踪摄像头和一个嵌入式触摸板。Mtea告诉我,在决定强调手部追踪和肌电图之前,它最初是设计用来作为眼镜的单独控制器,但它看起来确实可能会在未来成为一种替代输入方案。
这款眼镜模型镶嵌了大量的科技,但它们的重量只有100克(3.5盎司)。尽管很大,但眼镜非常适合我的脸。
宽视场AR
Orion提供70度的视场,这对VR用户来说可能听起来非常小。VR设备的视场往往在90度左右或更大。但相较于大多数AR设备,这已经是非常大的视场。例如,Snap的Spectacles只有46度。
Meta眼镜的视场更开阔,尤其是在水平方向。我可以看到显示屏的边缘,但位置相当遥远,它们通常——至少在我的体验中——似乎是看不见的。
我只在AR光学公司Lumus的一款产品见过这么大的视场。Meta是通过利用碳化硅透镜和微型LED投影仪来在更小的框架内获得了更大的视场。Meta的人工智能和增强现实可穿戴设备产品管理高级总监拉胡尔·普拉萨德(Rahul Prasad)表示,这种设备有助于在更近的距离内获得更宽的视角,它同时使用衍射波导弯曲光线,以令光线照射到我的眼睛而不会在透镜产生太多的彩虹效应。
这款眼镜看起来肯定不像日常用品,但它们至少已经接近于你可能会看到的眼戴产品。在我看来,它们就像是超厚的艺术画框。镜片的颜色较暗,但我透过镜片看世界时,画面看起来非常清晰。就像Snap的Spectacles一样,Meta告诉我它们可以自动调暗以获得更好的浏览效果,但我没有机会体验这一功能。
Meta指出,显示器不太理想的地方之一是分辨率:每度13像素。应用、视频和游戏看起来不错,但不如Quest 3清晰(分辨率密度为每度25像素)。我有快速体验了另一个版本的Orion,它的投影显示器分辨率更高,达到每度26像素,我看了一段简短的《侏罗纪公园》电影片段。团队的目标是在它们作为实际消费产品推出之前获得尽可能高的分辨率。更宽的显示屏意味着需要更多的像素,而这需要更多的电量。
戴在手腕的神经界面
腕带比眼镜更令我兴奋。我几年前曾在Meta的Reality Labs Research看到过肌电图神经输入技术的原型,但我从未亲自尝试过。我看到过马克·扎克伯格使用它,而这一次终于轮到我了。
新的腕带设计要小得多,更像是一个增强版的智能表带。它通过磁铁和搭扣扣在我的手腕。这项技术能感知皮肤发出的电脉冲,并将其转化为可解释的动作。实际上,它们允许复杂的手势和微妙的振动触觉反馈,而且不需要把手放在眼镜的手部追踪摄像头的视线里。肌电传感器的处理都是在腕带完成,并承诺有一整天的电池续航时间。
Apple Vision Pro和Meta Quest已经有了手部追踪功能,但腕带的手腕动作更加通用。有的是我们熟悉的捏合(选择),其他包括用拇指在揉成一团的拳头上面移动(滚动)。我用眼睛来导航,这与苹果的Apple Vision Pro非常像,但不同的是,当我的手完全放在身体两侧时,Orion的手势依然可以完成。
手势尚不完美。有时我的捏合动作会遭到误解,所以我不得不再试一次。然而,眼动追踪的效果非常好。结合起来,我可以看到这可能是继Apple Vision Pro之后的下一波界面。先进的手势感应技术,结合眼动追踪,谁知道会发生什么。
这个手势感应手环还能做什么呢?目前尚不清楚。在Orion成为一个成熟的产品之前,腕带中的肌电技术可能会应用到其他产品中。Meta可穿戴技术主管亚历克斯·希梅尔告诉我,肌电腕带将出现在未来的其他产品中。其中之一会是智能手表吗?EMG腕带搭配Meta现有的Quest头显和Ray-Ban眼镜同样会相当有趣。
人工智能和应用程序:熟悉又陌生
我戴着这款眼镜尝试了一系列的演示内容,其中很多感觉就像是我曾在Quest和Meta Ray-Bans曾尝试过的MR或AI体验的变体。大拇指和中指捏合就会打开应用菜单,我可以用眼睛看着应用程序,然后食指和拇指捏合以打开。
我浏览了一段打开的YouTube视频,视频中出现了亚伦·罗杰斯对爱国者队的达阵得分,视频就呈现在我面前的一扇窗口,然后我把它拖到离我眼睛更近的地方。我接了一个电话,是Meta在外面的公关团队打来。我能看到她的视频。我对Messenger传来的信息做出回应,用声音进行听写。多个窗口可以并排打开,从而展示了更大的浏览区域。
我看到了AI的演示:我使用Meta AI和我的声音生成图像。另一种情况是,我站在桌子旁边并看着一堆杂货,然后邀请我询问合适的配方,Meta AI(带有Meta Ray-Bans熟悉的音效)会显示建议,并用弹出式图标标记桌上的物品。我期待更复杂的交互式AR指令,但这次没有。
然后,我玩了一款的星际战斗机游戏,其中我用我的头来控制飞船,并用我的眼睛和手指来射击目标。这非常有趣,但我觉得我在Apple Vision Pro中看过。在另一款游戏演示中,我和别人一起玩双人游戏,我们需要扫描二维码来对齐3D乒乓球风格的街机空间。当我们用手当球拍时,游戏空间就出现在我们之间。
我同时接到了另一位Meta员工打来的电话,这是一个逼真的3D Codec Avatar(苹果称之为Personas)。Meta尚没有给头显提供Codec Avatar,但或许这是一个代表着可能很快就准备妥当的信号。3D头部渲染及相关情绪看起来很好,感觉很真实。
与过去我见过的最好的MR演示相比,这一次的演示没有令我大吃一惊。但能够通过这种相对小巧的眼镜体验它们,视场更宽,有效的手势控制腕带,这相当吸引人。
接下来会发生什么呢?Meta并没有给出这款眼镜真正上市的具体日期,但承认这款眼镜的设计、分辨率和价格都需要改进。Meta表示,预计未来的价格将接近高端手机或笔记本电脑。这听起来像是1000多美元,远高于Quest 3的价格,但低于苹果的Apple Vision Pro。当这一天到来的时候,应用和AI的前景会是什么样子呢?或者说它会缩小成一副类Ray-Bans眼镜吗,或者这甚至可能做到吗?到那时,手势界面,手部追踪、手表甚至肌电腕带,是否会开始变得更加普遍呢?
2024年的今天,我们不可能知道答案。演示结束后,我在休息室里把马克·扎克伯格的隐形眼镜从眼睛里拿了出来,看着镜子里的自己,我意识到我体验了离我们相当遥远的技术。从十年前我的第一次VR演示开始,情况已经发生了很大的变化,但很明显,未来的设备将再次撼动混合现实的格局。与此同时,或许VR头显和智能眼镜会逐步发展,或许突然之间,我们就在未来,这一点都不奇怪。