扎克伯格再次豪赌下注XR

中国AI网 2024年09月26日)在今天举行的Connect大会中,Meta正式发布了全新的入门级头显Meta Quest 3S,首款先进AR眼镜Orion原型,全新腕带EMG,以及为Quest 3S等发布的一系列VR游戏及作品等等。以下是映维网的汇总分享:

1:全新入门级VR头显Meta Quest 3S

Meta Quest 3S是全新入门级VR头显,提供128GB版(售价299.99美元)和256GB版本(售价399.99美元),设备将于10月15日发售,购买Quest 3S免费赠送Quest独占游戏《蝙蝠侠:阿卡姆之影》。

延伸阅读:售价300美元起,Meta Quest 3S正式发布

Quest 3S具有与Quest 3相同的全彩混合现实,采用相同的高通骁龙XR2 Gen 2平台。两者的主要区别在于头显形状设计、采用菲涅耳透镜和视场略窄(提供与Quest 2相同的视觉效果,96度水平视场和单眼1,832 × 1,920显示分辨率)。

Quest 3S的主要规格如下:

显示屏:LCD,单眼分辨率1832 × 1920 (3.5MP),20 PPD,120Hz刷新率。光学视场:菲涅耳透镜,96°水平 × 90°垂直透视视图:全彩18ppdIPD:步进式IPD调整,调节范围:58mm, 63mm, 68mm处理器 + RAM:骁龙XR2 Gen 2 + 8G RAM:控制器:Touch Plus续航:2.5小时(4324毫安时)重量:514克

发布全新入门级头显Quest 3S之后,Meta同时宣布512GB版Quest 3将从649.99美元降至499.99美元,并宣布Quest 2和Quest Pro销售完剩余库存后则正式停售。

延伸阅读:Quest 3S为眼镜用户提供隐性眼镜、处方眼镜等多种方案

针对眼镜用户,Quest 3和Meta Quest 3S支持多种选择:不仅可以选择佩戴眼镜,而且能够选择隐形眼镜,或者处方镜片,比如说来自Zenni的定制镜片。

延伸阅读:Quest 3S上手体验:300美元价位非常亮眼,值得推荐

2. Meta AI 赋能智能眼镜 Ray-Ban Meta

Meta在持续优化Ray-Ban | Meta智能眼镜,团队将为其添加一系列全新的人工智能功能,并会在未来几个月内陆续推出。

延伸阅读:Meta为智能眼镜 Ray-Ban Meta 添加一系列人工智能功能

在Meta AI加持下,Ray-Ban | Meta 优化了一系列语音对话交互,并为眼镜增加了帮助记忆的功能。

Meta Connect 汇总:扎克伯格再豪赌,VR、AR、MR、AI、HCI全面开花  第1张

同时,Meta正在给Meta AI添加视频通话支持,这样你就可以要求它实时提供帮助,使它比以往任何时候都能更自然地进行聊天。很快也能实时转译语音,你将会通过眼镜的开耳式扬声器听到英语转译,Meta计划在未来增加对更多语言的支持。

Meta在推进与Spotify和亚马逊音乐的整合,并与Audible和iHeart建立新的合作伙伴关系。这样,你就可以用你的声音来搜索、发现和播放内容。要求按歌曲、艺术家、专辑或有声读物播放等。

3. Meta发布首款先进AR眼镜Orion原型

马克·扎克伯格发布了第一副真AR眼镜Orion(代号是Project Nazare)。扎克伯格表示:“凭借行业领先的视场,碳化硅透镜,复杂的波导和投影仪等,Orion是Meta迄今为止最先进,最精致的产品原型。”

延伸阅读:Meta Orion上手体验:从1万美元成本去窥探AR未来,扎克伯格再次豪赌下注XR

从今天开始,并持续一整年,将向Meta员工和精选的第三方受众开放Orion产品原型。

Orion的输入系统将语音、眼睛注视和手部追踪与EMG腕带无缝地结合在一起,这样你就可以将手臂舒适地放在身边并进行滑动、点击和滚动等操作。

Meta称,Orion拥有大约70°FOV,是迄今为止小型AR眼镜的最大视场。Meta用碳化硅代替玻璃制作镜片,而这是增强现实眼镜的一种新应用。碳化硅非常轻,它不会产生光学伪影或杂散光,而且它具有高折射率。所述光学特性都是大视场的关键。波导本身具有非常复杂的纳米级3D结构,并以衍射或传播光的方式来实现这个视场。投影仪是uLED,这是一种新型的显示技术,体积非常小,而且非常节能。

Meta Connect 汇总:扎克伯格再豪赌,VR、AR、MR、AI、HCI全面开花  第2张

Orion无疑是一副眼镜形态,Meta称为了将工业设计降低到每天都能舒适佩戴的现代眼镜外形,进行了数十项创新,是一次小型化的壮举,组件压缩到一毫米的几分之一。Meta并设法在镜框嵌入了7个微型摄像投头和传感器。

延伸阅读:Meta发布AR眼镜Orion:70°FOV,集成手势、眼动、EMG、AI等等

Orion将光学精度维持在人类头发十分之一的厚度,系统可以检测到微小的运动,比如在不同的室温下框架的扩张或收缩,然后在几毫秒内进行必要的光学校准。Orion使用与F1赛车和宇宙飞船相同的材料镁来做镜框,因为它既轻又硬,所以它能保持光学元件对齐,有效地传导热量。散热方面,大多数用于冷却Orion的材料与美国宇航局用于冷却外层空间卫星的材料相似。

Meta为Orion构建了高度专业化的定制芯片,非常节能,并针对人工智能、机器感知和图形算法进行了优化。Meta构建了多个定制芯片和数十个高度定制的silicon IP block。这允许将手眼追踪所需的算法,以及SLAM技术缩小到几十毫瓦。

Meta Connect 汇总:扎克伯格再豪赌,VR、AR、MR、AI、HCI全面开花  第3张

Orion的输入和交互系统将语音、眼睛注视和手部追踪与肌电图腕带EMG无缝结合,允许你轻松滑动、点击和滚动。

Meta为Orion做了一个无线计算包,减轻了眼镜的负荷,实现了更长的续航和更好的外形,并带来了低延迟。眼镜运行所有的手部追踪、眼动追踪、SLAM和专门的AR世界锁定图形算法,而应用逻辑则在无线计算包里运行。无线计算包搭载双处理器,其中一个是由Meta定制,它提供了低延迟图形渲染、人工智能和额外机器感知所必需的计算能力。

4. Meta发布全新腕带EMG,用肌电信号操控AR眼镜

Orion的腕带输入和交互系统是建立在团队对EMG的研究。相关的腕带可允许人们轻松滑动、点击和滚动眼镜内容。

延伸阅读:Meta发布全新腕带EMG,用肌电信号操控AR眼镜

EMG这种技术利用利用手腕周围的外部传感器来检测控制手腕和手的肌肉电信号,并开辟了一种方便和丰富的新型人机交互形式。Orion使用的EMG腕带是Meta技术的最新迭代,而他们的目标是将这项技术以腕带的形式带给消费者,帮助他们在旅途中轻松实现HCI。

Meta Connect 汇总:扎克伯格再豪赌,VR、AR、MR、AI、HCI全面开花  第4张

Meta正在与领先的第三方专家合作,以加快研究和探索如何设计这项技术,使其适用于不同的人群。

5. Quest MR全面提升,Meta发布全新开发工具和功能特性

自去年的Connect以来,Meta进行了多次重大更新,以帮助你在不牺牲性能的情况下开发更加动态,逼真和愉快的混合现实体验。包括:透视改进,Depth API计算改进,简化大规模多房间体验的开发等。

延伸阅读:Quest 3S MR全面提升,Meta发布全新开发工具和功能特性

团队分享了不断扩展的混合现实功能套件功能:Audio-to-Expressions、Acoustic Ray Tracing (ART)、微手势、Passthrough Camera Access API。

通过识别基于手指的手势,微手势扩展了混合现实中手部交互的可能性和便利性,包括拇指滑动和沿着食指侧面轻敲以触发离散动作。透视摄像头访问开放将于明年初纳入至Meta Horizon OS。访问摄像头馈送可以解锁混合现实中的各种新体验,包括对象追踪和场景理解等。

Meta为MRUK引入了全新的功能,提升了工具简化混合现实开发的能力:Destructible Mesh这个功能允许你将房间网格转换为具有无限可能性的可破坏对象,Instant Placement这个即时放置功能允许你将面板或其他对象直接放置在网格之上。

……

6. Meta为Quest 3S等发布一系列VR游戏及作品

Meta展示了一系列面向Quest头显的游戏应用,包括即将发行的“异形”和“蝙蝠侠”等等。《Alien: Rogue Incursion》由Survios与20th Century Games合作开发,是一款单人动作恐怖VR游戏,提供了异形宇宙的原创故事情节,将于12月19日登陆Meta Quest。

延伸阅读:Meta为Quest 3S等发布一系列VR游戏及作品

《蝙蝠侠:阿卡姆之影》故事发生在《蝙蝠侠:阿卡姆起源》和《蝙蝠侠:阿卡姆疯人院》之间,玩家将会进行一场史诗般的战斗,目标是防止“愤怒之日”的发生。《蝙蝠侠:阿卡姆之影》将于10月22日发行。对于在太平洋时间2025年4月30日下午5点之前购买了Quest 3(仅限512GB)或Quest 3S的用户,将能免费获赠游戏。

……

7. Meta、微软联手优化Quest与Windows 11 PC间的无线连接体验

Meta在Connect大会期间宣布,正联手微软优化Quest平台与Windows 11 PC之间的无线配对,从而提供更加无缝的体验。

扎克伯格解释道,可以轻松连接到任何一台Windows 11电脑,只要看看键盘就会开始配对。另外,扎克伯格表示,设备将支持多个虚拟显示器,这样Quest感觉就更像是“个人电脑的自然延伸”。根据演示,用户同时可以在多个虚拟显示器之间拖拽窗口,这与Air Link提供的远程桌面体验有所不同。

8. Meta Horizon Store全面支持2D应用和Web应用

Meta宣布,Horizon Store现在支持以渐进式web应用、Android原生应用或通过Meta Spatial SDK构建的2D应用。

延伸阅读:Meta Horizon Store全面支持2D应用和Web应用

用户将能够以新的方式体验你的应用程序,比如调整面板大小,在他们的环境中自由移动应用程序,将任何面板扩展到电影院大小的屏幕,并支持空间音频。

你可以快速地为新用户移植现有的应用程序,或者用3D元素增强它们,以提供既新鲜又熟悉的体验。

9. 其他

生成式AI以及Llama 3.2大模型等内容,本文已省略。