EMG腕带
(中国AI网 2024年09月26日)Meta今天在Connect大会发布了AR眼镜Orion。这款设备的输入和交互系统是建立在团队对EMG的研究。相关的腕带可允许人们轻松滑动、点击和滚动眼镜内容。
EMG这种技术利用利用手腕周围的外部传感器来检测控制手腕和手的肌肉电信号,并开辟了一种方便和丰富的新型人机交互形式。Orion使用的EMG腕带是Meta技术的最新迭代,而他们的目标是将这项技术以腕带的形式带给消费者,帮助他们在旅途中轻松实现HCI。
研究人员在设计这项技术,开发可穿戴设备和输入控制算法时考虑到了包容性。不管手的大小和形状如何,不管你如何移动它,基于肌电图腕带的HCI应该都能正常工作,它甚至可以随着时间的推移适应你独特的动作。
与传统的物理控制器相比,EMG输入具有固有的包容性,可以为非典型解剖结构以及运动范围有限的人提供功能控制。不像基于摄像头的系统通过手和手指来检测手部的物理运动,同时不像控制器需要按压和推动,即便你不能做出大幅度动作,或者手指少于五个,手腕的肌肉信号都能提供控制信号。
Meta正在与领先的第三方专家合作,以加快研究和探索如何设计这项技术,使其适用于不同的人群。
支持以公平和无障碍为重点的第三方研究
Meta支持第三方研究实验室扩大神经运动接口的无障碍行潜力。团队分享了他们通过学术礼物资助的团队的最新进展。
犹他大学团队为所有人开发了虚拟交互方案,甚至包括手部瘫痪的人群。研究表明,即便在信噪比降低的情况下,例如中风之后,手腕的肌电信号依然可以提供控制。值得注意的是,不能伸展手指的研究参与者能够通过肌电图移动虚拟手部的所有手指。这项研究表明,在虚拟环境中,肌电信号的表达潜力超出了个人的身体能力。
华盛顿大学团队则利用肌电图和运动传感器设计了新算法,以帮助具有不同神经运动能力的人能够选择如何执行手势以与计算机交互。研究参与者包括因肌肉萎缩症、脊髓损伤和其他疾病而运动受限的人。通过这个项目,参与者可以完全自由地为典型的电脑动作设计自己的个性化手势。
加州大学戴维斯分校则在为不同年龄和皮肤特征的人开发肌电图算法。由于肌电传感器是非侵入性的,并通过皮肤表面记录肌肉活动,所以考虑皮肤弹性、水合作用、体重指数,甚至手臂上的毛发数量等特征如何影响肌肉信号非常重要。团队发表了对具有不同手腕特征的个体具有鲁棒性的开发算法的初步方法,并将继续开展这项工作。
对外分享
Meta在2023年通过自己的硬件原型和算法支持新启动的第三方项目。现在,团队的肌电图研究已经成熟,甚至可以为Orion这样的产品原型提供信息。Meta表示将与选定的第三方合作伙伴分享自己设计的系统,而第三方合作伙伴将在当地伦理委员会的批准下进行项目,以解决与公平性和无障碍性相关的用例。
人机交互适用于不同运动能力的人
Meta表示,基于手腕的肌电输入硬件原型足够敏感,可以检测到细微的神经运动信号(即便在最严重的脊髓损伤后依然存在)。这种信号太小,无法产生明显的动作,但开发将它们用于HCI的系统对瘫痪患者而言将会改变一切。
想象一下,即便不能移动手指,你都能通过肌肉信号有效地控制计算机。所以,Meta正在与卡耐基梅隆大学的团队合作,展示相关控制装置是如何适用于手部完全瘫痪的人士。
Meta的大学合作伙伴已经证明,腕带、算法和用户体验可以引导脊髓损伤的人产生微小的肌肉信号,并使用它们来控制基于计算机的活动。令人兴奋的结果显示了这项技术对普通消费者和目前身体能力受到限制的瘫痪患者的公平潜力。
研究小组继续通过招募新的参与者来扩大这个研究项目,并评估如何通过额外的练习来提高控制能力。
腕带算法适用于震颤患者
诸如键盘或触控屏的触觉控制器对震颤患者而言很难控制。EMG腕带可以克服手持控制器或触控屏保持持续接触的挑战。为了做到这一点,Meta的肌电图输入研究侧重于使用机器学习模型将动作转化为计算机交互,如导航、选择和文本输入。相关算法是基于一个人的神经运动信号,而不是基于他们的身体移动能力。这种方法可以释放出使计算更广泛使用的潜力,包括手部颤抖的人群。
通过与第三方研究机构合作,Meta正在展示他们的输入控制算法是如何支持因震颤而难以使用手持设备的人士。通过这个研究项目,团队正在开发和验证算法,以至于即便手在颤抖都能将相关信号转换为计算机命令。他们同时在学习如何令这项技术更强大,以适应不同程度的震颤严重程度。