旨在为新手用户提供平易近人的编辑体验
（中国AI网 2024年09月23日）随着混合现实技术的普及，业界已经探索了使用VR来改善动画的创作和编辑体验。但关于如何利用头显追踪的用户身体运动，然后在VR中编辑捕获运动的研究有限。在VR中捕获全身运动的沉浸式方法有望以记录用户的自然运动为起点。不过，编辑数据依然是一项具有挑战性的任务。动捕系统会持续记录表演者的动作，并且通常会为每个捕获帧生成一个姿势，而不仅仅是在特定时间点的重要瞬间。这种方法产生了大量的数据，没有描述运动属性的高级结构，使得在多个帧之间进行小改动变得费力且耗时。
这表明需要提供一种平易近人的编辑体验，将录制和编辑界面作为一种独立的VR体验，特别是对于其他3D技术变得民主化的新手。Autodesk团队提出了用于在VR中记录和编辑运动的动画创作界面TimeTunnel Live。
它包括一个基于VR的运动记录界面，以及一个基于VR的运动编辑界面，并旨在为新手用户提供平易近人的编辑体验。
与现有的沉浸式动画界面不同，编辑界面渲染Trajectory轨迹和Keypose关键姿势，以一种整合运动的空间和时间控制方式来表示运动。Keypose是一组有代表性的姿势，它们都是经过仔细计算，可以在简洁的视图中描绘运动。Trajectory则是帮助用户可视化在Keypose之间发生的运动的3D动画曲线。
由于运动捕获数据不包含关键帧等高级控件，所以通过分析轨迹的变化，可以自动从运动中提取Keypose。用户可以沿着时间轴刷洗帧，并通过直接操纵关节来编辑姿势，由此产生的变化会自动传播到相邻的帧。
系统设计
TimeTunnel Live包括VR中的动作记录和动作编辑界面。用户可以先录制自己的动作，然后在编辑界面对录制的动作进行修改。实时录制界面包括镜像字符和支持性UI。镜像角色可以一对一地反映用户的动作，从而实现动作、面部表情和手势的可视化。
你可以按下录制按钮开始或停止录制的动捕，并通过点击播放键重放他们录制的动作。另外，可以重新录制，直到有一个满意的运动剪辑进行编辑。
TimeTunnel Live编辑界面由主角、Keypose、轨迹和支持性UI组成。用户可以使用控制器或裸手导航和直接编辑动作。用户可以通过选择和移动关节来操纵主角的姿势。团队使用全身逆运动学（IK）方法来支持10个效应器（手，脚，上臂，大腿，头部和脊柱）的姿势。
为了帮助用户选择关节，为每个激活的关节显示一个带有局部轴的球形小组件。用户可以移动和旋转小组件来控制当前帧中的姿态。在当前帧中所做的改动将传播到由一对预定义Keypose限定的相邻帧。
Keypose是在重要帧中与主角并排放置的3D模型，以显示具有代表性的姿势。可以选择Keypose来指定动画的范围，而动画将受到对主角活动姿势的任何改动的影响。
位置和旋转变化的传播使用加权线性和球面插值。默认情况下，改动将传播到主角两侧最接近的Keypose（在上图中使用透明纹理突出显示）。为了扩展将受改动影响的运动范围，用户可以选择不同的Keypose作为开始或结束帧。
Keypose同时可以用于调整运动片段的时间。用户可以选择一个左Keypose作为开始帧，一个右Keypose作为结束帧，以指定将受到改动影响的运动范围。要修改片段的时间，用户可以通过收缩或扩展两个Keypose之间的轨迹来调整它们的长度，以加速或减慢运动。
这个重新计时过程包括一个适用于所选段的无缝速度调整的功能。角色和Keypose之间的物理位置差异反映了时间持续时间（以帧为单位）。每个Keypose下面的按钮都显示一个帧号，按下按钮会将用户导航到特定帧。
另外，用户可以通过导航到帧并按下当前帧的按钮来添加或删除Keypose。为了防止视觉混乱，Keypose在动画播放期间不显示，只有在动画暂停时可见。轨迹是3D线条，
Trajectory表示关节沿着Keypose的运动。Trajectory穿过所有Keypose和主角。轨迹线同时表示时间的流动，以水平方向作为时间的参考。Trajectory不能独立修改，但当主角的姿势发生变化并传播到相邻的帧时，它们会自动更新。
颜色传达了重新计时操作的信息，绿色表示加速，红色表示减速，颜色的深浅反映了改变的程度。Trajectory在动画回放和动画暂停时都是可见的。附加的UI控件包括关节地图和导航按钮。使用关节地图，用户可以激活或停用关节，并通过按指定的按钮查看相应的轨迹Trajectory。
关节地图根据激活的关节确定显示哪些Keypose。这允许用户通过激活相应的关节并查看由运动生成的Keypose来专注于特定的关节运动。当启用多个关节时，具有较大运动的关节将对Keypose的选择产生更大的影响。
除了关节地图之外，界面同时提供了允许播放或暂停动画以及在帧之间导航的导航按钮。团队为导航提供了额外的控制：旋转按钮可以旋转所有Keypose和主要角色，为他们提供从不同角度的运动视图；放大/缩小按钮则允许调整界面中可见的帧数。
值得一提的是，团队同时开发了一个交互式演示，可以允许单个用户在乐队的演出中录制和扮演多个角色。这次表演的灵感来自于一人乐队的概念，亦即一名表演者同时演奏不同的乐器并唱歌。
在交互中，参与者可以记录自己作为歌手、吉他手或键盘手的动作。记录的动作应用到乐队表演的人物身上。参与者可以通过不同的方式编辑录制的动作。可以修剪录制的动作以删除多余的动作；可以抓住关节并操纵姿势；可以选择一段运动并重新计时。变化将应用于场景中的角色并与之同步。
总的来说，TimeTunnel Live提供了一个用于在VR中记录和编辑运动的动画创作界面。它利用现代VR设备的追踪功能来捕获用户的身体动作，面部表情和手势。
然后，通过集成空间和时间控制的沉浸式运动编辑界面为捕获的运动提供编辑体验。界面通过将Trajectory和Keypose叠加到3D角色之上，并通过木偶操纵来修改角色的运动，从而提供了平易近人的编辑体验。
相关论文：
另外，团队实现了一个带有交互式一人乐队演示的VR原型，使得单个用户能够在乐队表演中录制和执行多个角色。
