VR巨头争相布局手势交互技术，但谈扔掉手柄还为时尚早

没想到，今年春天VR厂商卷起了一只手。

仅2022年上半年，就有四家VR巨头改进了自家VR设备的手势交互技术。

日前，Meta的VR头显Oculus Quest 2手势交互版迭代到2.0，解决了手部定位丢失的问题日前，字节跳动旗下的VR品牌Pico宣布，其两款企业级VR头戴设备可以通过定制的手部追踪配件来增强手势交互体验VR制造商HTC也在今年1月发布了新的手腕追踪器，以帮助预测用户的手的位置

Oculus Quest2手势交互1.0版和2.0版在快速手部追踪方面的对比

无论是徒手交互技术，还是手部追踪配件，针对VR设备的手势交互技术一直在不断迭代同时，很多VR公司还在尝试寻找新的手势交互方式，比如VR手套

日前，荷兰VR手套制造商Manus宣布预售其新款VR手套Quantum Metagloves，该手套采用磁追踪技术日前，国内动态捕捉技术巨头诺一腾发布Hi5 2.0 VR交互手套早在2021年11月，Meta就展示了自己的VR触摸手套模型，并分享了其在VR手势交互方面的最新成果

从左到右分别是Manus，诺易腾，Meta的VR手套。

不仅如此，一些潜在的VR玩家如苹果，谷歌，微软等也获得了多项与智能戒指相关的专利，试图让智能戒指成为下一代手势交互的关键输入设备

手势交互技术是最基本，最自然的交互方式，也是VR设备中的主流交互方式之一一般来说，手势交互是指通过数学算法识别人体手势的技术，包括图像采集，手势跟踪，手势识别和分析等

其中，手势跟踪和手势识别是手势交互的两个关键步骤手部追踪是指在VR头显中准确定位用户手部的位置，如何准确识别手部每个手指的动作和各种形态属于手势识别

手势交互技术也隐藏着巨大的市场空间国际市场分析公司Markets and Markets发布报告称，手势识别和无触摸感知市场将在2024年达到340亿美元

VR设备的手势交互技术有哪些新玩法为什么厂商近期都在升级旗下VR设备的手势交互技术VR设备的手势交互技术发展如何

在与Novell ton CTO戴，梦想绽放科技负责人，HTC技术负责人等多位行业人士深入交流后，我们试图找到答案。

抛开手柄，VR游戏可以徒手玩。

相对于其他移动设备，VR设备的手势交互技术进展缓慢比如从3dof到6dof发展了近5年，手柄和赤手的交互还处于初级阶段伴随着技术的不断进步，徒手交互已经在很多消费级VR头戴设备中普及

Meta在2019年发布了手势交互1.0版本，在Oculus Quest VR头显中引入了裸手交互，允许用户在虚拟世界中直接看到自己的手，并进行一些简单的交互操作时隔2年，Oculus Quest 2有了手势交互2.0版本

这次升级主要解决了两大问题第一，解决了用户双手重叠时手部跟踪困难的问题在Quest 2的手势交互1.0版本中，当用户双手相互遮挡或重叠时，系统很难识别用户的手势第二，当用户快速挥手时，系统很容易失去对他的手的跟踪这两种情况都可能导致手突然从虚拟世界中消失

Quest2手势交互1.0版和2.0版对比

至于如何解决这两个问题，Meta在其公告中解释称，新版本基于重新设计的计算机视觉和机器学习方法，提高了手部跟踪的性能可靠性但是自从版本更新以来，我们看到很多用户反馈虽然手势交互功能体验更好，但是系统也出现了明显的停滞

对于这种现象，戴李若解释说，VR头戴显示器本身的处理和计算能力是有限的，而Meta是基于计算机视觉获取数据，利用一些计算资源来预测用户手的位置这种方案无疑会给VR头戴显示器带来更大的计算压力，这也是造成系统卡顿现象的主要原因

HTC的相关负责人也向志东分享到，与VIVE Focus 3控制器相比，VIVE腕式追踪器去除了按键，触觉输入等元件，以减小电池体积，使控制器更小更轻据报道，HTC的手腕追踪器比VIVE Focus 3控制器小85%，轻50%

VIVE手腕追踪器手腕追踪器

我们可以看到Meta的徒手交互方案还是以计算机视觉为主，而HTC的徒手交互方案依赖于手腕追踪器等外设前者可以帮助用户快速有效地体验徒手交互的乐趣，后者可以通过惯性传感器在一定程度上提高手势交互的准确性和可靠性面对不同的应用场景，不同厂商的VR设备的徒手交互方案各有侧重

但是徒手交互一定会给人带来更好的体验吗戴笠在接受采访时表示:在技术成熟度尚未达到的时候，将徒手交互等新的人机交互方式嵌入操作系统，会给人过高的期望

从操作成功率和触觉反馈来看，手柄在趣味性和准确性上远胜于徒手交互他解释说，在人机交互领域，80%的操作准确率和100%的操作准确率给用户带来的交互体验是完全不同的

微软亚洲研究院网络图形组首席研究员童欣在2017年接受媒体采访时证实了这一点当我握住手柄时，手柄不仅是一个输入设备，也是一个输出设备它可以通过振动和力反馈给我一个输出反馈而当我空手在空中挥舞的时候，我就失去了输出通道

大厂争相做的VR手套，哔哩哔哩100元搞定了。

为了在徒手交互带来的沉浸感和VR手柄提供的高精度之间找到平衡，VR厂商想出了另一种手势交互方式——VR手套。

目前VR手套的形式有很多种，但是能够量产销售的VR手套主要分为两种:基于惯性传感器的和基于弯曲传感器的。

与基于计算机视觉手势交互的数据处理方式不同，主要基于惯性传感器的VR手套会通过传感器采集大量的手部定位和手指交互数据而以弯曲传感器为主的VR手套测量精度较低，由于对贴合度要求较高，其穿戴设备的舒适性也较低

我们有机会先体验Hi5 2.0 VR互动手套一双Hi5 2.0 VR交互手套里有12个惯性传感器每只手上戴着六个无线传感器，分布在五个手指和手背上同时，该包还将配备一个数据收发器，可以插入电脑或VR头显中传输数据

Hi5 2.0 VR互动手套

打开传感器，安装传感器，固定手部跟踪器，选择校准界面Hi5 2.0 VR手套的校准方法比我们想象的要复杂一点

诺易腾R&D人员正在校准Hi5 2.0 VR互动手套。

此外，研究人员也在尝试不同的VR手套设计。

2021年11月，Meta公布了历时7年研发的VR触摸手套原型这款VR手套用微型气阀代替了电机，通过复杂的控制系统调节手指上的充气仪器，形成模拟压力，从而模拟各种触摸

金属触摸手套

荷兰VR手套开发商Manus制造的Quantum Metagloods VR手套基于磁跟踪技术。

与诺亦腾利用算法减少自然环境造成的磁干扰，保证跟踪稳定性的方案不同，通过磁跟踪的手势交互方案需要两个设备的配合一个设备配备了三个方向的xyz线圈，VR手套也将包含一个线圈两个线圈会通过高频振动产生磁力线，两个磁力线相互切割，获得手的位置变化

虽然VR手套可以提供更准确的手势捕捉，但是VR手套的价格和成本决定了它只能被一小部分极客玩家和商业市场使用。

根据消息显示，Meta手套的原型成本约为5000美元，而Manus的Quantum Metagloods的预售价为9000美元，Noyiteng的Hi5 2.0 VR交互手套售价为9800元。

从左到右分别是Manus，诺易腾，Meta的VR手套。

Meta曾将研发VR触摸手套的项目描述为登月计划当我们开始开发VR触摸手套时，我们希望打造一种可以大规模生产，消费者负担得起的消费设备，让人们可以在任何地方体验虚拟世界Meta的项目负责人说，但这几乎是不可能的

在调查过程中，我们还发现在哔哩哔哩有许多自制的虚拟现实手套这些价格的成本从100元到350元不等，有些VR手套甚至有力反馈功能我们可以看到，这些自制的VR手套可以用在一些简单的VR游戏中，可以做出一些简单的手势，比如握，捏，翻等，但是显示延迟也很明显，经常出现一些鬼魅和动物的场景

UP主们尝试自己制作VR手套。

面对VR手套巨大的价格差距，一位从事VR手套的行业人士分析，面向B端市场的VR手套成本主要在R&D投入，零配件和人力资源成本，价格取决于市场需求这意味着，一只普通的VR手套价格可能不高，但要做出一副能够面向商业场景，提供精准精度的VR手套，需要更高的成本

虽然VR手套可以兼顾VR设备的沉浸感和手势交互的准确性，但如何降低VR手套的价格将是VR手套发展中必须解决的难题。

想要免费的手需要从算法，工程，交互设计等方面攻克难题

从徒手交互和VR手套交互两种方式来看，VR设备的手势交互技术的发展是不断更新迭代的，之前的一些难点也逐渐找到了解决方案但总体来说，VR设备的手势交互技术还有很多难点

是什么在阻止我们扔掉VR手柄，采用新的手势交互方式中国VR头显冒险系列的R&D工作人员，《梦想绽放》的技术总监史明在接受智东采访时给出了三点

首先是算法层面目前针对VR设备的手势交互技术基本采用深度学习技术，因此研发过程需要依托大量的业务场景标注数据可是，基于手势的三维数据采集成本高，数据质量和一致性难以保证

手势交互中关键点的识别

其次，手势交互技术在工程优化上比较复杂手势交互技术需要基于一个优秀的模型，需要一个小的模型推理演绎在推理过程中，研究者既要保证算法的准确性，又要保证数据的实时性

最后是交互使用的设计VR R&D人员在设计手势交互相关操作时，需要避免视觉死角的问题，同时为用户提供更好的交互体验

关于手势交互的设计，脸书现实实验室前设计师刘晓宇在接受采访时也提到，手势交互技术在使用过程中容易出现遮挡，在设计手势交互时也要考虑用户的学习成本。

此外，微软亚洲研究院网络图形组首席研究员童欣也提到，机器很难区分手势识别的输入状态和非输入状态不同于键盘的按键交互，机器很难分辨出你是在摆手，是在做摆手的手势，还是玩累了想休息

一般来说，用于VR设备的手势交互技术整体上主要面临两个问题一方面，哪种手势交互方式可以兼顾沉浸感，准确性和低成本，可以用于所有的VR设备另一方面，如何根据VR设备的基本配置，创建最适合该设备的手势交互功能

可以预见的是，手柄仍将是VR设备中手势交互的主流解决方案之一，直到徒手交互技术可以达到更高的精度，VR手套的成本降低。

结论:手势交互技术或为升级VR体验的关键

目前针对VR设备的手势交互可以分为三个方向:现有的手柄交互方式，逐渐成为主流的徒手交互方式，以及尚处于少数阶段的外置可穿戴设备的交互方式但值得注意的是，这三种交互模式并不是替代关系，而是可以共存的

在手机和电脑高速发展的时期，无论是打字还是触屏交互都给人们带来了新的交互体验，手势交互也将为VR设备体验和VR内容制作带来新的变化。

手势交互技术的发展总会有无穷无尽的方向，但时代留下的手势交互技术毕竟是少数VR设备的手势交互技术会如何进化也许时间能告诉我们答案