VR的下一件大事可能不是更高的分辨率或更身临其境的声音,而是通过物理感觉或移动部件增强的体验,让你的感官误以为虚拟是现实。从国内到国际学生团体的研究人员都在炫耀他们让VR和AR更有说服力的最新尝试。
计算机图形学及相关领域的会议本周在洛杉矶举行,从meta到Epic到大学和电影工作室,每个人都在展示他们的产品。
这是第50届SIGGRAPH,所以大部分活动都是用于回顾之类的,尽管展会大厅里充满了最新的视觉特效、虚拟制作和动作捕捉硬件和软件。
在“新兴技术”大厅里,或者像黑暗的、覆盖着黑色窗帘的房间里的洞穴里,数十种处于VR前沿的实验方法似乎描述了这一技术的现状:视觉上令人印象深刻,但沉浸感几乎完全依赖于此。怎样才能使这种错觉更加完整呢?对许多人来说,答案不在于声音或图像更好的虚拟世界,而在于现实世界。
我这款变焦VR头显可以改变你的视角
meta在房间里是一个很大的存在,它的第一个演示。Flamera采用了一种有趣的“穿越”视频方法,但真正改变虚拟世界的是Butterscotch的“变焦”方法。
VR头显通常由一对微小的高分辨率显示器组成,固定在一堆镜头上,使它们看起来充满了佩戴者的视野。试用过最近的头戴式耳机的人都可以证明这一点。但有一个简单的缺点就是把物体移近并不能让你看得更清楚。它们保持相同的分辨率,虽然你可能能够分辨出更多的东西,但这并不像在现实生活中拿起一个物体并仔细检查它。
梅塔的奶油糖果原型耳机,支离破碎。
我对meta的Butterscotch原型进行了测试,并对研究人员进行了盘问,它通过在耳机内跟踪你的目光来复制这种体验,当你的目光落在更近的东西上时,就会将显示器滑动到离你眼睛更近的地方。对于那些已经习惯了在VR中“近距离观察”事物的人来说,这个结果是令人震惊的。
meta展台的一名研究人员告诉我,显示器的移动范围只有14毫米左右,这个范围不仅足以让近距离物体的图像更清晰——我必须说,非常清晰——而且还能让眼睛更自然地改变它们的“调节”和“汇聚”,也就是它们自然地跟踪和聚焦物体的方式。
虽然这个过程对我来说非常有效,但对于一位与会者(我怀疑他是索尼VR部门的高层,但他的经历似乎是真实的)来说,它完全失败了,他说光学方法与他自己的视力障碍不一致,打开这个功能实际上会让一切看起来更糟。毕竟,这是一个实验,和我交谈过的其他人觉得它更有吸引力。遗憾的是,这种移动显示屏在消费者机型上可能有些不切实际,这使得这项功能不太可能很快出现在Quest上。
隆隆作响(和翻滚)的包
在演示层的其他地方,其他人正在测试更奇怪的物理方法来欺骗你的感知。
将“隆隆声包”的概念发挥到极致:将控制器安装在一种类似指挥棒的东西上,里面有一个重物,可以通过马达上下驱动,以改变重心或模拟运动。
与我尝试过的其他触觉实验一样,它在VR环境之外的感觉并不多,但当与视觉刺激相结合时,它非常令人信服。一组快速的演示首先让我打开一把虚拟雨伞——显然,这不是一个你会玩很长时间的游戏,但这是一个很好的方式,可以展示重心的变化是如何让一个假装的物品看起来像真的。伞开口的动作感觉正确,然后重量(在其最远极限)使它感觉质量确实移动到手柄的末端。
接下来,第二根接力棒以垂直的方式固定在第一根接力棒上,形成类似枪支的形状,在演示中,我用猎枪和手枪射击外星人,由于它们如何编程重量移动和模拟后坐力和重新装填,每一根接力棒都有不同的“感觉”。最后,我在附近的怪物上使用了一把虚拟光剑,当光束接触到怪物时,它会提供触觉反馈。与我交谈过的研究人员说,他们没有将其商业化的计划,但反应非常积极,他们正在改进和开发新的应用。
东京大学(University of Tokyo)的研究人员在一个展台上展示了一种不同寻常的、聪明的方法。在那里,我被安装了一个动力腕带,上面有两个旋转的陀螺仪,它们彼此相对,但可以改变它们的方向,以产生一种力量,要么反对,要么加速手的运动。
图片来源:Devin Coldewey / TechCrunch
这种机制有点难以理解,但像这样旋转的重物本质上是想保持“直立”,通过改变它们相对于重力或它们所在物体的方向,这种自我调整的趋势可以产生相当精确的力向量。这项技术已经在卫星上使用了几十年,它们被称为“反作用轮”,这个原理在这里也起作用,当我的手在两个按钮之间移动时,它会减慢或帮助我的手的运动。所涉及的力很小,但可察觉,人们可以想象巧妙地使用陀螺仪创造各种微妙但令人信服的推和拉。
在几米外的芝加哥大学展台上,这一概念被发挥到了极致,与会者被安装了一个大型动力背包,背包上装有一个可以快速上下移动的电动重物。这是用来提供一种更高或更低跳跃的错觉,因为通过在适当的时刻移动重量,一个人似乎被减轻或加速向上,或交替向下推-如果在相关的跳跃游戏中犯了一个错误。
上周,在这项技术首次亮相之前,我写了一篇详细的文章。
虽然庞大的机制和狭窄的用例标志着它像其他概念证明一样,它表明身体运动的感知,而不仅仅是一个物体或一个附属物,可以受到明智使用武力的影响。
弦理论
说到拿东西的感觉,目前的VR控制器也有不足之处。虽然最新的Quest和PlayStation VR2头显的运动跟踪功能令人惊叹,但人们从来没有感觉到自己在虚拟环境中与物体真正互动。东京工业大学的一个研究小组发明了一种巧妙的方法。
使用者的每只手上都安装了四个小戒指,除了小指,每个手指上都有一个戒指。每个环的顶部都装有一个微型马达,每个马达上都有一个小小的螺纹环,绕在每个指尖的垫子上。手和手指的位置是通过连接在耳机上的深度传感器来跟踪的。
在VR模拟中,桌面覆盖着各种立方体和其他形状。当跟踪器检测到你的虚拟手与虚拟块的边缘相交时,电机就会旋转一点,并在环路上拉扯——这感觉很像有什么东西触摸了你的手指!
图片来源:Devin Coldewey / TechCrunch
这一切听起来都很奇怪,确实如此——但基本的想法和感觉值得体验,而且设置显然不会太贵。能够模拟阻力的触觉手套少之又少,而且操作起来相当复杂(事实上,另一位研究人员正在研究一种更复杂的类似原理)。这个系统的改进版本可能会以不到100美元的价格制作,并提供一种仍然具有变革性的基本体验。
SIGGRAPH,特别是这个大厅,充满了这些和更多的经验,在物理和数字之间的界限。虽然VR尚未成为主流,但许多人认为这意味着他们应该加倍努力改进和扩展它,而不是放弃它作为一个死去的平台。
这次大会还展示了游戏、视觉特效、艺术、虚拟制作和许多其他领域之间的大量重叠——这些实验背后的大脑和展会上更成熟的产品明显感觉到,这个行业在多样化的同时正在融合,多模式、多媒介、多感官体验是未来。
但这并不是不可避免的——总得有人去做。所以他们开始工作了。