索尼研发高级副总裁表示PlayStation采用下一代VR无线凝视跟踪foveated渲染和AR

PlayStation正在赢得高端VR战。截至3月份，索尼已售出420万台PlayStation VR耳机，索尼研发高级副总裁多米尼克·马林森(Dominic Mallinson)本周肯定会在多伦多的Collision 2019指出。

“我们对这些数字感到非常满意，对这个位置非常满意，”Mallinson指出。“但我们知道我们可以做得更好。目前市场上有超过9600万台PlayStation 4。其中每一个都能够提供出色的VR体验。因此，我们希望将这些人中的许多人转变为PSVR用户。我们不会只停止使用PS4。“

Mallinson当然指的是索尼上个月承诺PlayStation 5将支持PSVR。因为他是索尼研发实验室的一部分，所以当他提出时，Mallinson可以看到一些实验，方向和新内容“正在通过管道传播”。这就是帮助他为自己的会议命名的“虚拟现实的未来是光明的。”

在他的演讲中，马林森带着三个大的外卖离开了人群：

VR的影响不同于任何其他媒体。

VR技术的快速改进将进一步扩大其吸引力。

好的内容已经在这里，但我们需要更多。

在他下台后，我们跟随了Mallinson。

1. VR不同于任何其他媒体

第一个外卖是直截了当的：电视节目，常规视频游戏，电影，书籍和收音机都给你一定程度的沉浸感。VR走得最远。“VR以更高的方式吸引你所有的感官，”Mallinson说。“它以更高的方式吸引你的眼球。它以更高的方式接合光学器件。你只是不能在任何其他媒介中得到它。“

马林森简要地谈到了踩高尔夫球的人如何能够在VR中玩游戏。他描述了 - 但强调说不可能做到正义 - 像铁人一样飞来飞去的难以置信的独特感觉。

说到感受，我们问他，看到他的经典PlayStation击中Wipeout来VR的感觉如何。

“太棒了，”马林森笑着说。“这让我有点情绪化，因为这是我们创造Wipeout时我们一直梦寐以求的 - 在VR中拥有它。所以，看到他们实际上提供了这一点，并做了一个非常好的工作，真是太棒了。不幸的是，就个人而言，我在VR中有点不舒服。就像我喜欢玩它一样，我不能玩太长时间，因为它有点极端。“

2. VR技术正在迅速变化

这是Mallinson在舞台上和我们的后续行动中谈论最多的内容。他首先给出了三个进化硬件改进的例子，并提供了他的预测。

“首先是解决方案，”Mallinson解释道。“这是每度数的像素。这是关于显示器的清晰度和清晰度。而且你必须能够匹配人们期望看到的高清晰度。我希望下一组VR产品的分辨率大致翻倍。“

“与此同时，我们还需要一个更大的视野，”他继续道。“人类视觉系统大约180度。今天大多数VR耳机大约是100度。收益越来越大，收益越来越大。但我认为下一组产品在视野方面大致为120度。

“最后，HDR。在电视行业，HDR对于创造最佳体验已经非常重要。人眼可以看到从明亮的阳光到深阴影的巨大光线。今天的VR面板仅占其中的一小部分。因此，为了增加存在感，我确实希望看到在不久的将来采用HDR。“

随之而来的是，马林森迅速转向革命性的变革。

无线

由于采用的影响，Mallinson非常关注无线高端VR。

“为了扩大虚拟现实的采用，用户的舒适度非常重要，”Mallinson强调说。“用户的舒适度有很多方面。我只想在这里碰一下。这就是电缆。被束缚在这种电缆上是不方便的。而且这不仅仅是因为纠结在电缆中。这不仅限于你动议的限制。它还涉及您如何设置，如何配置系统，存储位置。让我们面对现实，在你的生活空间里乱七八糟的电缆只是没有吸引力。因此，为了获得更广泛的采用，我们必须解决这个问题。“

他提供了两种解决方案：一体化耳机，其中计算是耳机的一部分，并使用无线传输技术取代电缆。

“在这两种情况下，这些都需要在头上或靠近头部使用电池，”Mallinson指出。“在人体工程学和工业设计方面，让头戴电池有点不方便。但我认为你现在开始看到的一体化耳机实际上变得非常好。但老实说，由于您可以在高端PC或游戏机上获得大量的计算和渲染性能，因此它们今天无法与有线耳机竞争。你不能把它放在头上。“

值得庆幸的是，进展也在这里迅速发展。

“但幸运的是，无线传输技术每天都在好转，”马林森说。“60千兆赫兹等新技术使VR产品成为可能。但它可能仍然是一种选择，因为它比使用电缆更昂贵。“

多个版本

第二个问题引出了一个明显的后续问题：是否有计划模块化PSVR2?不完全是，但可能有多个版本。

“这当然是一种选择，”马林森同意道。“例如，我谈到了无线技术。这是一个简单的方法。这是有线耳机。您可以取下电线并用无线更换。然后你可以有一个范围。所以你可以有一个介绍模型和一个高端模型。这是我们用PlayStation 4做的事情。我们可以用PSVR做到这一点。“

马林森没有承诺任何事情，但他提出的选择将使谣言工厂过度加速。

凝视跟踪

为了保持最佳状态，Mallinson谈到了他认为会成功触摸的用户输入形式。

“凝视追踪 - 这是让我最兴奋的技术，”马林森宣称。“我们已经开始在行业活动中展示的一些产品中看到这一点。我认为它最有可能在相当基础的水平上改变VR用户体验。我认为正是莎士比亚创造了这句话，“眼睛是我们灵魂的窗口”。我说“眼睛是我们思想的窗口”，这让我更加平淡无奇。我认为每个人都可以直观地理解当你有目光接触时人类沟通的丰富程度。“

“那么凝视追踪是什么意思?我的意思是了解您在这个虚拟世界中寻找的技术。你有什么关注点?然后，最重要的是，我们可以分层额外的东西。我们可以通过测量瞳孔扩张来了解您的注意力。我们可以做生物识别技术来了解您的目标。...我们可以测量你的IPD(瞳距) - 瞳孔之间的距离。这对VR来说非常重要，因为它可以让我们准确地设置光学系统和渲染，为您提供最大的舒适度，并真正在VR中获得正确的距离和比例感。所以从根本上说，通过这项技术，我们知道你在VR中看到了什么。这使得无数的用户界面和用户体验成为可能。“

凝视跟踪应用程序

Mallinson提供了一些潜在的凝视跟踪应用。有一个明显的用例是能够操纵光标并在菜单上选择东西。用眼睛控制光标(参见Windows 10的眼动追踪功能)是最基本的，但“即使这非常有用”。

然后是更广泛的可寻址性概念。想象一下多个虚拟角色，能够分别查看每个虚拟角色并给他们一个命令，或者问每一个问题。“非常自然地，无需使用鼠标或键盘或操纵杆，这些评论都得到了正确解决。”这也适用于社交VR - 虚拟眼神接触可以在VR内部多人谈话时推动采用相互表达并表达自己。

“我认为凝视跟踪是我们在下一代VR中看到的最激动人心的变化，”Mallinson宣称。“所以，真的，如果你看看用户输入的历史，从键盘开始，然后是鼠标，以及最近的触摸屏界面，我认真地认为将凝视作为用户输入将与每个变化一样重要。我们过去曾经有过。这是我关于下一代VR的第一点：Gaze将允许更多，更丰富的用户互动。“

然而，他确实承认，在VR行业中没有就此达成共识。

“每个人对此都有不同的看法，但我相信这是最大的区别。有些人只关心视觉效果，因此最高分辨率可能比其他任何事情都重要。当然，如果你有一个应用程序，其中20/20视觉是非常重要的，如果你必须能够阅读非常小的文本，那么是的决议是最重要的。但对我来说，在整个频谱体验中，是凝视。“

Foveated渲染

Mallinson对凝视跟踪如此看好的另一个原因是因为它可以实现渐变渲染。

“更多的像素需要更多的渲染性能，”Mallinson解释道。“如果你只是暴力强迫它，它需要很多额外的渲染性能。人眼在视网膜中有一部分称为中央凹，它负责我们的超锐视觉。我们在周边视野中看不到太多。因此，如果我们可以将渲染性能与中心凹匹配，我们可以提供更高的有效分辨率，以及更高质量的图像。因此，凝视跟踪在这方面是双赢的。“

因此，Gaze跟踪“为自己付出代价。”它带来了全新的用户体验，并实现了对foveated渲染的硬件优化。

以上所有内容共同构成了Mallinson预计将推动VR更广泛采用的技术的快速改进。

3. VR行业需要更多内容

“这之前已经讨论了很多次，但需要重复，”马林森重申道。“因为这是最重要的事情。内容就是一切。没有内容，VR只是一件无聊的技术。所以我们真的需要那些精彩的内容。幸运的是，我们已经为VR做了很多精彩的游戏。但是，还有许多非常棒的非游戏体验：体育，电影，训练，治疗等等。在采用VR方面，社交VR将成为一个重要的推动因素。“

Mallinson真想把VR推广到视频游戏之外。“VR比游戏还要多得多。讲故事很棒。这对训练和模拟来说非常棒。甚至疼痛管理也是你可以用VR做的事情。“

索尼正在投资非游戏VR应用，但它仍然坚持娱乐领域。这意味着社交VR，叙事故事等，但不是医疗用例。

“我们需要更多的人进入并为VR提供引人入胜的体验。我们对游戏有很好的把握。所以我并不太担心。而且我们仍然在投资我们自己的第一方游戏。但我想其他所有人 - 他们可以稍微加强他们的游戏。所以我们可以看到更多的教育，看到更多的培训，看到更多的医疗应用。“

AR

虽然我们的大部分谈话都是关于VR的，但我们确实询问过PlayStation的AR计划。

“我们没有对AR做任何事情。但显然从研发角度来看，我们会密切关注事物。“

为什么不?

“AR非常令人兴奋。我认为它在未来有很大的潜力。但要做得好一个数量级要难得多。因此，如果我们能破解VR，我们可以转向AR。但是，我想，直接跳入AR是一个过程。让视觉效果与现实世界中发生的事物相匹配是非常困难的。“

马林森举了三个例子。他谈到了聚焦- 适应性冲突，这是一个焦点问题。他解释说这是一个非常难以解决的问题，目前正在VR中回避。你不能在AR中回避它。

他还谈到了现实世界的注册 - 使虚拟物体看起来很稳固。如果你把一个虚拟对象放在一个真实物体上并快速移动它，那么前者必须“赶上来”。它应该相应地移动 - 这也很难解决。

最后，Mallinson表示捕捉现实世界的照明非常困难。根据击中它们的真实光线为虚拟物体绘制精确的阴影并不容易。

“这个名单还在继续，”马林森抱怨道。“特别是在游戏中，所有类型的游戏都适用于AR，这一点并不清楚。如果你正在玩“指环王”游戏或任何类型的奇幻游戏，你真的想在你的厨房里玩一个奇幻游戏吗?你做的并不明显。所以在AR中只有一大堆问题，我们需要在AR在游戏中变得巨大之前克服这些问题。我认为它会，但我们需要首先关注让VR尽可能好。然后我们可以自然地进入AR。“

最后的想法

VR对下一个PlayStation的积分如何?

“这一点很重要。如果你没有VR，我想你仍然会有很棒的经历。如果你有VR，你会得到一些你无法获得的东西。但你不必拥有VR。“(索尼可能不想重复微软的Kinect搞砸了。)

为了保持PSVR的发展势头，索尼需要做些什么?

“很多很多东西。最重要的是保持良好的内容通过管道。真正鼓励所有开发人员到那里制作更多优秀的VR内容。这是第一名。从硬件的角度来看，这是设备的舒适性和功能性。因此，更容易脱下它，设置起来更容易，并且拥有非常舒适，符合人体工程学的体验，这是我们最大的目标。“

标签： 索尼 PlayStation