最近举行的2024进博会，是了解索尼中国最新创新技术与本土实践的一个窗口。第三次亮相进博会的索尼，此次重点展示了以科技激发创意的探索与成果。

进博会前，东西文娱/共同虚拟已参加过一次小范围交流。索尼声明了在华的业务，大的趋势是稳步中增长。（相关链接：巨头索尼“洞察”中国：看好互动沉浸娱乐产业发展，虚拟制作、沉浸娱乐、LBE大空间、主机游戏是关键词）

而在此次进博会期间，东西文娱/共同虚拟围绕与沉浸娱乐和虚拟制作相关的两项创新技术，与索尼在华最高技术负责人和项目首席创意制作人，就技术原理、发展路线、未来应用等，有了进一步交流。

此次索尼重点推出两项技术：地板触觉反馈技术、虚拟形象捕捉解决方案。其中，地板触觉反馈技术是第一次引入中国。

根据索尼的规划，目前这两项技术已优先与索尼旗下娱乐相关版块合作。也就是说，即将在索尼影视、游戏等项目中看到技术的实际应用。

与此同时，索尼中国希望推进技术在中国的本土化应用，加强与中国本土娱乐、文博等领域机构与创作者的合作。

索尼中国品牌推广办公室总经理、公司项目首席创意制作人西冈靖就表示，索尼到底要朝哪个方向去，实际上很简单，就是贴近人。

具体来说，就是和创造感动的人士一起，通过索尼的创新技术来创造出优质的产品和内容，然后提供感动。而为了让创作者对新的创作技术心驰神往，激发他们的热情，并更好利用技术创造感动，索尼将从三个方面入手：

“第一，是索尼自己的独一无二的技术；第二，本土化的自产自销的做法，第三，通过创造感动的体验来实现这一点。”

沉浸娱乐体验：地板触觉反馈技术

1、技术原理

“触觉技术的范围是比较广的，比方说有力量、压力，或者是温度、疼痛的感觉等等，这些都是广义上的触觉的技术。

振动触觉的技术，可以类比音箱。它的工作原理是这样的，把声音通过膜的振动来加以获得。人类耳朵能够获得的声音的范围是20赫兹到2万赫兹。如果声音低于一定的赫兹，则可以通过人体的皮肤来获得。人体皮肤类似于一个受体，它能够起到传感器的作用，把这种低赫兹的声音捕捉过来。

为此，我们针对300赫兹以下的低频的声音做了特殊的处理，并以地板方式来呈现。也就是通过地板对声音的振动，来使自己的脚心体验到这种声音。”

2、技术应用方向和场景

“我们这种技术，对于音乐的波形是可以定制的，按照自己喜爱的方式来加以体现。比如感觉走在水上、干燥的落叶、冰上。另外，它还有一个特点，可以模块化组装，因此非常容易运输、搬动，可以在任何地方根据需要来进行组合。

将它跟其他各个感官结合起来，像人本来所拥有的触觉，或者是嗅觉、听觉等等结合，能打造更为充满沉浸感的空间。

现在，包括博物馆、美术馆，很多地方在做数字艺术的展示，可以很好地利用这项技术。原来是静止展示的，比方说恐龙馆，通过这个技术，就能够感觉恐龙是会动的。

还有一个，通过这种技术，能够把人带到自己不能够去或者永远不能够实现去看一看这种心愿的地方。比如在冰上行走，其实很多人都没有这种经历。如果说到更加极端的例子的话，很少有人去月球、去太空，但是通过我们的技术，能够让你身临其境感觉到去月球、太空的可能。”

3、打造触觉波形数据库

“我们现在知道，如果是200赫兹的刺激的话，皮肤会感到是让人给点了一下，或者是触摸了一下。而如果是5赫兹这种波形的话，它让人感觉非常柔软。我们对于各种皮肤能够感受到的触觉的波形，正在打造一个类似于数据库的东西。

随着我们这个数据库越建越强的话，最终就不需要再进行客制化的定制。只要调用现有的波形，就可以实现你要达到的触觉的体验。

目前的触觉数据库里已经积累了很多触觉波形，基本上都已经覆盖了。另外，索尼对技术非常开放，我们希望利用这个技术，由更多的创作者跟我们一起去打造更多体验。因此索尼一方面自己会努力，另一方面是联合更多的创作者一起来做这个事情。”

虚拟制作：虚拟形象捕捉解决方案

1、技术原理

“具体来说，它是一个融合了数字3D技术和对人物进行实地捕捉之后，进行融合形成全新内容的技术。

有一个能够全方位捕捉360度影像的多镜头系统，然后把人物或者是场景用这个多镜头系统完全捕捉过来。在此之后，会有个重建的过程。因为是360度的多镜头系统，所以每个侧面都会被精确地掌握。”

2、技术应用场景

“镜头捕捉获得的数据可以有多样的应用范围，比如在虚拟空间作为数字资产或者是用于VR、游戏等。另外，整套系统还可以用于包括体育、赛事、娱乐等等的场景之中，因为它可以提供自由视角的拍摄的场景。

进博会上特别设计了展示内容。参观者可体验通过360度影棚拍摄并创建自己的3D虚拟形象，并使用自己的虚拟形象，游玩互动游戏，这其中就需要通过索尼AI驱动的3D建模算法。

我们还设计了两个游戏，可以用自己的3D形象来进行参与。第一个是虚拟形象互动游戏——环保英雄：城市复苏，用户可以与来自于城市所诞生的众多垃圾形成的灵或者怪物进行互动，最终挽救这个城市。

还有一个是虚拟形象舞——自然的节奏：生态健身之旅。我们用获得的数字资产所形成的虚拟人，他能够跟场景进行非常自然的融合，而且在这呈现自己的太极拳的功夫。”

3、未来技术迭代方向：借助AI力量、降低成本

“索尼虚拟形象捕捉解决方案，目前是要36台摄像机一起联动工作才能够实现的。因此我们在加大研发力度，是不是能够用更少的相机就做到这一点？这方面可能还要借助AI的力量。我们的愿景是能够实时、高清晰地获得相应的画面，而且以成本更低、更加方便的方式实现。”

“在AI的导入方面，索尼已经在硬件方面做出了成绩，具体来说是索尼的传感器的模组之中已经搭载了AI的功能，所以作为消费者，可以实际体验到索尼的AI能力的。另外，我们在研究所里已经尝试应用AIGC，也就是AI的大模型的自动生成三维的数据。”