探索沉浸式音频世界IAW的奥秘 | 数字电影技术专家马士超专访（上）

日期：2020-10-27    作者：本站原创

院友访谈，这一期是关于沉浸式音频技术的探讨，国外很多科学家与技术大咖称之为下一代音频技术NGAT（Next-Generation Audio Technology），或者面向未来的音频技术OFAT（Future-Oriented Audio Technology）；我们邀请到了数字电影技术专家马士超博士。

图1.马士超博士

马士超博士毕业于中科院计算技术研究所，专业为计算机系统结构。大学里做过10本《吉米多维奇数学分析习题集》的他，对各种复杂的计算机算法以及数字信号的处理方法运用得游刃有余，别人可能需要研究很久的内容，他很快就能看透悟透、并且能够基于实战经验、快速地找到解决办法并予以实现。读书时他所在的研究所和系统结构室，可谓大咖云集，夏培肃院士、李国杰院士、孙凝晖院士、龙芯CPU的胡伟武博士，这些重量级人物的耳濡目染、言传身教让他具有了非同一般的能力。尤其跟随现任所长孙凝晖编写过操作系统，修改过LINUX操作系统；跟随胡伟武老师设计过CPU并在上面运行裁剪过的小型OS的经历，更让他的能力获得了大幅提升。

图2.中国科学院计算技术研究所

数字电影领域的技术专家可以说是屈指可数，美国好莱坞有些技术专家了解技术，有些了解标准，也有一些能进行实现。马士超博士是鲜有的既能洞悉技术，又擅长标准，并且能快速的给出实现架构，甚至能自己编写MATLAB进行仿真，编写C代码进行程序设计，编写Verilog代码进行逻辑和芯片设计的科技奇人。数字电影DCI标准有他的贡献，SMPTE标准多个工作组都有他的身影。IMAX核心技术的缔造者Samuel博士称赞马博士是国际数字电影技术发展的主要贡献者及推动者，是国际数字电影的里程碑式人物。

 

马士超博士带领技术团队经过不断的探索、目前已完成沉浸式音频技术的研发并针对不同的应用领域开发了众多解决方案，相关产品已经在市场中广泛应用。同时，马士超博士创新提出“沉浸式指数AII”概念，并已经获得国内外多项专利。那么什么是沉浸式音频？它和多声道音频有什么区别？核心技术又有哪些呢？今天我们来详细聊一聊。

世界是平的。托马斯.弗里德曼如是说。

然而我们真实的世界不是平的，是三维的(阿凡达导演卡梅隆语)。只不过由于记录设备的限制，不仅通过摄像机拍摄的图像是三维世界的二维投影，通过麦克风录制的声音也是三维世界的二维投影。

图3.三维世界到二维世界的映射

今天LEONIS的沉浸式音频技术HOLOSOUND突破认知、记录与还原极限，为你记录和还原一个真实的三维世界。

图4.三维世界到二维世界的映射

什么是真正的沉浸式“好声音”

Q1---

中科院大学校友创新论坛：您能和我们说下，沉浸式音频到底是什么样的一种技术？

马士超博士：首先举例来说，我们平时听到的很多声音，例如坐在沙发上看电视，带着耳机观看IPAD上的电影，开车时的车载音乐等等，声音都还是一直停留在二维空间，而沉浸式音频的伟大之处是彻底的将声音从二维空间推向了三维空间。换句话说，沉浸式音频是三维音频的体验，更多的是让人们体会到声音的包围感，这也是声音技术变革的一个重要转折点。当然三维背后的核心技术支撑是对象，以及点声源技术。所谓的对象技术记录的是声音的轨迹，其包含了空间的三维坐标，信号本身以及时间信息。

Q2---

中科院大学校友创新论坛：传统音频和沉浸式音频除了在二维空间和三维空间里的展现，还有其他的不同么？

马士超博士：这两者最重要的不同是二者核心技术的组成部分，沉浸式音频是基于对象的音频技术，人们体验的是连续的声音体验；而传统音频技术基于声道，声音的效果是离散的。还有一点就是点声源技术，过去声道技术实际上是阵列技术，所谓的左环、右环可能分别包含了很多个扬声器，这些扬声器发一样的声，这也是声道技术不能将声音更好的再现的原因。

Q3---

中科院大学校友创新论坛：像您刚刚提到的对象和声道技术，是什么样的技术？

马士超博士：对象擅长记录声音的轨迹，适合有明显轨迹特性声音的记录与还原；除了对象和声道技术外，还有一种很重要的声音技术叫做声场，它是由我们团队独立研发完成的，声场适用于轨迹特性不明显、但对于烘托氛围起关键决定性作用的声音元素的记录与还原；声道经过多年的发展，虽然有局限性，但是是对象和声场的有益补充。

来自中科雷欧沉浸式音频HOLOSOUND

Q1---

中科院大学校友创新论坛：了解到您带领您的技术团队已经成功研发出沉浸式音频技术，能给我们整体介绍下么？

马士超博士：我们在2017年就已经完成沉浸式音频技术HOLOSOUND全部研发， HOLOSOUND融合对象技术(Object)，声场技术(Scene)，声道技术(Channel), 是符合国际DCI/SMPTE标准的沉浸式音频技术，是当前中国唯一一个可以抗衡国外同质沉浸式音频技术的技术。

Q2---

中科院大学校友创新论坛：沉浸式音频技术HOLOSOUND有经过相关权威部门检测或者认证么？

马士超博士：首先在国际上，HOLOSOUND是符合DCI/SMPTE标准的沉浸式音频技术。而在中国，HOLOSOUND是唯一一个通过中宣部中国电影发行放映协会与中国电影科研所权威评测的技术。在2018年中宣部中国电影发行放映协会与中国电影科研所组织了一次HOLOSOUND与Dolby ATMOS的技术评测会，当时邀请了很多权威的声音专家，包括来自中国电影科学技术研究所、中影基地后期、CCTV-6频道、中影股份、中国电影器材公司、北京电影学院声音学院，中国传媒大学声音系等的音频专家，他们分别对两种沉浸式音频技术的各项指标如音质、声像定位、声音响度均匀性、低音饱和度、声音层次、总体还音效果等进行盲测对比，最终HOLOSOUND胜出。HOLOSOUND是当前中国唯一一个可以抗衡Dolby ATMOS沉浸式音频技术的技术。

图5.沉浸式音频HOLOSOUND与Dolby ATMOS技术评审会

Q3---

中科院大学校友创新论坛：当前沉浸式音频技术HOLOSOUND应用到市场中了么？

马士超博士：是的，HOLOSOUND可以应用在任何有声音的地方，包括主题乐园，专业市场，家用市场以及个人消费性电子(手机，PC，游戏以及智能音箱)等市场。当前在数字电影行业应用最为广泛，比如说制作方面：HOLOSOUND影片已超320多部，包括7位大咖导演打造的史诗级巨作《我和我的祖国》、张艺谋的《影》、新晋导演饺子的《哪吒》等等；建设HOLOSOUND影厅方面，从2018年评测之后，影厅数量已经超700多个，合作的后期制作公司有20多家，包括美国的Skywalker、中影基地、和声创影等等。

声音带来的快乐是无穷的

Q1---

中科院大学校友创新论坛：为什么会想到去做声音相关技术的研发，或者是有什么特殊契机么？

马士超博士：其实我们公司产品技术有很多，除了声音，还有视频技术、云管理平台技术等等；但是声音会是现在或者未来一段时间内主攻的方向吧。我研究生以及博士期间，主要研究方向是计算机系统结构，第一份工作就进入到时代今典，带领团队研发出中国第一台符合DCI标准的数字电影播放服务器，然后创办的公司。我们很大的一个市场是数字电影，那么对于电影来说，很重要的两个组成部分，无非就是声音与画面。随着人们消费水平和精神需求的提升，他们越来越追求高品质的观影体验，那么声音与画面的相关技术一定要突破以前传统的旧技术，这时候我们研发的技术和产品，它的价值就被体现出来了。

Q2---

中科院大学校友创新论坛：沉浸式音频未来应用场景会有哪些？您更看好哪些？

马士超博士：我们的理想是它可以应用到任何有声音的地方，让沉浸式声音无处不在。通过强大的技术手段，让声音变的更加沉浸，更加真实，这会是件非常美好且快乐的事情。未来我们也会更多专注到民用市场，例如人工智能与沉浸式音频的结合，5G与沉浸式音频的结合等等。当前我们公司也在自研一款真正的沉浸式3D耳机HSA3D-VR，它是一个头戴式无线蓝牙耳机，具有强大的头部追踪功能，可以实现音频渲染的指向性，即根据我们佩戴者头部的动作而变化。

 

Q3---

中科院大学校友创新论坛：沉浸式指数概念是由您个人提出的，当时出发点是什么？

马士超博士：主要是用于沉浸式音频与沉浸式音频、沉浸式音频与传统音频之间的技术对比，区分出什么才是真正的沉浸式音频技术，避免鱼目混珠。它是基于人工智能AI技术，结合麦克风阵列/人工头分析仪，采用特殊的算法，形成了沉浸式音频指数AII (Audio Immersive Index)评价方法，这项技术可以说填补了国内外沉浸式音频评价方法的空白，目前已被SMPTE与AES等相关的国际标准组织所采纳。其目的是相比人工盲测的方式更加客观、准确，用技术实力说话。