麻省理工学院创新的声音技术

2018年12月，麻省理工学院学生Ben Bloomberg 站在Jacob Collier演唱会的音响板后面。

麻省理工学院的跨学科项目探索声音的技术和审美极限。

Ken Shulman | Arts at MIT December 26, 2018

http://news.mit.edu/2018/sound-technology-unlock-innovation-at-mit-1226

声音是一种强烈的召唤媒介，能够唤起真实的情感和开启新的体验。今年秋天，麻省理工学院（MIT）的几个跨学科项目探索了声音的技术和审美极限，产生了新的创新和视角，从能够让慢跑者保持稳定节奏的运动感应耳机，虚拟现实技术，到使盲人能够体验漫画里的场景，以及挑战我们与技术的关系的项目。

政治参与使项目健全

麻省理工学院全球研究和语言系的人类学家Ian Condry说：“声音本质上是一种民主的媒介，声音让我们能够倾听周围的声音，并从多个方向听到多种声音。”

这个概念在今年的Hacking Arts Hackathon Signature Hack提出，Condry帮助协调。该多频道音频装置取样并提取了最近总统就职演说中的音频片段，然后将这些片段与现场观众所录制的呼吸声相融合。在这个配乐的基础上，两名团队成员担任了活动DJ，指导观众齐声哼唱，而他们的手机——由专为hackathon设计的应用控制——播放了额外的呼吸声和嗡嗡声。

麻省理工学院媒体实验室的二年级硕士生 Adam Haar Horowitz说：“我们想玩多种语音和音频流。”他也是优胜团队的成员。他补充说：“不仅仅是那些会造成分歧的单词，还有那些单词之间的纹理和停顿。”

当人工智能决定什么是好笑的时候并会发生什么？民主的声音在“欢笑室”中占据了突出地位，这是一个包括作者、插画师和麻省理工学院博士候选人Jonny Sun和麻省理工学院文学副教授Stephanie Frampton在内的团队构想出来的装置，作为她的项目的一部分，这个项目名为“人工智能”，是麻省理工学院图书馆和剑桥公共图书馆合作开发的。

由麻省理工学院艺术、科学和技术中心（CAST）的Fay Chandler学院创造性种子基金资助的《欢笑室》邀请公共图书馆的访问者进入一个电视情景喜剧的客厅，他们在那里讲故事或笑话，房间里的人工智能分析了这些故事或笑话。如果算法确定一个故事是有趣的，它播放一个录音笑料。“《欢笑室》”——以及人工智能的算法计算——然后在“控制室”的屏幕上播放——这是麻省理工学院Hayden图书馆的一个配套装置。

虽然对公众来说有趣，但该项目也挖掘了更严重的问题。Sun说：“科技带来的社会张力，在科技允许你做的事情当中，比如让算法告诉你你的笑话很有趣，而我们为这种技术所付出的代价通常是我们的隐私。”

用声音来保持节奏

音频增强现实如何提高我们的生活质量？来自多个学科的70多名学生在10月参加了Bose MIT挑战赛，对这个挑战进行了探索。这项竞赛由音乐技术实践教授Eran Egozy和麻省理工学院毕业生共同发起，后者开发了经典性的视频游戏《吉他英雄》和《摇滚乐队》。该竞赛鼓励学生们为Bose AR发明现实生活中的应用，这是一种新的音频增强现实技术和平台。

今年的获奖作品改编了Bose的运动感知AR耳机，使跑步者在训练时保持速度。当跑步者加速时，音乐就在他们身后响起。当他们的速度变慢时，音乐听起来就像是在他们前面播放。

用声音创造一个更完整的画面

声音——以及传递声音的技术——有能力提高每个人的生活质量，特别是对840万名看不见的美国人。这就是去年4月赢得麻省理工学院创意艺术竞赛的“夜魔侠计划”的目标受众。

Daniel Levine是麻省理工学院媒体实验室的硕士候选人，他与新英格兰音乐学院的大二学生Matthew Shifrin合作，为盲人创建了一个虚拟现实系统。该系统的可穿戴前庭刺激头盔，使盲人在听到伴随的配乐时，能够体验飞行、坠落和加速等感觉。

两年前，Shifrin找到Levine，希望他能帮助他在《夜魔侠》的漫画书中培养出身临其境的3D体验——这个系列的超级英雄，像Shifrin一样，是个盲人。小时候，Shifrin的父亲给他朗诵了《夜魔侠》，仔细描述了夜魔侠在每块玻璃上的动作。夜魔计划利用科技推进了童年的体验。

Shifrin说：“由于 Dan有工程技术专长经验，这个项目已经远远超出了我们最初的计划，这不仅仅是盲人的事。任何喜欢虚拟现实和游戏的人都可以佩戴这个设备。”

艺术与技术的完美结合

另一个在声音和技术方面的跨学科的伙伴关系，在今年秋天CAST访问艺术家Jacob Collier和麻省理工学院博士候选人Ben Bloomberg之间的合作带来了良好的结果。

Bloomberg在麻省理工学院完成了他的本科和硕士学业，他和Tod Machover一起学习音乐和表演设计，Muriel R. Cooper音乐和媒体教授，以及未来集团的媒体实验室歌剧总监。四年前，Bloomberg在网上发现了Collier的音乐视频；然后，他给Collier写信，询问他是否需要任何帮助来将自己的视频表演改编成舞台剧的作品。幸运的是，Collier答应了。

Bloomberg与Collier密切合作，开发了一个计算机化的视听表演平台，使富有魅力的作曲家和表演者能够无缝地在舞台上从一个乐器换到另一个乐器上，并同时演唱多个部分。他们两个人继续在这个设备的性能上做开发来完善这项技术。“这就像一个技术假肢，”Bloomberg说，他曾与数十位艺术家合作，包括Bjork和Ariana Grande。

虽然技术为更丰富的声音探索打开了大门，但Bloomberg坚定地将其置于艺术领域。“如果不是Jacob的惊人才能，所有这些都没有任何意义。他督促我开发新的技术，或者寻找新的方法来应用现有的技术。这里的目标不是仅仅因为我们能够集成技术，而是为了支持音乐，并促进它的意义。”

在2019年继续探索声音与创新年度表现系列MIT Sounding。2018-2019赛季的亮点包括：与波士顿现代管弦乐团项目合作，纪念麻省理工学院教授John Harbison的80岁生日；美国首映的Spider’s Canvas虚拟3D重建蜘蛛网，每条线都调到不同的音符； Haitian歌手和说唱歌手BIC和麻省理工学院作曲家创新的美国钢琴家Joel Fan演奏。

经MIT新闻办公室准许转发。 Reprinted with permission of MIT News.

本文章均来自MIT新闻办公室，文章内容翻译如有偏颇，敬请各位指正。