音乐的奥秘以及数据的关键

罗彻斯特大学伊士曼音乐学院的音乐理论教授戴维·坦珀利(David Temperley)说：“我们根本不了解人们为什么喜欢音乐。” “它没有任何明显的进化目的，而且我们不明白为什么人们喜欢一首歌而不是另一首歌，或者为什么有些人喜欢一首歌而其他人却不喜欢。我认为我们无法找到所有音乐的奥秘，但人们开始用数据科学回答很多问题。”

罗彻斯特大学的研究人员处于数据科学与音乐交汇的最前沿，正在开发数据库来研究音乐历史并完善计算机可以自动识别流派或歌手，对音乐认知进行建模并提取情感内容的方式歌曲，预测音乐品味并提供改善音乐演奏和乐谱的工具。

2014年，已故马文·盖伊(Marvin Gaye)的家人对罗宾·锡克(Robin Thicke)提起诉讼，指控锡克(Thicke)2013年的流行歌曲“模糊线条”(Blurred Lines)侵犯了盖伊(Gaye)1977年的“得意放弃”(Got To Give It Up)。分析人员比较了乐谱和录音室的安排，以评估歌曲之间的异同，最终做出了对盖伊的孩子有利的判决。

如果计算机能够找到一种准确的方法来识别人声表演与表演风格之间的比较，该怎么办?

电气和计算机工程学系系主任兼教授马克·博科(Mark Bocko)正在朝着这个目标努力。他将他对音乐和科学的热爱带到了从音频和声学到音乐声音表示和应用于音乐的数据分析等学科的研究中。

Bocko和他的团队一直在使用计算机来分析数字记录的音乐文件，目的是更好地理解和模仿人类能够识别特定歌手和音乐演奏风格的方式。该项目不仅可用于解决版权纠纷，而且还可用于培训音乐家，研究音乐风格发展趋势以及改进音乐推荐系统。

“当人们聆听录制的音乐时，他们可以迅速识别出自己喜欢的表演者，” Bocko说。“人类听众还可以听录音，并迅速做出高水平的判断，例如'MichaelBublé听起来很像Frank Sinatra。' 我们正在研究人们在音乐声中识别出的东西，这可能导致他们识别出不同音乐家的演奏风格上的相似之处，或者识别出特定的歌手。”

为此，Bocko和他的团队使用在他的和其他全球研究实验室中开发的音频处理算法。歌曲的MP3文件可以很好地为听众再现声音，但是这种格式无法使研究人员轻松识别音高调制，响度轮廓或速度变化等属性。使用各种音频信号处理算法，计算机可以从录音中提取此类信息。

对数据的进一步分析使研究人员能够检测出细微的结构。例如，计算机可以提取歌曲中每个音符的音高，以显示歌手在何处以及以何种方式获得了自由。例如，如果书面音乐中音符的频率为220赫兹，那么歌手可能会使用一种称为颤音的技术来调节频率，该技术旨在为音符增添温暖感。歌手可能还会略微拖拉乐器的节奏，使歌曲更轻松。

“如果将所有这些小细节加在一起，就可以定义表演者的风格，这就是使它变得音乐化的原因，” Bocko说。“在非常细微的变化中的详细结构，例如在时间和响度上，确实可以改变作品的感觉。”

使用来自基因组信号处理的数据分析工具，类似于用于研究DNA序列的工具，Bocko和他的团队在音乐数据中搜索各种表演者和表演风格的细微变化中的重复模式(称为主题)。

“这与DNA测序非常相似，” Bocko说。“您要挖掘所有这些数据，以寻找在整个演出中重复出现的模式。”

Bocko和他的团队对主题进行编码，并将其存储在主题库中，以进行多种表演。然后，他们创建了计算机程序来比较图案库。通过这种方式，他们可以证明迈克尔·布布莱(MichaelBublé)确实具有与弗兰克·辛纳屈(Frank Sinatra)相似的唱歌风格，但与纳特·金·科尔(Nat King Cole)的相似。

这种方法最终可以使计算机学会识别歌手和音乐表演之间的细微差别，而人类仅通过听音乐就能拾取这些细微差别。

并且，它可以提供量化的证据来证明“模糊线”和“愿意放弃”之间的相似性。

自动转录音乐

假设您是一位钢琴家，并且听到了一些想演奏的东西，例如即兴演奏的布鲁斯独奏曲或YouTube上的一首歌，但这些都没有得分。然后想象一下，而不是一遍又一遍地听和自己抄录的作品，计算机将为您做到无与伦比的准确性。

电气与计算机工程助理教授段志尧与博士生Andrea Cogliati一直在与Temperley合作，从歌曲中提取数据，并使用该数据生成自动音乐转录，实际上是将音频输入计算机并允许计算机生成乐谱。

大多数商业程序只能将通过计算机键盘或其他电子设备录制的MIDI(乐器数字接口)演奏转换为音乐符号。MIDI文件不代表音乐声，而是数据文件，它提供信息(例如音符随时间的音高)，该信息告诉电子设备如何产生声音。研究社区开发的最新方法能够将音频演奏转换为MIDI，但是准确度还不足以将MIDI进一步转换为音乐符号。

Duan的程序会录制演奏，并以极高的准确性将其录制下来，从乐器音频到MIDI文件再到音乐符号。在将他的方法与现有软件程序进行比较后，在音乐理论学生评估成绩单准确性的盲测中，“我们的方法在音高符号，节奏符号和音符位置方面明显优于其他现有软件，段说。

Duan的最终目标是提供该软件用于商业用途，它可以帮助用户发现演奏中的错误，搜索具有相似旋律或和弦进行方式的曲目，分析即兴演奏的独奏或将其标记为可重复演奏。

Duan和他的团队预先录制了钢琴的每个音符，以作为计算机的模板-本质上讲，是教给计算机各种音符。每个预先记录的音符都称为原子。计算机代码通过识别表演者演奏的音符并按照正确的顺序将相应的原子放在一起以创建乐谱笔录来重建表演。

段先生使用信号处理和机器学习技术来帮助计算机识别每个音符的音高和持续时间，并将其转换为音乐符号。但是，他的算法有一个陷阱。相同的钢琴音符可以通过多种方式进行注音。例如，键盘上的G和A之间的黑键可以称为G尖角或A平面。为了产生准确的转录并确定音符的正确符号，还必须对计算机进行编程，以识别正确的节奏，调子和拍号。

坦佩利(Temperley)和他在伊士曼学校(Eastman School)的学生就在那里进来。

坦珀利说：“我们正在研究利用音乐知识来帮助转录的想法。” “如果您对音乐有所了解，那么您就会知道可能会发生什么模式;然后您可以进行更准确的转录。”

标签： 音乐的奥秘