Spotify开源Klio 用于AI音频研究的框架

在2020年国际音乐信息社会检索会议上，Spotify开放源代码的Klio生态系统可以让数据科学家轻松，大规模地处理音频文件(或任何二进制文件)。它是为运行Spotify的大型音频智能系统而构建的，并由公司的工程师和音频科学家利用，以帮助开发和部署下一代音频算法。

基于Apache Beam的Klio使组织能够创建媒体处理系统，在生产系统和研究团队之间共享工具和基础架构。该平台的体系结构鼓励可重复使用的作业和共享的输出，表面上降低了维护和重新计算的成本。此外，Klio支持对事件不断增长的媒体内容目录进行连续的，事件驱动的处理，从而为工程师提供了一个框架，以使处理工作产品化，并为组织提供一种在摄取时处理新内容的方法。

Spotify技术副总裁泰森·辛格(Tyson Singer)在接受电话采访时向VentureBeat解释说：“ Klio基本上是人们参与并建立适用于任何类型媒体的更智能数据管道的一种方式。”“它使开发人员和研究人员可以更有效地在媒体中工作。”

根据Singer的说法，Klio起源于Spotify加速转向基于AI的研究。多年来，该公司已开始利用自然语言处理，音频模型和过滤来提供建议和整理播放列表，包括“发现周刊”和“发行雷达”。就在去年12月，Spotify在日本推出了Sing Together，这是一种类似卡拉OK的功能，在歌曲加入目录后的几分钟内，可以利用AI来将人声从乐器音轨中分离出来。(就上下文而言，每天有40,000首歌曲被添加到Spotify数据库中，其中定期处理超过6000万首歌曲。)

Singer说：“我们现有的工具开始面临一些挑战和限制。”“我们非常担心，因为我们从研究人员那里得到了所有这些反馈，他们都不是很高兴。他们的工作效率不高，要想产生想要的影响，花费的时间太长了。”

Klio的工作始于2019年初。Klio的名字叫Clio，它是希腊历史上的缪斯女神。该工具的原型于秋天到来，然后在今年晚些时候，Klio协助将Spotify功能投入生产。现在，Spotify开发人员使用Klio将建立在内部工作之上的管道串在一起，并利用整个音频功能API。

“我们有很多聪明的研究人员，他们在音乐信息检索方面做得非常出色，其中机器实际上是在听歌，而不仅仅是人耳并尝试从中学习，”牵头的工程师之一林恩·鲁特(Lynn Root) Klio项目告诉VentureBeat。“使用Klio，您可以进行更多的音频处理并以不必重复工作的方式对其进行优化。Klio还可以在其他研究的基础上进行开发它为研究人员提供了一种以良好，干净的数据集为基础来构建现有工作的方式。”

与没有数据科学背景的工程师和研究人员相比，Klio主要是为工程师和研究人员设计的-当前，需要50至60行代码才能将核心平台的功能纳入项目。但Root和Singer表示，功能路线图上正在提高可用性。

“一旦集成了Klio，您就可以以非常简单的方式利用某些功能，例如确定歌曲的节拍和可跳舞性因素，” Singer说。“这对人们来说是非常容易获得的-我想说的是，也许不是那些工程师，当然也可以像产品经理那样访问的人。”