资源行业动态只需1分钟,这个网站用AI分离歌曲的人声、伴奏和乐器声

只需1分钟,这个网站用AI分离歌曲的人声、伴奏和乐器声

2020-02-20 | |  44 |   0

原标题: 只需1分钟,这个网站用AI分离歌曲的人声、伴奏和乐器声

来源:CSDN博客      链接:https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/104243262


疫情期间,在家待着闲来无事,一些技术人员就喜欢以技术的方式找点乐子,顺带赚钱最好了。


将歌曲中的人声和乐器声分离是一件让想使用音乐伴奏的人头疼的事情,传统的音乐制作软件使用门槛较高,处理起来不光费时而且效果不一定好。


团子DanGo.ai(https://dango.ai/)——微博网友@无吔学生近期利用AI技术做的这个能分离音频轨道的网站火了。

 1582173764771075.jpg


在音乐分离这一领域,实际上已经有一些免费的AI工具。比如,由法国音乐流媒体服务公司Deezer为研究目的而开发的Spleeter开源工具,只需要提供一个音频文件,然后Spleeter就会将它分成两个、四个或五个独立的音轨,非常有用。


团子DanGo.ai就是基于Spleeter开源工具做的。利用AI技术并通过上千首歌曲数据的训练,用户只需要上传歌曲,等待1分钟,目前就可以提取歌曲中的伴奏、人声、钢琴、贝斯、鼓点等多音轨压缩文件,效果要好于Au或者GoldWave之类的传统音频处理软件。


@无吔学生表示,这是他秃了一个月头的成果。

    1582173786618004.jpg


据网站作者介绍。团子主要由基于MIT协议的开源项目Spleeter制作的,同时在其之上增加了一些功能魔改使效率与音质得到提升。团子基于深度神经网络(DNN)实现的音轨分离所诞生的人工智能,它使用Python/Tensorflow开发。


那么,团子 DanGo.ai 与传统的音乐分离软件有什么不同?


一般而言,传统音乐分离软件所谓的“消音”一般是简单的带阻滤波,用人话说就是把人声所在的频率直接暴力擦除,这就会导致消音后的歌曲变得特别“糊”——表现为鼓点、某些乐器的消失。作者解释,这是因为人声会和某些相同频率的乐器重叠,单纯的抠除这个频率,不光会消除人声,也会消除在这个频率里的乐器。而根据歌曲的不同,人声/和声所在的频率也并非固定,这就导致提取出的伴奏不但效果糟糕,而且仍然带着部分残余的人声。


“当然,也有一些人发现,歌曲中的人声录音一般是单声道的,而歌曲的乐器未必是这样。于是人们也尝试使用左右声道“相减”(如Au中的中置声道提取器)来提取伴奏或人声。但是提取的效果基本仍然很差,因为无法保证乐器不是多声道的,也无法保证人声是否被混音师加了后期处理效果器而变成多声道,所以它并不适合多数歌曲(尤其是现代音乐)。”


1582173828370446.jpg

作者称,团子DanGo.ai 则不用考虑上述让人心智损伤的事情。该软件用了大量的音乐数据进行训练,“我们可以把团子想象成一个大脑——我们让它听了非常多的歌曲用来“训练”它。现在它非常懂得歌曲,理解歌曲中各个乐器的存在,也能谨慎细心的剥离开人声和伴奏,从而最大程度的保留各个音轨的质量。”


目前,用户可用团子 DanGo.ai 网站试听5首分离的多音轨歌曲。当然,如果你想要更多高质量的生成歌曲还需付费,付费歌曲会保留30天的歌曲文件让用户下载。


最后给出作者的制作网站的一个demo视频,可以听出歌曲不同多音轨的效果,你感受下?

————————————————

版权声明:本文为CSDN博主「AI科技大本营」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/104243262

整理 | Just

出品 | AI科技大本营(ID:rgznai100)

THE END

免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。

合作及投稿邮箱:E-mail:editor@tusaishared.com

上一篇:一文告诉你,如何使用Python构建一个“谷歌搜索”系统 | 内附代码

下一篇:语音识别中的标注问题和嵌入式训练

用户评价
全部评价

热门资源

  • 国内人才报告:机...

    近日,BOSS 直聘职业科学实验室 &BOSS 直聘研究院...

  • AI使物联网更智能...

    看到微软对物联网和人工智能的结合感兴趣是一个明...

  • 推荐一批学习自然...

    这里推荐一批学习自然语言处理相关的书籍,当然,...

  • 安防智能化大势下...

    大部分传统安防设备不仅拍摄视野有限,而且无法事...

  • 20亿创业基金、10...

    近日,杭州举办了建设国家新一代人工智能创新发展...