Audio Decomposition是音频处理技术,基于傅里叶变换和信封匹配将音乐中的各个音符和乐器分离,实现音乐到乐谱的转换。Audio Decomposition开源项目是Matthew Bird推出的,无需外部乐器分离库,自动识别和分离音乐中的不同乐器声音,帮助用户更好地理解和重现乐谱。
Audio Decomposition的主要功能音频源分离:将混合音乐中的不同乐器声音分离出来。音乐转乐谱:将音乐文件转换成乐谱,帮助用户识别音高和和弦。音频分析:分析音乐中的音符和乐器,提供音乐结构的深入理解。开源工具:作为开源项目,支持用户自由使用和修改代码,适应不同的需求。Audio Decomposition的技术原理傅里叶变换:程序每0.1秒对音乐文件进行一次傅里叶变换,生成频谱图。将每种乐器的傅里叶变换相加,重新创建音乐的频谱。包络分析:将声波分成几块并取每块的最大值获取包络。进一步优化结果,找到包络低于原始声波的点,添加新点定义包络。信封的分解:将波的包络分解为起音(攻击)、延音(持续)和释音(释放)。波形分类:考虑乐器的静态衰减和动态变化,及是否有释音。带通滤波:对每个音符频率的信号进行带通滤波,分离特定乐器的声音。互相关和均方误差(MSE):用乐器的起音和释放的互相关找到每个音符的开始和结束。计算乐器波和滤波后的音频的MSE,获得乐器的成本。Audio Decomposition的项目地址项目官网:matthew-bird.com/blogs/Audio-DecompositionGitHub仓库:https://github.com/mbird1258/Audio-DecompositionAudio Decomposition的应用场景音乐教育:分离不同乐器的声音,帮助学生更直观地理解音乐作品中的和声与配器。音乐制作:支持制作人从复杂的音乐中提取单独的音轨,用在混音或创作新的音乐元素。乐谱转录:自动将音频记录转换为乐谱,节省人工转录的时间和成本,尤其适用于古典音乐作品。音乐分析:深入分析音乐作品的构成,为音乐理论家和作曲家提供研究工具。音频编辑:在电影和视频制作中,帮助编辑精确地处理和调整音频元素,如对话、音乐和音效。
上一篇