听录_语音转字幕_重混国语音轨，纯人声分离工具之一Spleeter详细教程

yaojingzhe · 发表于 21-4-16 12:19

本帖最后由 yaojingzhe 于 21-4-29 17:27 编辑

菜鸟教菜鸟之
适合听录、语音转字幕、重混国语高质量音轨，纯人声分离技术之Spleeter(基于Python3)

我在语音转字幕，发现字幕正确率只有60%左右。现在用纯人声进行语音转字幕，正确率达到90%，时间轴也在语音附件。

我发布这贴子和已经发布的

SubtitleEdit 3.6 把SUP转SRT 及百度翻译插件等实用插件
https://cnlang.org/thread-84159-1-1.html
Aegisub安装Aegisub-motion v1.0.9等84个自动化脚本教程
https://cnlang.org/thread-84318-1-1.html
语音转字幕教程之基于python3开源代码autosub3详细教程
https://cnlang.org/thread-84774-1-1.html
语音转字幕之用vidio-srt调用阿里云免费语音识别详细教程
https://cnlang.org/thread-84580-1-1.html
语音转字幕之用autosub-alpha调用百度云免费语音识别详细教程
https://cnlang.org/thread-84853-1-1.html

实测对国配音轨转字幕非常有帮助

因为语音转字幕，需要用这贴子的方法：
一、提取纯的人声
二、语音转字幕(正在编辑教程)
三、用SubtitleEdit 3.6.0听录校对文字和调整时间轴
四、用Aegisub的Aegisub-motion v1.0.9 制作特效字幕。

分离人声，也可以重混高质量国语音轨
把质量低的或者2.0的国语纯人声提取出来，把英语ac3或dts的c音轨背景声音也提取出来，混合成新的c音轨，封装到英语ac3或dts里

基础篇：安装和配置Python ffmpeg
（熟练的人，请跳过）

1. python下载和安装

下载python3.8.8，官网地址https://www.python.org/getit/

python-3.8.8-amd64.exe安装，我喜欢把python安装在c:\python\python388里

一路“next”完成安装。

检查python安装和环境变量配置情况：
按win+r 输入cmd，进入dos界面（以下简称为“CMD”），输入python --version，显示python版本。

2. 下载和配置ffmpeg

下载ffmpeg，地址： www.gyan.dev

解压“ffmpeg-git-full.7z”
把解压的文件夹，复制到你习惯保存的位置，我是放在c:\python文件夹里
把包含3个文件的c:\python\ffmpeg\bin复制

打开环境变量，把刚才复制的c:\python\\ffmpeg\bin添加到环境变量里，确认保存。

CMD命令行中输入“ffmpeg –version”，配置成功如下图

3. 微软常用运行库集合

主题篇，人声与背景音乐分离技术之Spleeter
这是基于Python3.7及以上但不支持Python3.9x（截止2021年4月1日）

游客，如果您要查看本帖隐藏内容请回复

q280755707 · 发表于 21-4-16 16:02

技术大佬，感谢分享！

yaojingzhe · 发表于 21-4-16 12:19

本帖最后由 yaojingzhe 于 21-4-16 13:31 编辑

断断续续编写了有一个月，反复测试

尤其到后来，字数不能超过10000字，又反复调整和精简。

人声分离，对听录和国语音轨转字幕，非常有帮助。

对与重混国语音轨，我没有测试过，这是思路，效果如何，要试试才知道，分离出来的人声还是相当干净的

把国语纯人声（缺少背景音），与英语AC3的c声道的背景声音（剔除英语人声）混合成新的c声道，再与英语ac3的其它声道，重混成ac3。但需要把英语与国语的音轨时间精确对齐。

再次说明，发布这教程，主要是为了听录和国语转字幕。欢迎探讨！

Tangwenx · 发表于 21-4-16 12:26

谢谢大神，有人写过Spleeter Gui，一键安装，不用配置这么多，不过一般是用来分离歌曲人声的，用来分离1-2小时的电影的话估计很耗时间

jinjian5530 · 发表于 21-4-16 12:30

听说过人声与背景音乐分离，实在不敢相信影视的对白或背景音乐能够无损提取？背景音和人声混杂一起的软件可以处理好？感觉处理歌曲类的可能尚可，或者有使用过的大神谈谈效果。
还是感谢楼主分享。

觅影君 · 发表于 21-4-16 12:40

这么好的教程，必须赞一个，分离人声确实能应用到的场景非常多。

whzlwd · 发表于 21-4-16 12:55

电影人声的背景声比较复杂，无损分离很难，并且国语音轨中也不能缺少背景声。就算能无损分离出人声，没有电影原声背景声素材也无法合成国语音轨。所以无论怎么搞，都是坑啊。如果楼主能够搞成功的话，那就解决了一个大问题了。

yaojingzhe · 发表于 21-4-16 13:02

whzlwd 发表于 21-4-16 12:55
电影人声的背景声比较复杂，无损分离很难，并且国语音轨中也不能缺少背景声。就算能无损分离出人声，没有电 ...

我的思路是，把国语纯人声（缺少背景音），与英语AC3的c声道的背景声音（剔除英语人声）混合成新的c声道，再与英语ac3的其它声道，重混成ac3。但需要把英语与国语的音轨时间精确对齐

whzlwd · 发表于 21-4-16 13:20

思路是没问题的。难点就在无损的分离复杂的电影背景声。因为没有试过楼主的方法，只是感觉建立无损分离电影背景声的模型库和算法非常难，如果达不到无损标准，那就意义不大。

千石 · 发表于 21-4-16 13:20

严重关注此贴

whzlwd · 发表于 21-4-16 13:22

当然，如果这个东西能搞成，那就非常令人期盼了。

习学爱 · 发表于 21-4-16 13:27

英语与国语的音轨配音时间有些不能对齐，主要是指说话人不在画面内，或者旁白时的对入点不一样，这点调试过音轨的人都清楚的，呵呵！

fengwhen · 发表于 21-4-16 14:54

感谢大佬提供这么使用的教程。谢谢楼主

觅影君 · 发表于 21-4-16 15:20

请问一下，如果不安装Python3.7会有什么影响，是安装不了spleeter，或是可以安装spleeter，但是功能受限或者提取音轨时有问题？还是运行时有其他的缺陷呢？谢谢

JMDZ · 发表于 21-4-16 15:26

看看教程

yaojingzhe · 发表于 21-4-16 15:40

搜影发表于 21-4-16 15:20
请问一下，如果不安装Python3.7会有什么影响，是安装不了spleeter，或是可以安装spleeter，但是功能受限或 ...

没有影响，我是用python3.8.8安装slpeeter的。如果你安装spleeterGUI，你不用考虑python，它自带了python（功能不全，是嵌入式的版本，不是独立版本）

觅影君 · 发表于 21-4-16 15:47

本帖最后由搜影于 21-4-16 15:54 编辑

yaojingzhe 发表于 21-4-16 15:40
没有影响，我是用python3.8.8安装slpeeter的。如果你安装spleeterGUI，你不用考虑python，它自带了python ...

感谢解答，多谢。我只安装了spleeterGUI，试着分离了一个电影片段，人声效果提取的很好，但是背景音乐不理想，这个是软件的自身问题，还是因为没有安装python导致的功能缺陷？

叫什么好呢 · 发表于 21-4-16 15:50

我正好在做一个背景杂音很大的字幕,感谢楼主

低调做人 · 发表于 21-4-16 15:55

教程非常好，谢谢分享

yunhuiwu · 发表于 21-4-16 16:01

这个教程非常实用，谢谢楼主分享

ronlandzuo · 发表于 21-4-16 16:18

简直就是听打福星啊

ronlandzuo · 发表于 21-4-16 16:23

whzlwd 发表于 21-4-16 13:20
思路是没问题的。难点就在无损的分离复杂的电影背景声。因为没有试过楼主的方法，只是感觉建立无损分离电影 ...

个人觉得您有点太执着，楼主说了这是用来听打和声轨转字幕的，主要作用并不是用来重混声轨，所以有损无损没有比较纠结

yaojingzhe · 发表于 21-4-16 16:32

你们试试提取出来的人声音效果，我测试了几次，把一段音轨分离，单独听了听人声和背景声音，再用Audition混合在回去，与原来的音轨对比，效果一样，说明分离没有损失。

gzwowwwow · 发表于 21-4-16 16:46

抱着学习的心态认真阅读中，谢谢大佬分享

郁闷的傻瓜 · 发表于 21-4-16 16:47

高手，让人膜拜

ccfys888 · 发表于 21-4-16 17:36

专业级别的就是不一样啊

合金弹头2016 · 发表于 21-4-16 17:58

楼主真是非常用心了！真的能够实际应用的话那以后做字幕可就轻松多了！！！

yaojingzhe · 发表于 21-4-16 18:19

合金弹头2016 发表于 21-4-16 17:58
楼主真是非常用心了！真的能够实际应用的话那以后做字幕可就轻松多了！！！ ...

我一直在用语音转字幕，从来没有听录打字，听一句打一排字，工作量太大。为了提高语音转字幕的正确率，才找到人声分离软件。

ggggongbing · 发表于 21-4-16 18:21

又来了，太讲究了，必须支持个，谢谢分享。

chinagear · 发表于 21-4-16 18:38

术业有专攻，厉害啊。

zsh月夜苍狼 · 发表于 21-4-16 18:41

看看，感谢楼主分享

anrfyfy · 发表于 21-4-16 18:53

谢谢大神，正好需要这种教程

zjjncu · 发表于 21-4-16 19:06

高端技术贴

cyh198731 · 发表于 21-4-16 19:19

厉害了楼主的教程，感谢分享

cyh198731 · 发表于 21-4-16 19:25

yaojingzhe 发表于 21-4-16 12:19
断断续续编写了有一个月，反复测试

尤其到后来，字数不能超过10000字，又反复调整和精简。

兄弟为啥没有语音转字幕的教程

lkc123 · 发表于 21-4-16 20:11

教程不错适合很多场景不单单是听录

threebody · 发表于 21-4-16 20:28

感谢分享，教程非常实用

lujun1996 · 发表于 21-4-16 21:07

这么好的技术帖，必须要支持

yaojingzhe · 发表于 21-4-16 22:09

cyh198731 发表于 21-4-16 19:19
厉害了楼主的教程，感谢分享

会发布的，正在编辑，另外，语音转字幕中有些问题，还在解决，在github上与作者沟通，尽快在5月初发布，希望以后有人就不用听一句打字一句，只需要校正一些同音的文字错误，调整时间轴。

gumfifa · 发表于 21-4-16 22:48

辛苦，是这个吧https://github.com/deezer/spleeter

sky9213 · 发表于 21-4-16 22:52

我最想有个英语音轨转中文字幕、有了这个就无需找字幕了、也不用打轴了

x496838015 · 发表于 21-4-16 22:59

感谢大神分享技术

yaojingzhe · 发表于 21-4-16 23:01

sky9213 发表于 21-4-16 22:52
我最想有个英语音轨转中文字幕、有了这个就无需找字幕了、也不用打轴了 ...

有，实际执行顺序是，英语音轨转英语字幕，在同步翻译成中文字幕，你收到的是中文字幕。但更复杂，我主要精力是研究音轨(中文、英文、日文、韩文等都可以)转字幕，转出来的字幕是对应原音轨的语言，你可以再用我发布的SubtitleEdit 3.6.0带翻译脚本的软件，再把外文翻译成中文。

Hebuz · 发表于 21-4-16 23:03

关注后续教程，这个技术大大加快国语制作速度，音轨技术也能有所突破了！

sologouki · 发表于 21-4-16 23:06

厉害了我的神!最近太多适合新手的教程了，有爱

x496838015 · 发表于 21-4-16 23:11

楼主，标准模型和高质量模型哪个效果比较好？

iamxqy · 发表于 21-4-16 23:14

厉害了，来看看

yaojingzhe · 发表于 21-4-16 23:33

x496838015 发表于 21-4-16 23:11
楼主，标准模型和高质量模型哪个效果比较好？

肯定是高质量模型更好，但我的耳朵没有听出差别，可能遇到更复杂的音乐时有区别，只是我没有遇到这样的音乐

hong · 发表于 21-4-16 23:52

这个教程很不错，对重混国语音轨非常有用。

gyqhd · 发表于 21-4-17 00:06

这个要支持，不知道准确度如何

		自动登录	找回密码
密码			立即注册

[音频技术] 听录_语音转字幕_重混国语音轨，纯人声分离工具之一Spleeter详细教程

评分

点评

点评

王者至尊

富甲天下

宣传达人

最佳新人

优秀版主

突出贡献

版主

音轨组

热心会员

皇马褂

灌水之王

论坛元老

悍匪之王

美女

帅哥