国语视界

 找回密码
 立即注册
查看: 2850|回复: 26

[音频技术] 免费分享自己指导AI做的一款音频混音软件

[复制链接]

36

主题

5271

帖子

1734

积分

营长

大洋
6587
阅读权限
50
发表于 26-7-19 22:54 | 显示全部楼层 |阅读模式
本帖最后由 imagine 于 26-9-3 18:13 编辑

        用这个软件你能做什么?主要是加速音频的处理,整个软件主要核心是识别出音轨中的人声对白部分时间,然后分隔开对白和背景音部分。
有了对白部分你可以让他静音,只处理没对白的背景音而无需在AU上查找波形,你可以对背景音使用各种滤镜,AI提供了ffmpeg几乎所有的滤镜链,你都可以用。当然怎么用是要看你对音频处理的知识的。处理完可以提取出音轨用做混音。而相反你也可以让背景静音,而只处理对白部分,滤镜以外还提供噪声门限只对人的声音敏感可以从噪音总过滤出人声,可以用降噪的滤镜对对白经行降噪。总体就是这样 他主要是对识别出的人声区和非人声区做处理,对于混音可以加速流程。一般适合用来处理用声音模型已经分离出背景音和人声音轨的分离后音轨,多数是处理人声音轨,让他更合适快速处理。把人声音轨处理后得到的背景音还原到分离出的背景音轨是现在的常规操作。  另外额外赠送小插件 工具 支持把5.1音轨混缩到7.1音轨,无中生有,作为一个小插件可以玩玩。
      
       主界面打开有个测试人声质量的功能在显眼位置,你可以截取片段试听,这个功能可能速度略慢,而且下面滚动条也不太好用,一般点击要听位置波形图来使用。试听得到的数值是用来加强人声区识别的,得到的参数会直接进入最后音轨的批处理流程中。大概就这些功能,如果遇到问题可以反馈,我会尽力找AI解决。安装过程可能费点劲因为要装依赖,一般你可以从readme.txt中找到答案,里边都是AI给我的指点。抱歉我没好好整理!总之有些小问题,你请教下任何AI应该都能解决安装的过程。

       我发现个小问题,关于插件的因为配置的文件地址是我的地址所以会导致找不到。你可以找到软件根目录下的modules文件夹,点击进去然后用右键点击gui_reaper_upmix.py,打开方式选记事本,然后你可以定位到下面代码地址,把template.RPP模板修改未为你自己的地址。软件模块里的参数其实都可以这样修改,python脚本语言的好处就是随时随地都能修改。另外还要提醒下输出设置面板启用响度标准化会导致重新采样,会把48000的采样上升到192000好像是windows的默认值。所以这个我后来也不怎么用,下面的启用峰值限幅的开关被界面重叠了我单独把修复的gui_output_panel.py模块加入附件发上来你覆盖就可以了。

        7.21自己制作7.1音轨遇到个插件启动BUG已经让AI修复,现在运行完美。修复代码上传到了附件 解压替换相应模块即可!新增一个参数用来对冲插件启动后十多秒没有输出的预热问题,因为这个值可能受到插件处理的精度设置不同而不同所以,当开头音乐有缺失时可以尝试调高参数,目前的17能满足默认的精度

        7.23今天遇到一个很大的BUG 之前我让AI增添对人声区的处理,结果导致了老的非人声背景音处理功能缺失了,我也大意了当时只测了新增的功能,结果没想到今天用老的功能直接翻车。然后就陪着AI改了一晚上,就因为AI 用一个判断 人声区 和 非人声区里面是否有人声两个字,结果就是把非人声的处理分支给直接漏掉了。我如果没后来看到这句自己不知道要等AI多久才能发现。也许是AI当中文成单词来判断吧,如果要耍我我也没辙!总之现在改好了,我把附件放在下面你们覆盖就可以了。软件的逻辑很简单处理人声区 非人声区就会静音,反之亦然
   
        7.24 发现工作进度条不精准有时会后退所以叫AI修复了下,另外之前因为增加了人声和非人声区的两种处理导致提供检验音轨功能丢失现在修复,只在勾选混合背景音时提供混合前的音轨用来做精细操作和比对。

        8.17 更新了下音轨滤镜功能增添了一些处理人声的滤镜用在批处理环节,另外对之前的上混插件有修改,因为自己购买了https://www.waves.com/bundles/dt ... lection#tab-reviews 这个插件,当时看在打折就没多考虑购买了。但是我知道waves的插件 经常有大的破解版集合,我没搜索过是否有这个。如果你安装了这个插件那么现在的代码就完全支持,软件调用插件来上混的功能。当然老的Earys-Spatial-Expander.vst3这个开源的插件我依然在关注 但是效果不好,暂时可能代码没同时适配他了。有可能依然可以使用我暂时没试过。   这几天折腾人声音轨修复软件,知道了打包技术,但是我昨天一整天都没把打包搞定,但是今天发现可以把这个软件打包成 exe 所以我今天重发布了简易使用版本,可以完全替换之前的版本了!一键启动,首次使用先点击 模型部署.bat     但有几个注意点:

        目前上混插件的程序内部编码了我的使用插件模板地址,估计现在只识别我的地址如果你要使用需要建立个文件夹路径
        C:\Users\imagine\Downloads\python_audio_remix\template.RPP    然后把template.RPP文件放在这个完全按路径名称一致的python_audio_remix文件夹里
        抱歉这里我之前没注意,下次更新会修正把路径设置到软件根目录应该就没问题了。不过这个上混插件现在也没找到免费所以不是作为主要功能分享

        Maxine去回声功能确实是最近添加的,但是这个模型需要自己编译示例程序然后添加系统环境变量。我也是自己测试用,但是添加入了程序中,这次打包没想到这个
        目前使用仅适配‌Ampere 架构的 卡 也就是30系列游戏卡 和 A2000 4000等专业卡,因为自己当初写死了架构,这个我会再下次更新后解决可以选择更多的GPU架构
        因为要设置环境变量所以感觉也不是很容易全自动分发,毕竟不像安装软件那样有固定的安装地址。所以你如果需要尝试,可以这么做!把下面我提供的模型套件解压到你的目录
        然后需要添加用户环境变量 AFX_SDK_ROOT 变量值是你放置2026-03-11_NVIDIA_AFX_SDK_Win_v2.1.0.9 的这个文件夹在你电脑上的地址。然后你可以尝试下虽然说我当初是申请了试用密匙来下载模型的,但是使用模型估计没受到密匙影响。所以你如果设置了变量,按理就可以正常调用这个功能了。这个模型我已经把示例程序编译好了,所以直接就能使用。



        

          26.8.24  更新了软件的去回声功能,现在适配了30到50系的各个型号显卡。另外发现之前的打包软件有问题,看起来打包对我来说还是太难了,深度学习环境(PyTorch + Pyannote)打包本来就极其脆弱。所以重回到源码启动软件 ,同样我做了一键启动的bat,之前如果点击过部署模型的小伙伴,就可以不用点击部署模型bat这步,然后直接点击一键安装启动软件。

          8.29  正式发布1.0版本 ,更新了一下界面,现在播放器的卡顿因为采用了QT播放件而修复了。可以说目前软件已经完美,顺便把一些控制件逻辑稍作修改,现在关闭了人声区处理 混合背景音开关,因为这个功能本来就是残缺的。 今天下午我换了台电脑在5090显卡系统上运行发现了问题,用在线安装脚本没成功启动显卡,所以现在50系显卡可能核心功能不能用。我等修改好后再更新,30 40系应该没问题,如果你的在线脚本安装后无法使用,可以修复程序修复显卡依赖,第一次处理音频必须用VPN连接外网下载模型,否则处理会出错

          8.30 修复了核心的联网安装依赖问题 现在可以安全运行了,包括50系显卡也已经修复支持,50系显卡安装启动选单独50x后缀

          8.31 专门对50系显卡的安装做了优化,之前安装有自动升级到高版本的隐患导致程序无法工作,现在加入修复程序bat 和 修改后包含了几个大依赖的安装包,安装更加快捷稳定



软件我放在下面了欢迎你测试使用

通过网盘分享的文件:audio_remix_1.01.rar
链接: https://pan.baidu.com/s/1nas4q4fK50x4RAwnU9djdw?pwd=3by3 提取码: 3by3
--来自百度网盘超级会员v4的分享


NVIDIA_AFX_SDK_Win_v2.1.0.9模型(包含去回声 RTX30显卡模型包含)
通过网盘分享的文件:2026-03-11_NVIDIA_AFX_SDK_Win_v2.1.0.9.rar
链接: https://pan.baidu.com/s/1CVYLLaYaywuzK5xEH2dN9w?pwd=92ft 提取码: 92ft

RTX40显卡模型 (需要先下载上面的模型,然后替换里边的features文件夹里的模型文件夹,建议删除老的文件夹再拷贝进去)
通过网盘分享的文件:features40x.rar
链接: https://pan.baidu.com/s/19x9hEt4D-ZVwUk__a8lQIw?pwd=dk52 提取码: dk52

RTX50显卡模型 (需要先下载上面的模型,然后替换里边的features文件夹里的模型文件夹,建议删除老的文件夹再拷贝进去)
通过网盘分享的文件:features50x.rar
链接: https://pan.baidu.com/s/1pjkLNM2jaR5-JiCRmkZjTw?pwd=vg6x 提取码: vg6x

RTX20显卡模型 (需要先下载上面的模型,然后替换里边的features文件夹里的模型文件夹,建议删除老的文件夹再拷贝进去)
通过网盘分享的文件:features20x.rar
链接: https://pan.baidu.com/s/1q0goLMaKub0RTua3xP1BsQ?pwd=n42g 提取码: n42g

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

点评

分享过期了  发表于 26-8-17 07:15

评分

参与人数 1威望 +30 大洋 +500 收起 理由
cnlang + 30 + 500 很给力!

查看全部评分

6

主题

8664

帖子

915

积分

连长

大洋
1056
阅读权限
40
发表于 26-7-19 23:07 | 显示全部楼层
谢谢撸主
回复

使用道具 举报

8

主题

2690

帖子

392

积分

排长

大洋
549
阅读权限
30
发表于 26-7-20 00:19 | 显示全部楼层
这个是不是人声与背景声分离呀。
回复 支持 反对

使用道具 举报

76

主题

3557

帖子

2031

积分

工作组

大洋
98995
阅读权限
135
发表于 26-7-20 01:08 | 显示全部楼层
本帖最后由 lihang1977 于 26-7-20 01:10 编辑

谢谢 小老虎    哈哈  和我 差不多  以前还学过 vbs  VB 之类的 代码
回复 支持 反对

使用道具 举报

0

主题

5081

帖子

810

积分

连长

大洋
1504
阅读权限
40
发表于 26-7-20 07:12 | 显示全部楼层
感谢楼主分享!
回复 支持 反对

使用道具 举报

51

主题

6493

帖子

2647

积分

营长

大洋
525
阅读权限
50
发表于 26-7-20 07:37 | 显示全部楼层
技术大神
回复

使用道具 举报

0

主题

2984

帖子

3721

积分

团长

大洋
1969
阅读权限
60
发表于 26-7-20 07:54 | 显示全部楼层
感谢分享
回复

使用道具 举报

102

主题

6391

帖子

7611

积分

工作组

大洋
77571
阅读权限
135

美女

发表于 26-7-20 07:57 | 显示全部楼层
看看是什么工具
回复 支持 反对

使用道具 举报

74

主题

5078

帖子

3976

积分

团长

大洋
133600
阅读权限
60

热心会员

QQ
发表于 26-7-20 07:59 | 显示全部楼层
现在的AI技术,确实是很牛的工具,支持一下!
回复 支持 反对

使用道具 举报

257

主题

3555

帖子

4118

积分

工作组

大洋
206197
阅读权限
135
发表于 26-7-20 08:26 | 显示全部楼层
这个标题用的可以,指导AI生产
学习学习再学习
回复 支持 反对

使用道具 举报

1

主题

1148

帖子

413

积分

排长

大洋
228
阅读权限
30
发表于 26-7-20 09:05 | 显示全部楼层
感谢分享 学习学习
回复 支持 反对

使用道具 举报

36

主题

5271

帖子

1734

积分

营长

大洋
6587
阅读权限
50
 楼主| 发表于 26-7-20 09:21 | 显示全部楼层
hong 发表于 26-7-20 00:19
这个是不是人声与背景声分离呀。

准确说不是,这个是分割开,分离背景声论坛里有发布的专门分离软件的
回复 支持 反对

使用道具 举报

34

主题

5922

帖子

1394

积分

营长

大洋
41265
阅读权限
50

灌水之王

发表于 26-7-20 11:03 | 显示全部楼层
以后要学习学习 可以给欧美日本动作片配音了
回复 支持 反对

使用道具 举报

36

主题

3141

帖子

1783

积分

营长

大洋
11818
阅读权限
50
发表于 26-7-20 12:28 | 显示全部楼层
以后的趋势化了
回复 支持 反对

使用道具 举报

69

主题

2016

帖子

7001

积分

旅长

大洋
1173
阅读权限
70
发表于 26-7-20 14:31 | 显示全部楼层
太NB了,感谢分享,AI也够强大
字幕小白,刚开始学做字幕,还请多多包涵
回复 支持 反对

使用道具 举报

4

主题

158

帖子

324

积分

排长

大洋
807
阅读权限
30
发表于 26-7-22 02:08 | 显示全部楼层
谢谢楼主分享;下载来试一试
回复 支持 反对

使用道具 举报

3

主题

1429

帖子

180

积分

班长

大洋
27206
阅读权限
20
发表于 26-7-24 21:21 | 显示全部楼层
这也太厉害啦!技术大神啊
回复 支持 反对

使用道具 举报

5

主题

2130

帖子

281

积分

排长

大洋
5965
阅读权限
30
发表于 26-7-29 20:56 | 显示全部楼层
谢谢分享  
回复 支持 反对

使用道具 举报

437

主题

6580

帖子

7655

积分

工作组

大洋
523244
阅读权限
135

帅哥富甲天下灌水之王

发表于 26-7-31 11:07 | 显示全部楼层
感谢分享 看看怎么样
回复 支持 反对

使用道具 举报

19

主题

3391

帖子

3258

积分

团长

大洋
147446
阅读权限
60
发表于 26-7-31 18:22 | 显示全部楼层
看看教程,学习一下
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表