For the complete documentation index, see llms.txt. This page is also available as Markdown.

为声线转换克隆声音

在 ACE Studio 中将你自己的声音克隆为用于声线转换的声线。

什么是声线转换克隆?

这是一个通过上传你的素材来定制专属声线转换歌手的功能。AI 会根据你上传的素材学习音色,并克隆出该歌手的数字版本。

定制完成后,你可以使用你的配置档,从音频中转换声线,就像在 ACE Studio 中使用我们预制的 AI 声线转换歌手一样。

如何克隆我的歌手用于声线转换?

准备你的数据集

干净的干声

高质量的歌手需要干净、干声的歌声素材:

  • 不要带任何混响、延迟或合唱效果

  • 不要有背景噪音

  • 不要有人声伴奏或任何非人声音效

  • 不要有任何和声或叠声

建议每个歌手准备 30-100 分钟的歌唱歌声素材。你提供的素材越多,AI 能学习到的歌唱细节就越多,但当时长超过 120 分钟后,收益会变得有限。

房间反射

带有明显房间反射的歌声,可能会导致识别错误,并让模型表现出现偏差。

来自音轨分离的歌声

当你使用人声去除器或音轨分离处理歌声时,输出质量可能会损失到不适合训练的程度。若想获得更高质量的歌手模型,建议可选使用来自音轨分离的歌声。

录音素材

搭配音频接口的高品质麦克风

专业麦克风搭配音频接口,可以录到高质量的歌声。你还需要录音软件来连接接口,并对歌声进行录制、编辑和混音。

在录制歌手模型时,请避免使用并非为演唱而设计的麦克风:

  • 手机或笔记本麦克风

  • 领夹麦克风或耳机麦克风

  • 卡拉 OK 麦克风

  • 耳机麦克风或蓝牙耳机,例如 AirPods(这些通常用于通话)

录音环境

  1. 不需要的背景噪音可能包括人声交谈、电流嗡鸣和杂音、交通和室外噪音,以及配件或物体移动的声音。为了防止这些噪音干扰录音,选择一个安静的地点非常重要。请尽量选择能够将意外噪音干扰降到最低,甚至完全消除的地方。

  2. 由于硬质平面表面的存在,声音反射可能会产生,从而在录音中形成混响或回声。这会让你的轨道听起来空洞或距离感过强,削弱所需的亲密感和清晰度。

  3. 你可以在房间里用力拍手,仔细聆听。如果听到颤动声或拖尾回声,说明存在混响问题。

  4. 为了解决这个问题,可以加入能够吸收声音的柔和材料。可以考虑使用地毯、地垫或厚窗帘来显著减少反射。铺盖硬质地面,并在可能的情况下在窗户上挂上窗帘,同时在房间里放置带布艺包覆的家具,都会有所帮助。

  5. 避免使用硬质表面,因为它们会加重这个问题。如果你负担不起专业吸音板,也可以利用画布装饰画、挂毯或泡沫板等日常物品来打散这些表面。

  6. 在设置麦克风时,请留意其摆放位置。避免把它放得离墙面或角落太近。相反,应尽量放在房间中央,或尝试不同位置,找到混响最少的最佳点。

耳机串音

在录音时,尤其是录制歌声时,耳机中的音频串入麦克风是很常见的。这个问题通常出现在耳机音量过高,或者使用开放式耳机时。录歌时这或许可以接受,但在录制你的歌手模型时,请尽量避免这种串音。

麦克风摆位

在正常音量下,建议你距离麦克风大约 2 英寸。若是更响亮的乐句,或需要强声演唱时,建议将距离增至约 4-6 英寸。需要注意的是,为了保持最佳收音效果,你应始终保持在距离麦克风 12 英寸以内。

为强声演唱留出空间

进行强声演唱技巧时,必须在麦克风距离和所在房间大小上给自己留出足够空间。过度隔音,例如被限制在衣柜或录音亭中,或者用泡棉把麦克风四周包起来,都很容易导致麦克风振膜过载。如果你不确定,建议在演唱强声乐句时加入更多房间声。

演唱语言

对于声线转换歌手,你不需要把所有素材都保留在同一种语言里。

演唱或语音

对于声线转换歌手,语音素材和歌唱素材之间没有太大区别。但对于歌唱型声线转换歌手,使用歌唱素材进行训练更合适。

文件质量设置

你的素材音频质量会直接影响歌手的质量。

我们建议将音频质量设置为:

  • 位深 = 16 位

  • 采样率 = 44.1 kHz 或 48 kHz

  • 无损格式(.wav 或 .flac)

后期处理

为了保持目标歌手的自然特征和清晰度:

  • 不要重叠: 多层歌声会让 AI 的分析复杂化。请将重叠的录音段放在后面,并保持单一歌声轨道,以确保 AI 能准确处理并从你的素材中学习。

  • 不要硬切: 硬切会造成突兀的开头或结束,这在自然演唱中并不常见,还可能带来咔哒声或爆音。请在人声片段的开头和结束使用平滑淡入淡出,以获得更自然的过渡。

  • 不要重复段落: 重复段落对训练没有帮助。你的歌手模型更能从演唱的自然变化中受益。

  • 控制音量: 确保你的素材音量大致保持在表头的 30-50%。使用音量推子或自动化来保证整个数据集的音量水平一致。目标是在保持段落内动态变化的同时,让整段录音的音量保持统一。

训练你的歌手

准备好数据集后,你可以前往 自定义歌手页面 选择一个自定义槽位,上传你的素材,并开始训练。

一个自定义槽位只能定制一个声线转换歌手。

点击一个槽位即可开始上传你的素材。

所有素材上传完成后,训练会自动开始。你可以通过刷新网页查看其状态。

当页面跳回槽位列表并出现新的已训练歌手时,就说明一切就绪了。

点击‘Open in ACE’即可打开 ACE Studio 并使用你新训练的歌手。

重新训练你的歌手

点击 重新训练 按钮可重新训练你的歌手。

重新训练会移除该槽位中之前的歌手。AI 将使用新的数据集从零开始训练一个全新的歌手。在开始重新训练之前,你可以选择保留该槽位中的历史素材并继续上传新的素材,也可以清空历史素材,仅使用新上传的素材。

准备新素材时,请注意:

  • 如果新添加的素材时长明显少于已上传素材,例如在 30 分钟的数据集中只增加 1 分钟的新素材,那么重新训练可能不会带来显著变化。

  • 重新训练不会改变槽位类型。

我什么时候应该重新训练我的歌手?

  • 当你的数据集比之前拥有更高质量或更多数量时,你可以利用它们迭代优化你的歌手模型

  • 当你对当前结果不满意,并想调整数据集时

管理你的歌手

点击 管理 按钮可打开自定义声线转换歌手的管理窗口。在该窗口中,你可以修改:

  • 歌手头像

  • 歌手名称

  • 标签

  • 歌手类型

  • 语言标签(仅适用于该歌手类型)

完成修改后,你可以点击 Open in ACE 按钮来刷新 ACE Studio 的歌手列表。

最后更新于