> For the complete documentation index, see [llms.txt](https://docs.acestudio.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.acestudio.ai/docs/product-wiki-zh/sheng-yin-ke-long/cloning-a-voice-for-vocal-synth.md). # 用于歌声合成的声音克隆 ## 什么是歌声合成克隆？ 这是一个通过上传你的歌声素材来定制专属歌声合成模型的功能。AI 会根据你上传的素材学习音色和演唱风格，并克隆出你专属歌手的数字版本。 完成定制后，你就可以像在 ACE Studio 中使用我们预制的 AI 声线一样，用你的歌手通过 MIDI 和歌词生成歌声。 {% hint style="success" %} 你克隆出的 AI 歌手仅在你的账户下私有，未经你的授权，其他人无法访问。 {% endhint %} ## 如何为歌声合成克隆我的歌手？ ### 准备你的数据集
干净的干声 高质量的声线需要干净、干燥的歌声素材： * 不含任何混响、延迟、合唱效果 * 不含背景噪声 * 不含伴奏或任何非人声 * 不含任何和声或叠唱 建议为一个歌手准备 30-100 分钟的歌声素材。你提供的素材越多，AI 能学习到的演唱细节就越多，但当时长超过 120 分钟后，收益会越来越小。 > 房间反射 > > 在大空间反射环境中录制的歌声，可能会导致识别错误，并使模型表现不如预期。 > 来自音轨分离的歌声 > > 当你使用人声消除器或音轨分离处理歌声时，输出质量可能会受损，低到不足以用于训练。若想获得更高质量的歌手模型，请尽量使用来自音轨分离的歌声。
录制素材 **搭配音频接口的高质量麦克风** 专业麦克风搭配音频接口能够带来高质量的歌声。你需要录音软件来连接接口，录制、编辑并混音你的歌声。 录制歌手模型时，请避免使用并非为演唱而设计的麦克风： * 手机或笔记本电脑麦克风 * 领夹麦克风或头戴式麦克风 * 卡拉 OK 麦克风 * 耳机麦克风或蓝牙耳机，如 AirPods（这些通常用于通话） **录音环境** 1. 不需要的背景噪声包括人们说话声、电流嗡鸣和嘶嘶声、交通与户外噪声，以及配件或物体移动的声音。为了防止这些噪声干扰录音，选择一个安静的地点非常重要。请选一个可以尽量减少或消除意外噪声干扰的地方。 2. 由于硬质、平整表面的存在，声音反射可能会出现，从而在录音中产生混响或回声。这会让你的轨道听起来空洞、遥远，削弱所需的亲密感与清晰度。 3. 试着在房间里用力拍手，并仔细聆听。如果你听到颤动声或拖长的回声，就说明存在混响问题。 4. 为了解决这个问题，请加入能够吸音的柔软材料。可以考虑使用地毯、地垫或厚窗帘来显著减少反射。覆盖硬质地板，如有可能，在窗户上挂上窗帘，并在房间里摆放带布艺包覆的家具，也会有所帮助。 5. 避免使用硬质表面，因为它们会加剧这个问题。如果你负担不起专业吸音板，也可以利用画布装饰画、挂毯或泡沫板砖等日常物品来打散这些表面。 6. 设置麦克风时，请注意摆放位置。避免将其放得离墙面太近或置于角落。相反，尽量放在房间中央，或尝试不同位置，找到混响最小的最佳点。 **耳机漏音** 在录音过程中，尤其是在录制歌声时，耳机中的声音泄漏到麦克风里很常见。这个问题通常发生在耳机音量过高，或使用开放式耳机时。录歌时这也许还能接受，但在为你的歌手模型录音时，尽量避免这种漏音。 **麦克风摆位** 在常规音量下，建议你与麦克风保持约 2 英寸的距离。不过，在较大音量的乐句或使用强声演唱时，建议将距离增加到约 4-6 英寸。需要注意的是，为了保持最佳收音效果，你始终应与麦克风保持在 12 英寸以内。 > 为强声演唱留出空间 > > 在进行强声演唱时，务必要为自己留出足够空间，包括麦克风距离和所处房间的大小。过度隔音，例如把自己困在衣柜或隔音间里，或者用泡沫把麦克风包围起来，都很容易导致麦克风振膜过载。如果你不确定，演唱强声乐句时最好保留更多房间声。
演唱语言 **基础自定义槽位** 在基础自定义槽位下训练的你的歌手声线模型，只支持一种演唱语言。 **专业自定义槽位** 在专业自定义槽位下训练的你的歌手声线可支持多语言。 **素材中的语言** 在训练过程中，每个素材文件都会被单独处理，并视为单语言文件。请务必避免在同一个素材文件中混入不同语言的短语。 上传素材时，请确保将其放在对应的语言标签下。即使你上传的是基础自定义槽位的素材，如有需要，也可以灵活上传不同语言的素材。按语言整理素材有助于保持清晰，并提升训练流程。 **即将支持的语言** 我们正在持续开发新的演唱语言，以支持自定义声音功能。 对于你的新歌手声线： * 新的语言将通过新的专业自定义槽位来支持。 * 新的语言将作为新的基础自定义槽位支持选项之一。 对于你现有的歌手声线： * 在重新训练你的专业自定义槽位时，将支持新语言。 * 在重新训练你的基础自定义槽位时，新语言将是可选项。
演唱或说话 歌声样本和语音样本都可以用于训练你的歌声模型。 你的歌手声线可以学习： * 来自你的歌声样本和语音样本的音色，但请注意：对一个人来说，说话时的音色和演唱时的音色可能不同，通常不能代表真实的演唱表现。 * 来自你的歌声样本的演唱风格 你的歌手声线不能学习： * 来自你的语音样本的演唱风格
文件质量设置 你的素材音频质量会直接影响你的歌手模型质量。 我们建议你将音频质量设置为： * 位深 = 16-bit * 采样率 = 44.1 kHz 或 48 kHz * 无损文件格式（.wav 或 .flac）
后期处理 为保持目标歌手的自然特性与清晰度： * **不要重叠：** 多层叠加的歌声会让 AI 的分析变得复杂。请将重叠的录音段放在后面，并坚持使用单一的人声轨道，以确保 AI 能够准确处理并从你的素材中学习。 * **不要硬切：** 硬切会造成突兀的起止，这在自然演唱中并不常见，还可能引入咔嗒声或爆音。请在人声片段的开头和结尾使用平滑淡入淡出，以获得更自然的过渡。 * **不要重复片段：** 重复的片段对训练没有帮助。你的歌手模型更能从表演中的自然变化中受益。 * **控制音量：** 请确保你的素材保持在电平表 30-50% 左右。使用音量推子或自动化，确保整个数据集中的音量保持一致。目标是在录音中建立统一的音量水平，同时保留各段内部的动态变化。
### 训练你的歌手 准备好数据集后，你可以前往 自定义歌手页面 选择一个自定义槽位，上传你的歌声素材，并开始训练。 一个基础自定义槽位会为你带来一条支持单语种、拥有 5 个版本的歌手声线。 一个专业自定义槽位会为你带来一条支持多语言、拥有 5 个版本的歌手声线。 点击某个槽位即可开始上传你的素材。 在所有素材上传完成后，训练将自动开始。你可以通过刷新网页来查看状态。 当你看到训练页面变为声音克隆管理页面时，说明你的歌手声线已设置完成。它会显示在 ACE Studio 的歌手声线库中。如果你看不到，请尝试重新启动 ACE Studio。 {% hint style="info" %} **专业提示** 如果你希望一条歌手声线在不同音域或情绪下都具备更独特的表现力和角色感，例如获得最佳效果，最好将素材拆分给多条歌手声线。 例如： Mike 是一位专业歌手，想要定制自己的歌手声线。他既能很好地演唱男高音，也能胜任贝斯。因此，最好训练 2 条歌手声线： * 基于大多为高音且有力量感的表演素材，训练一条高音&有力量感的歌手声线。 * 基于大多为低音乐句的素材，训练一条贝斯歌手声线。 {% endhint %} ### 重新训练你的歌手 点击 重新训练 按钮可重新训练你的歌手。 重新训练会移除该槽位下你之前的歌手声线，并卸载与该歌手声线相关的所有已部署歌手。AI 将使用新的数据集从零开始训练一个全新的歌手声线。在启动重新训练流程之前，你可以选择保留此槽位中的历史素材并上传新的附加素材，也可以选择清空历史素材，仅使用新上传的素材。 准备新素材时，请注意： * 如果新增素材的时长明显少于已上传素材，例如在一个 30 分钟的数据集中只新增 1 分钟素材，那么重新训练可能不会为歌手声线表现带来显著变化。 * 重新训练不会改变你的槽位类型。 * 你可以通过重新训练来切换基础自定义槽位所支持的语言。 {% hint style="info" %} **我什么时候应该重新训练我的歌手？** * 当你的数据集质量更高或数量更大时，可以用它们迭代提升你的歌手声线。 * 当你对当前结果不满意，并希望调整数据集时 * 当新增一种演唱语言技能时 {% endhint %} ### 管理你的歌手
版本 AI 会从你的数据中逐步学习，并以循序渐进的方式分析每个素材。随着学习不断深入，训练步数也会增加。使用小型或质量有限的数据集进行训练，例如用于语音而非演唱的数据集，可能只需要很少的步数。相较之下，更大且更多样化的数据集可能需要更多步数才能充分拟合。不过，训练步数过多会导致过拟合，进而可能以不可预测的结果降低你的声线表现。 训练结束时，你会得到基于不同训练步数生成的多个版本，从生到全熟。你可以通过切换部署并逐一对比，找到最佳版本。
声线混合 混合声线会得到一种混合后的声线。你可以通过调整混合声线的比例，让你的声线更接近目标声线。为此，请前往槽位管理页面，并点击每个版本下方的“声线混合”按钮。 混合完成后，你的声线将采用新的声线特征。要应用这些更改，你需要重新启动 ACE Studio 以刷新你的声线。
部署到 ACE Studio 对于基础自定义槽位和专业自定义槽位，在部署某个版本后，你可以将部署从一个版本切换到另一个版本。每次部署后，你都需要重新启动 ACE Studio 以刷新你的声线库。
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.acestudio.ai/docs/product-wiki-zh/sheng-yin-ke-long/cloning-a-voice-for-vocal-synth.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.