> For the complete documentation index, see [llms.txt](https://docs.acestudio.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.acestudio.ai/docs/product-wiki-zh/sheng-yin-ke-long/cloning-a-voice-for-vocal-synth.md).

# 为歌声合成克隆一位歌手的声线

在 ACE Studio 中将你自己的声音克隆为歌声合成歌手声线。

## 什么是歌声合成克隆？ <a href="#block-17608bffde808018b367cbddf8c9fe36" id="block-17608bffde808018b367cbddf8c9fe36"></a>

这是一项通过上传你的歌声素材来定制专属歌声合成模型的功能。AI 将根据你上传的素材学习音色和演唱风格，并克隆出你的数字化歌手版本。

定制完成后，你就可以像在 ACE Studio 中使用我们预置的 AI 声线一样，用你的歌手通过 MIDI 和歌词生成歌声。

{% hint style="success" %}
你克隆的 AI 歌手仅属于你的账号，未经你的授权，其他人无法访问。
{% endhint %}

## 如何为歌声合成克隆我的歌手？ <a href="#block-17608bffde8080b98024eb3edc82d4d6" id="block-17608bffde8080b98024eb3edc82d4d6"></a>

### 准备你的数据集

<details>

<summary>干净的干声</summary>

高质量的歌手需要干净、干声的歌声素材：

* 不要带任何混响、延迟或合唱效果
* 不要有背景噪音
* 不要有人声伴奏或任何非人声音效
* 不要有任何和声或叠声

建议每个歌手准备 30-100 分钟的歌唱歌声素材。你提供的素材越多，AI 能学习到的歌唱细节就越多，但当时长超过 120 分钟后，收益会变得有限。

> 房间反射
>
> 带有明显房间反射的歌声，可能会导致识别错误，并让模型表现出现偏差。

> 来自音轨分离的歌声
>
> 当你使用人声去除器或音轨分离处理歌声时，输出质量可能会损失到不适合训练的程度。若想获得更高质量的歌手模型，建议可选使用来自音轨分离的歌声。

</details>

<details>

<summary>录音素材</summary>

**搭配音频接口的高品质麦克风**

专业麦克风搭配音频接口，可以录到高质量的歌声。你还需要录音软件来连接接口，并对歌声进行录制、编辑和混音。

在录制歌手模型时，请避免使用并非为演唱而设计的麦克风：

* 手机或笔记本麦克风
* 领夹麦克风或耳机麦克风
* 卡拉 OK 麦克风
* 耳机麦克风或蓝牙耳机，例如 AirPods（这些通常用于通话）

**录音环境**

1. 不需要的背景噪音可能包括人声交谈、电流嗡鸣和杂音、交通和室外噪音，以及配件或物体移动的声音。为了防止这些噪音干扰录音，选择一个安静的地点非常重要。请尽量选择能够将意外噪音干扰降到最低，甚至完全消除的地方。
2. 由于硬质平面表面的存在，声音反射可能会产生，从而在录音中形成混响或回声。这会让你的轨道听起来空洞或距离感过强，削弱所需的亲密感和清晰度。
3. 你可以在房间里用力拍手，仔细聆听。如果听到颤动声或拖尾回声，说明存在混响问题。
4. 为了解决这个问题，可以加入能够吸收声音的柔和材料。可以考虑使用地毯、地垫或厚窗帘来显著减少反射。铺盖硬质地面，并在可能的情况下在窗户上挂上窗帘，同时在房间里放置带布艺包覆的家具，都会有所帮助。
5. 避免使用硬质表面，因为它们会加重这个问题。如果你负担不起专业吸音板，也可以利用画布装饰画、挂毯或泡沫板等日常物品来打散这些表面。
6. 在设置麦克风时，请留意其摆放位置。避免把它放得离墙面或角落太近。相反，应尽量放在房间中央，或尝试不同位置，找到混响最少的最佳点。

**耳机串音**

在录音时，尤其是录制歌声时，耳机中的音频串入麦克风是很常见的。这个问题通常出现在耳机音量过高，或者使用开放式耳机时。录歌时这或许可以接受，但在录制你的歌手模型时，请尽量避免这种串音。

**麦克风摆位**

在正常音量下，建议你距离麦克风大约 2 英寸。若是更响亮的乐句，或需要强声演唱时，建议将距离增至约 4-6 英寸。需要注意的是，为了保持最佳收音效果，你应始终保持在距离麦克风 12 英寸以内。

> 为强声演唱留出空间
>
> 进行强声演唱技巧时，必须在麦克风距离和所在房间大小上给自己留出足够空间。过度隔音，例如被限制在衣柜或录音亭中，或者用泡棉把麦克风四周包起来，都很容易导致麦克风振膜过载。如果你不确定，建议在演唱强声乐句时加入更多房间声。

</details>

<details>

<summary>演唱语言</summary>

**基础自定义槽位**

在基础自定义槽位下训练的你的歌手模型只支持一种演唱语言。

**专业自定义槽位**

在专业自定义槽位下训练的你的歌手可以支持多语种。

**素材中的语言**

在训练过程中，每个素材文件都会被单独处理，并视为单语言文件。务必避免在同一个素材文件中混入不同语言的短语。

上传素材时，请务必将其放在对应的语言标签下。即使你上传的是基础自定义槽位素材，如有需要，你也可以灵活上传不同语言的素材。按语言整理素材有助于保持清晰，并提升训练过程。

**即将支持的语言**

我们正在持续开发新的演唱语言，以支持自定义歌手功能。

对于你的新歌手：

* 新的专业自定义槽位将支持新语言。
* 新的基础自定义槽位将提供一种可选的新语言支持。

对于你现有的歌手：

* 重新训练你的专业自定义槽位时，将支持新语言。
* 重新训练你的基础自定义槽位时，新语言将作为可选项。

</details>

<details>

<summary>演唱或语音</summary>

演唱素材和说话素材都可以用于训练你的歌声模型。

你的歌手可以学习：

* 从你的演唱素材和说话素材中学习音色，但请注意：对一个人来说，说话的音色可能与演唱不同，而说话通常无法代表演唱的真实表现。
* 从你的演唱素材中学习演唱风格

你的歌手无法学习：

* 从你的说话素材中学习演唱风格

</details>

<details>

<summary>文件质量设置</summary>

你的素材音频质量会直接影响歌手的质量。

我们建议将音频质量设置为：

* 位深 = 16 位
* 采样率 = 44.1 kHz 或 48 kHz
* 无损格式（.wav 或 .flac）

</details>

<details>

<summary>后期处理</summary>

为了保持目标歌手的自然特征和清晰度：

* **不要重叠：** 多层歌声会让 AI 的分析复杂化。请将重叠的录音段放在后面，并保持单一歌声轨道，以确保 AI 能准确处理并从你的素材中学习。
* **不要硬切：** 硬切会造成突兀的开头或结束，这在自然演唱中并不常见，还可能带来咔哒声或爆音。请在人声片段的开头和结束使用平滑淡入淡出，以获得更自然的过渡。
* **不要重复段落：** 重复段落对训练没有帮助。你的歌手模型更能从演唱的自然变化中受益。
* **控制音量：** 确保你的素材音量大致保持在表头的 30-50%。使用音量推子或自动化来保证整个数据集的音量水平一致。目标是在保持段落内动态变化的同时，让整段录音的音量保持统一。

</details>

### 训练你的歌手

准备好数据集后，你可以前往 <a href="https://acestudio.ai/app/custom-voice/vocal-synth" class="button secondary" data-icon="browser">自定义歌手页面</a> 选择一个自定义槽位，上传你的歌声素材，并开始训练。

一个基础自定义槽位会为你带来一个单语种歌手，共 5 个版本。

一个专业自定义槽位会为你带来一个多语种歌手，共 5 个版本。

点击一个槽位即可开始上传你的素材。

所有素材上传完成后，训练会自动开始。你可以通过刷新网页查看状态。

当你看到训练页面切换为声音克隆管理页时，你的歌手就已经设置完成。它会显示在 ACE Studio 的歌手库中。如果看不到，请尝试重新启动 ACE Studio。

{% hint style="info" %}
**专业提示**

如果你希望某个歌手拥有独特的表现力和角色感，例如在不同音域或情绪下都达到最佳效果，最好将素材拆分给多个歌手。

例如：

Mike 是一位专业歌手，想要定制自己的歌手。他既能胜任高音，也能胜任贝斯。因此，最好训练 2 个歌手：

* 基于大多为高音且有力量表现的素材，训练一个高音且有力量的歌手。
* 基于大多为低音段落的素材，训练一个贝斯歌手。
  {% endhint %}

### 重新训练你的歌手

点击 <kbd>重新训练</kbd> 按钮可重新训练你的歌手。

重新训练会移除该槽位下你之前的歌手，并注销与该歌手关联的任何已部署声线。AI 将使用新的数据集从头开始训练一个全新的歌手。在开始重新训练之前，你可以选择保留该槽位中的历史素材并上传额外的新素材，或者清空历史素材，只使用新上传的素材。

准备新素材时，请注意：

* 如果新加入素材的音符时长明显小于已上传素材，例如在一个 30 分钟的数据集中再添加 1 分钟的新素材，重新训练可能不会给歌手表现带来显著变化。
* 重新训练不会改变槽位类型。
* 你可以通过重新训练来切换基础自定义槽位支持的语言。

{% hint style="info" %}
**我什么时候应该重新训练我的歌手？**

* 当你的数据集质量更高或数量更大时，你可以利用它们迭代优化你的歌手。
* 当你对当前结果不满意，并想调整数据集时
* 当新的演唱语言能力发布时
  {% endhint %}

### 管理你的歌手

<details>

<summary>版本</summary>

AI 会从你的数据中逐步学习，并以循序渐进的方式分析每个素材。随着学习加深，步骤数量也会增加。使用小型或质量有限的数据集进行训练，例如并非为演唱而设计、而是用于语音的数据集，可能只需要少量步骤。相较之下，更大且更多样化的数据集，可能需要更多步骤才能充分拟合。不过，过多的训练步骤可能导致过拟合，从而以不可预测的结果降低你的歌手表现。

训练结束后，你会得到基于不同训练步骤的多个版本，从 Rare 到 Well-done。你可以通过切换部署并逐一对比，找出最佳版本。

</details>

<details>

<summary>混合声线</summary>

混合声线会生成一个混合歌手。你可以通过调整混合声线的比例，让你的歌手更接近目标歌手。为此，请进入槽位管理页面，点击每个版本下方的“声线混合”按钮。

混合后，你的歌手将采用新的歌手特征。要应用这些更改，你需要通过重新启动 ACE Studio 来刷新你的歌手。

</details>

<details>

<summary>部署到 ACE Studio</summary>

对于基础自定义槽位和专业自定义槽位，在部署某个版本后，你可以将部署从一个版本切换到另一个版本。每次部署后，你都需要重新启动 ACE Studio，以刷新你的歌手库。

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.acestudio.ai/docs/product-wiki-zh/sheng-yin-ke-long/cloning-a-voice-for-vocal-synth.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
