ボーカルシンセ用のボイスクローン

ACE Studioで、自分の声をボーカルシンセ用ボイスとしてクローンします。

ボーカルシンセのクローン作成とは？

これは、ボーカルサンプルをアップロードして自分専用のボーカルシンセモデルをカスタマイズする機能です。AIは、アップロードしたサンプルをもとに声質と歌唱スタイルを学習し、あなたのシンガーのデジタル版をクローンします。

カスタマイズ後は、ACE Studio の既成 AI ボイスと同じように、MIDI と歌詞からあなたのシンガーを使ってボーカルを生成できます。

クローンしたAIシンガーはアカウント内で非公開で、あなたの許可なしに他の誰もアクセスできません。

ボーカルシンセで自分のシンガーをクローンするには？

データセットの準備

クリーンなドライボーカル

高品質なボイスには、クリーンでドライなボーカルサンプルが必要です：

• リバーブ、ディレイ、コーラス効果なし

• 背景ノイズなし

• インストゥルメンタルや人の声以外の音なし

• ハーモニーやボーカルダブルなし

1つのシンガーには、30〜100分の歌唱ボーカルサンプルを推奨します。サンプルを多く提供するほどAIはより多くの歌唱の細部を学習できますが、120分を超えると得られるメリットは小さくなります。

部屋の反射

大きな部屋の反射を伴って録音されたボーカルは、誤認識を引き起こし、予期しないモデルの挙動につながる可能性があります。

ステムスプリッターからのボーカル

ボーカルに対してボーカルリムーバーやステムスプリッターを使用すると、出力品質が学習用として低すぎる場合があります。より高品質なボイスモデルを作成するには、必要に応じてステムスプリッターからのボーカルを使用してください。

録音サンプル

オーディオインターフェース付きの高品質マイク

オーディオインターフェース付きのプロ仕様マイクは、高品質なボーカルを実現します。インターフェースに接続し、録音・編集・ミックスを行うには録音ソフトが必要です。

ボイスモデルを録音する際は、歌唱向けに設計されていないマイクは避けてください：

• スマートフォンやノートPCのマイク

• ラペルマイクやヘッドセットマイク

• カラオケマイク

• イヤホンマイクやAirPodsのようなBluetoothイヤホン（通常は通話用）

録音環境

1. 不要な背景ノイズには、人の会話、電気的なハムやバズ、交通音や屋外の騒音、さらには小物や物の動きによる音などが含まれます。これらが録音に干渉しないよう、静かな場所を選ぶことが重要です。予期しないノイズの影響を最小限に抑えられる場所を選びましょう。

2. 硬く平坦な表面があると音の反射が起こり、録音にリバーブやエコーが生じることがあります。これによりトラックが空洞的、あるいは遠く感じられる質感になり、本来求める親密さと明瞭さが損なわれます。

3. 部屋で鋭く手を叩き、注意深く耳を傾けてみてください。バタつくような音や長く残るエコーが聞こえる場合、リバーブの問題があることを示しています。

4. これに対処するには、音を吸収できる柔らかい素材を取り入れましょう。カーペット、ラグ、厚手のカーテンを使うと反射を大幅に抑えられます。硬い床を覆い、可能であれば窓にカーテンを掛け、布張りの家具を部屋に置くのも有効です。

5. 硬い表面は問題の原因になるため避けてください。プロ仕様の吸音パネルを用意できない場合は、キャンバスの絵、タペストリー、フォームタイルなどの日用品でこれらの表面を分散させることができます。

6. マイクを設置する際は、配置に注意してください。壁際や部屋の隅に近づけすぎないようにしましょう。代わりに部屋の中央を目指すか、さまざまな場所で試して、リバーブが最も少ない最適な位置を見つけてください。

ヘッドホンの音漏れ

録音中、特にボーカル収録では、ヘッドホンのオーディオがマイクに漏れ込むことはよくあります。これはヘッドホンの音量が高すぎる場合や、オープンバックヘッドホンを使用している場合に起こります。曲の録音では許容できる場合もありますが、ボイスモデル用の録音ではこの音漏れを避けるようにしてください。

マイクの配置

通常の音量では、マイクから約2インチ離れて位置するのがおすすめです。ただし、より大きなフレーズやベルト唱法では、距離を4〜6インチほどに広げるとよいでしょう。最適なオーディオ収録を保つため、マイクから12インチ以上離れないことが重要です。

ベルト唱法のためのスペースを確保する

ベルト唱法では、マイクとの距離と部屋の広さの両方に十分な余裕を持たせることが重要です。クローゼットやブースに閉じ込めるような過度な遮音や、マイクをフォームで囲むような環境は、マイクカプセルのオーバーロードを招きやすくなります。迷う場合は、ベルトフレーズではより多くの部屋鳴りを取り入れるのがおすすめです。

歌唱言語

ベーシックカスタムスロット

ベーシックカスタムスロットで学習したあなたのシンガーモデルでは、1つの歌唱言語のみ対応します。

プロカスタムスロット

プロカスタムスロットで学習したあなたのシンガーは、多言語に対応できます。

サンプル内の言語

学習プロセスでは、各サンプルファイルは個別に処理され、単一言語のファイルとして扱われます。同じサンプルファイル内で異なる言語のフレーズを混在させないことが重要です。

サンプルをアップロードする際は、必ず適切な言語タブに配置してください。ベーシックカスタムスロット用のサンプルをアップロードする場合でも、必要に応じて異なる言語のサンプルをアップロードできます。サンプルを言語ごとに整理しておくと、分かりやすさが保たれ、学習プロセスの改善にもつながります。

今後対応予定の言語

カスタムボイス機能向けの新しい歌唱言語の開発に継続的に取り組んでいます。

新しいシンガーについて：

• 新しい言語は、新しいプロカスタムスロットで対応されます。

• 新しい言語は、新しいベーシックカスタムスロットで対応可能なオプションの1つになります。

既存のシンガーについて：

• プロカスタムスロットを再学習すると、新しい言語に対応できます。

• ベーシックカスタムスロットを再学習する際、新しい言語は任意で選択できます。

歌唱またはスピーチ

歌唱サンプルとスピーチサンプルの両方を、あなたの歌唱シンガーモデルの学習に使用できます。

あなたのシンガーが学習できるもの：

• 歌唱サンプルとスピーチサンプルから声質を学習できますが、注意してください。人の場合、話し声の声質は歌声と異なることがあり、通常は歌唱本来の表現を十分に示せません。

• 歌唱スタイルは歌唱サンプルから学習できます

あなたのシンガーが学習できないもの：

• 歌唱スタイルはスピーチサンプルからは学習できません

ファイル品質設定

サンプルのオーディオ品質は、あなたのシンガーの品質に直接影響します。

オーディオ品質は次のように設定することをおすすめします：

• ビット深度 = 16ビット

• サンプルレート = 44.1kHz または 48kHz

• ロスレスのファイルフォーマット（.wav または .flac）

後処理

対象シンガーの自然な特徴と明瞭さを保つには：

• 重なりなし： 多層のボーカルはAIの解析を複雑にする可能性があります。重なったテイクは後ろに配置し、単一のボーカルトラックにまとめて、AIがサンプルを正確に処理し学習できるようにしてください。

• 不自然なカットなし： 不自然なカットは急な始まりや終わりを生み、自然な歌唱では通常ないうえ、クリックやポップノイズの原因にもなります。より自然なつながりにするため、ボーカルクリップの冒頭と末尾には滑らかなフェードを使ってください。

• セクションの重複なし： 重複したセクションは学習に役立ちません。ボイスモデルは、パフォーマンスの自然な変化から恩恵を受けます。

• 音量を調整する： サンプルはメーターの30〜50%程度に収まるようにしてください。ボリュームライダーまたはオートメーションを使って、データセット全体で音量レベルが一定になるようにしましょう。目的は、録音全体で一貫した音量レベルを保ちながら、各セクション内のダイナミクスを維持することです。

シンガーの学習

データセットの準備ができたら、 カスタムシンガーページ カスタムスロットを選択し、ボーカルサンプルをアップロードして、学習を開始してください。

ベーシックカスタムスロットでは、5つのバージョンを備えた単一言語のシンガーが提供されます。

プロカスタムスロットでは、5つのバージョンを備えた多言語のシンガーが提供されます。

スロットをクリックして、サンプルのアップロードを開始してください。

すべてのサンプルをアップロードすると、学習は自動的に開始されます。Webページを更新してステータスを確認できます。

学習ページがボイスクローニング管理ページに切り替わったら、シンガーの設定は完了です。ACE Studio のボイスライブラリに表示されます。表示されない場合は、ACE Studio を再起動してください。

プロのヒント

あるシンガーに独自のパフォーマンスや個性を求める場合、たとえば異なる音域や感情で最良の結果を狙うなら、サンプルを複数のボイスに分けるほうがよいでしょう。

例を挙げます：

Mike はプロのシンガーで、自分専用のシンガーをカスタマイズしたいと考えています。彼はテナーでもベースでもうまく歌えます。そのため、2つのボイスを学習するのがよいでしょう：

• 主に高音で力強いパフォーマンスのサンプルをもとに、高音でパワフルなシンガーを学習します。

• 主に低音のフレーズのサンプルをもとに、ベースのシンガーを学習します。

シンガーを再学習する

「 再学習 シンガーを再学習するためのボタンです。

再学習を行うと、このスロット内の以前のシンガーは削除され、そのシンガーに関連付けられたデプロイ済みのシンガーもすべて解除されます。AI は新しいデータセットを使って、完全に新しいシンガーをゼロから学習し直します。再学習を開始する前に、このスロット内の既存サンプルを保持したまま追加の新しいサンプルをアップロードするか、既存サンプルを消去して新しくアップロードしたサンプルのみを使用するかを選択できます。

新しいサンプルを準備する際は、次の点に注意してください：

• 新しく追加したサンプルの音符の長さが、すでにアップロード済みのサンプルに比べて大幅に短い場合、たとえば30分のデータセットに1分の新しいサンプルを追加しても、再学習によるシンガーのパフォーマンスの変化はあまり大きくならないことがあります。

• 再学習しても、スロットのタイプは変わりません。

• 再学習することで、ベーシックカスタムスロットの対応言語を切り替えられます。

いつシンガーを再学習すべきですか？

• データセットの品質が高い、または量が多いほど、それらを使ってシンガーを段階的に改善できます

• 現在の結果に満足できず、データセットを調整したいとき

• 新しい歌唱言語スキルがリリースされるとき

シンガーの管理

バージョン

AI はデータから段階的に学習し、各サンプルをステップごとに分析します。学習が深まるほど、必要なステップ数は増えます。歌唱向けではなくスピーチ向けのような、小規模または品質が限定されたデータセットで学習する場合、必要なステップは数回で済むことがあります。対して、より大規模で多様なデータセットでは、十分に適合させるために追加のステップが必要になる場合があります。ただし、学習ステップが多すぎると過学習を招き、予測不能な結果としてシンガーのパフォーマンスを低下させる可能性があります。

学習終了時には、Rare から Well-done まで、異なる学習ステップに基づく複数のバージョンが得られます。デプロイを切り替えて比較することで、最適なバージョンを見つけられます。

ボイスミックス

ボイスをブレンドすると、ハイブリッドなシンガーになります。ブレンドされたボイスの比率を調整することで、ターゲットのシンガーにより近いサウンドにカスタマイズできます。これを行うには、スロット管理ページに移動し、各バージョンの下にある『ボイスミックス』ボタンをクリックします。

ブレンド後、あなたのシンガーは新しい声質を反映します。変更を適用するには、ACE Studio を再起動してシンガーを更新してください。

ACE Studio にデプロイ

ベーシックカスタムスロットとプロカスタムスロットでは、バージョンをデプロイした後に、別のバージョンへデプロイを切り替えられます。各デプロイ後には、ボイスライブラリを更新するために ACE Studio を再起動してください。