> For the complete documentation index, see [llms.txt](https://docs.acestudio.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.acestudio.ai/docs/product-wiki-ko/voice-cloning/cloning-a-voice-for-vocal-synth.md). # 보컬 신스를 위한 음성 복제 ## 보컬 신스 복제란? 이 기능은 보컬 샘플을 업로드해 자신만의 보컬 신스 모델을 커스터마이즈할 수 있게 해줍니다. AI는 업로드한 샘플을 기반으로 음색과 노래 스타일을 학습하고, 당신 음성의 디지털 버전을 복제합니다. 커스터마이즈가 완료되면, ACE Studio의 사전 제작된 AI 음성처럼 MIDI와 가사를 사용해 당신의 음성으로 보컬을 생성할 수 있습니다. {% hint style="success" %} 복제된 AI 음성은 계정에 비공개로 보관되며, 사용자의 승인 없이는 다른 누구도 접근할 수 없습니다. {% endhint %} ## 보컬 신스용 내 음성을 복제하는 방법? ### 데이터셋 준비
깨끗한 드라이 보컬 고품질 음성에는 깨끗하고 드라이한 보컬 샘플이 필요합니다: * 리버브, 딜레이, 코러스 효과 없이 * 배경 소음 없이 * 반주나 사람 목소리가 아닌 소리 없이 * 하모니나 보컬 더블스 없이 한 음성당 30\~100분의 노래 보컬 샘플을 권장합니다. 제공하는 샘플이 많을수록 AI가 더 많은 노래 디테일을 학습할 수 있지만, 120분을 넘기면 추가 효과는 줄어듭니다. > 실내 반사음 > > 큰 실내 반사가 있는 상태로 녹음된 보컬은 오류 인식을 유발하고 모델 성능을 예기치 않게 만들 수 있습니다. > 스템 분리기에서 추출한 보컬 > > 보컬 제거기나 스템 분리기를 보컬에 사용할 경우, 출력 품질이 학습용으로는 지나치게 낮아질 수 있습니다. 더 높은 품질의 음성 모델을 원한다면, 선택적으로 스템 분리기에서 얻은 보컬을 사용하세요.
샘플 녹음 **오디오 인터페이스가 있는 고품질 마이크** 오디오 인터페이스가 있는 전문 마이크는 고품질 보컬을 제공합니다. 인터페이스에 연결해 보컬을 녹음, 편집, 믹스하려면 녹음 소프트웨어가 필요합니다. 음성 모델을 녹음할 때는 노래용으로 설계되지 않은 마이크는 피하세요: * 휴대폰 또는 노트북 마이크 * 라펠 마이크 또는 헤드셋 마이크 * 노래방 마이크 * 이어폰 마이크 또는 에어팟 같은 블루투스 이어폰(보통 전화 통화용) **녹음 환경** 1. 원치 않는 배경 소음에는 사람들의 대화, 전기적 험과 버즈, 차량 및 야외 소음, 그리고 액세서리나 물체의 움직임이 포함될 수 있습니다. 이러한 소음이 녹음에 간섭하지 않도록 조용한 장소를 선택하는 것이 중요합니다. 예기치 않은 소음 방해를 최소화하거나 없앨 수 있는 곳을 고르세요. 2. 딱딱하고 평평한 표면 때문에 음향 반사가 발생할 수 있으며, 그 결과 녹음에 리버브나 에코가 생길 수 있습니다. 이는 트랙에 텅 빈 듯하거나 멀게 느껴지는 질감을 주어, 원하는 친밀감과 선명도를 떨어뜨립니다. 3. 방 안에서 손뼉을 날카롭게 쳐 보고 주의 깊게 들어보세요. 떨리는 소리나 길게 남는 에코가 들리면 리버브 문제가 있다는 뜻입니다. 4. 이를 해결하려면 소리를 흡수할 수 있는 부드러움 소재를 활용하세요. 카펫, 러그, 두꺼운 커튼을 사용하면 반사를 크게 줄일 수 있습니다. 딱딱한 바닥을 덮고, 가능하다면 창문에 커튼을 치며, 패브릭 커버가 있는 가구를 방에 배치하는 것도 도움이 됩니다. 5. 딱딱한 표면은 문제를 악화시키므로 사용을 피하세요. 전문 흡음 패널을 마련하기 어렵다면, 캔버스 그림, 태피스트리, 폼 타일 같은 일상용품으로 이러한 표면을 분산시킬 수 있습니다. 6. 마이크를 설치할 때는 위치에 유의하세요. 벽이나 모서리에 너무 가깝게 두지 마세요. 대신 방의 중앙을 목표로 하거나 여러 위치를 시험해 보며 리버브가 가장 적은 최적의 지점을 찾으세요. **헤드폰 누출음** 녹음 중, 특히 보컬을 캡처할 때 헤드폰의 오디오가 마이크로 새어 들어가는 것은 흔한 일입니다. 이는 헤드폰 볼륨이 너무 높게 설정되었거나 오픈백 헤드폰을 사용할 때 발생합니다. 노래를 녹음할 때는 괜찮을 수 있지만, 음성 모델용 녹음에서는 이러한 누출을 피하세요. **마이크 위치** 일반적인 볼륨에서는 마이크에서 약 2인치 거리를 두는 것이 좋습니다. 다만 더 큰 구절이나 벨팅할 때는 거리를 약 4\~6인치로 늘리는 것이 좋습니다. 최적의 오디오 캡처를 위해 마이크와의 거리는 항상 12인치 이내를 유지하세요. > 벨팅을 위한 공간 확보 > > 벨팅 기법을 사용할 때는 마이크 거리와 공간 크기 모두에서 충분한 여유를 두는 것이 중요합니다. 옷장이나 부스처럼 지나치게 차단된 공간에 있거나 마이크 주변을 폼으로 둘러싼 환경은 마이크 캡슐이 쉽게 과부하되는 원인이 될 수 있습니다. 잘 모르겠다면, 벨팅 구절을 부를 때는 방의 울림을 조금 더 살리는 것이 좋습니다.
노래 언어 **기본 사용자 지정 슬롯** 기본 사용자 지정 슬롯에서 학습된 음성 모델은 하나의 노래 언어만 지원합니다. **프로 사용자 지정 슬롯** 프로 사용자 지정 슬롯에서 학습된 음성은 다국어를 지원할 수 있습니다. **샘플의 언어** 학습 과정에서 각 샘플 파일은 개별적으로 처리되며 단일 언어 파일로 취급됩니다. 동일한 샘플 파일 안에 서로 다른 언어의 구문을 섞지 않도록 주의하세요. 샘플을 업로드할 때는 해당 언어 탭 아래에 배치해 주세요. 기본 사용자 지정 슬롯용 샘플을 업로드하더라도, 필요하다면 서로 다른 언어의 샘플을 유연하게 업로드할 수 있습니다. 샘플을 언어별로 정리해 두면 명확성을 유지하고 학습 과정을 개선하는 데 도움이 됩니다. **추가 예정 언어** 사용자 지정 음성 기능을 위한 새로운 노래 언어를 지속적으로 개발하고 있습니다. 새 음성의 경우: * 새로운 언어는 새로운 프로 사용자 지정 슬롯에서 지원됩니다. * 새로운 언어는 새로운 기본 사용자 지정 슬롯에서 지원되는 옵션 중 하나가 됩니다. 기존 음성의 경우: * 프로 사용자 지정 슬롯을 재학습하면 새로운 언어가 지원됩니다. * 기본 사용자 지정 슬롯을 재학습하면 새로운 언어를 선택적으로 지원할 수 있습니다.
노래 또는 말하기 노래 샘플과 말하기 샘플 모두 노래 음성 모델 학습에 사용할 수 있습니다. 음성은 다음을 학습할 수 있습니다: * 노래 샘플과 말하기 샘플의 음색을 학습할 수 있습니다. 다만 주의하세요: 사람의 경우 말할 때의 음색은 노래할 때와 다를 수 있으며, 보통 실제 노래 표현을 온전히 반영하지 못합니다. * 노래 샘플에서 노래 스타일을 학습할 수 있습니다. 음성이 학습할 수 없는 항목: * 말하기 샘플의 노래 스타일
파일 품질 설정 샘플의 오디오 품질은 음성의 품질에 직접적인 영향을 미칩니다. 오디오 품질을 다음과 같이 설정하는 것을 권장합니다: * 비트 깊이 = 16비트 * 샘플레이트 = 44.1kHz 또는 48kHz * 무손실 파일 형식(.wav 또는 .flac)
후처리 대상 음성의 자연스러운 특성과 선명도를 유지하려면: * **겹침 없음:** 다층 보컬은 AI의 분석을 복잡하게 만들 수 있습니다. 겹쳐진 테이크는 뒤로 배치하고 단일 보컬 트랙만 유지하여 AI가 샘플을 정확하게 처리하고 학습할 수 있도록 하세요. * **급격한 컷 없음:** 급격한 컷은 갑작스러운 시작이나 끝:을 만들어 자연스러운 노래 소리에서는 일반적이지 않으며 클릭이나 팝 노이즈를 유발할 수 있습니다. 더 자연스러운 전환을 위해 보컬 클립의 시작과 끝:에 부드러운 페이드를 사용하세요. * **구간 중복 없음:** 중복된 구간은 학습에 도움이 되지 않습니다. 음성 모델은 퍼포먼스의 자연스러운 변화에서 이점을 얻습니다. * **볼륨 조절:** 샘플의 레벨이 미터의 30\~50% 정도를 유지하도록 하세요. 볼륨 라이더나 자동화를 사용해 전체 데이터셋에서 볼륨 레벨이 일관되게 유지되도록 하세요. 목표는 구간별 다이내믹스를 유지하면서 녹음 전반의 볼륨 레벨을 일관되게 만드는 것입니다.
### 음성 학습 데이터셋을 준비한 후 다음으로 이동할 수 있습니다 커스텀 음성 페이지 사용자 지정 슬롯을 선택하고, 보컬 샘플을 업로드한 다음, 학습을 시작하세요. 기본 사용자 지정 슬롯은 5개의 버전이 포함된 단일 언어 음성을 제공합니다. 프로 사용자 지정 슬롯은 5개의 버전이 포함된 다국어 음성을 제공합니다. 슬롯을 클릭해 샘플 업로드를 시작하세요. 모든 샘플 업로드가 완료되면 학습이 자동으로 시작됩니다. 웹페이지를 새로고침하여 상태를 확인할 수 있습니다. 학습 페이지가 음성 복제 관리 페이지로 바뀌면 음성 설정이 완료된 것입니다. ACE Studio의 음성 라이브러리에 표시됩니다. 보이지 않으면 ACE Studio를 다시 실행해 보세요. {% hint style="info" %} **전문가 팁** 특정 음성만의 개성과 표현력을 원한다면, 예를 들어 서로 다른 음역이나 감정에서 최상의 결과를 얻고 싶다면 샘플을 여러 음성으로 나누는 것이 좋습니다. 예를 들어: Mike는 전문 가수이며 자신의 음성을 커스터마이즈하고 싶어 합니다. 그는 테너와 베이스 모두를 잘 소화할 수 있으므로, 2개의 음성을 학습하는 것이 더 좋습니다: * 주로 고음역이고 파워풀한 표현이 담긴 샘플을 바탕으로 고음역의 파워풀한 음성을 학습합니다. * 주로 저음역 구문이 담긴 샘플을 바탕으로 베이스 음성을 학습합니다. {% endhint %} ### 음성 재학습 클릭하세요 재학습 음성을 재학습하는 버튼입니다. 재학습을 진행하면 이 슬롯의 기존 음성이 제거되고 해당 음성과 연결된 배포된 싱어도 모두 내려갑니다. AI는 새 데이터셋을 사용해 처음부터 완전히 새로운 음성을 학습합니다. 재학습을 시작하기 전에 이 슬롯의 기존 샘플을 유지한 채 추가 새 샘플을 업로드할 수도 있고, 기존 샘플을 모두 지우고 새로 업로드한 샘플만 사용할 수도 있습니다. 새 샘플을 준비할 때는 다음을 참고하세요: * 새로 추가한 샘플의 지속시간이 이미 업로드된 샘플보다 현저히 짧다면, 예를 들어 30분짜리 데이터셋에 1분 분량의 새 샘플을 추가하는 경우, 재학습해도 음성 성능에 큰 변화가 없을 수 있습니다. * 재학습해도 슬롯의 유형은 변경되지 않습니다. * 재학습을 통해 기본 사용자 지정 슬롯에서 지원하는 언어를 전환할 수 있습니다. {% hint style="info" %} **언제 음성을 재학습해야 하나요?** * 데이터셋의 품질이 더 좋거나 양이 더 많아지면 이를 사용해 음성을 반복적으로 개선할 수 있습니다. * 현재 결과에 만족하지 못해 데이터셋을 조정하고 싶을 때 * 새로운 노래 언어 기능이 출시되면 {% endhint %} ### 음성 관리
버전 AI는 데이터를 기반으로 점진적으로 학습하며, 각 샘플을 단계별로 분석합니다. 학습이 깊어질수록 단계 수가 늘어납니다. 노래용이 아니라 말하기용처럼 규모가 작거나 품질이 제한적인 데이터셋으로 학습할 경우 몇 단계만으로도 충분할 수 있습니다. 반대로 더 크고 다양한 데이터셋은 충분히 맞추기 위해 추가 단계가 필요할 수 있습니다. 하지만 학습 단계가 지나치게 많으면 과적합이 발생해 예측할 수 없는 결과와 함께 음성 성능이 저하될 수 있습니다. 학습이 끝나면 Rare부터 Well-done까지 서로 다른 학습 단계에 따른 여러 버전을 얻게 됩니다. 배포 버전을 전환하며 서로 비교해 가장 적합한 버전을 찾을 수 있습니다.
음성 혼합 음성 혼합을 하면 하이브리드 음성이 생성됩니다. 혼합된 음성의 비율을 조정해 대상 음성에 더 가깝게 들리도록 음성을 커스터마이즈할 수 있습니다. 이를 위해 슬롯 관리 페이지로 이동해 각 버전 아래에 있는 ‘음성 혼합’ 버튼을 클릭하세요. 음성 혼합 후에는 음성이 새로운 음성 특성을 갖게 됩니다. 변경 사항을 적용하려면 ACE Studio를 다시 시작하여 음성을 새로 고쳐야 합니다.
ACE Studio에 배포 기본 사용자 지정 슬롯과 프로 사용자 지정 슬롯의 경우, 버전을 배포한 뒤 다른 버전으로 배포를 전환할 수 있습니다. 각 배포 후에는 ACE Studio를 다시 실행하여 음성 라이브러리를 새로 고쳐야 합니다.
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.acestudio.ai/docs/product-wiki-ko/voice-cloning/cloning-a-voice-for-vocal-synth.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.