> For the complete documentation index, see [llms.txt](https://docs.acestudio.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.acestudio.ai/docs/product-wiki-ko/voice-cloning/cloning-a-voice-for-vocal-synth.md). # 보컬 신스용 음성 복제 ## 보컬 신스 복제란? 이 기능은 보컬 샘플을 업로드하여 나만의 보컬 신스 모델을 커스터마이즈할 수 있습니다. AI는 업로드한 샘플을 바탕으로 음색과 가창 스타일을 학습하고, 음성의 디지털 버전을 복제합니다. 커스터마이즈가 완료되면, ACE Studio의 사전 제작된 AI 음성과 마찬가지로 MIDI와 가사로 보컬을 생성할 수 있습니다. {% hint style="success" %} 복제된 AI 음성은 계정에 비공개로 유지되며, 본인의 승인 없이는 다른 누구도 접근할 수 없습니다. {% endhint %} ## 보컬 신스를 위해 내 음성을 복제하는 방법은? ### 데이터셋 준비하기
깨끗한 드라이 보컬 고품질 음성을 위해서는 깨끗하고 드라이한 보컬 샘플이 필요합니다: * 리버브, 딜레이, 코러스 효과 없이 * 배경 소음 없이 * 반주나 비인간 음향 없이 * 하모니나 보컬 더블스 없이 하나의 음성당 30\~100분의 노래 보컬 샘플을 권장합니다. 샘플을 많이 제공할수록 AI가 더 많은 노래 디테일을 학습할 수 있지만, 120분을 넘어서면 추가 이점은 줄어듭니다. > 공간 반사음 > > 큰 공간 반사음이 있는 상태로 녹음한 보컬은 오류 인식을 유발하고 예상치 못한 모델 성능으로 이어질 수 있습니다. > 스템 분리기에서 추출한 보컬 > > 보컬 제거기나 스템 분리기를 사용해 보컬을 추출할 경우, 출력 품질이 너무 낮아 학습에 적합하지 않을 수 있습니다. 더 높은 품질의 음성 모델을 원한다면, 가능하면 스템 분리기에서 추출한 보컬을 사용하세요.
샘플 녹음 **오디오 인터페이스가 있는 고품질 마이크** 오디오 인터페이스가 있는 전문 마이크는 고품질 보컬을 제공합니다. 인터페이스에 연결해 보컬을 녹음, 편집, 믹싱할 수 있는 녹음 소프트웨어가 필요합니다. 음성 모델을 녹음할 때는 노래용으로 설계되지 않은 마이크는 피하세요: * 휴대폰 또는 노트북 마이크 * 라발리에 또는 헤드셋 마이크 * 노래방 마이크 * 이어폰 마이크 또는 에어팟 같은 블루투스 이어폰(보통 전화 통화용입니다) **녹음 환경** 1. 원치 않는 배경 소음에는 사람의 대화, 전기적 험과 버즈, 차량 및 야외 소음, 그리고 액세서리나 물체의 움직임이 포함될 수 있습니다. 이러한 소음이 녹음에 간섭하지 않도록 조용한 장소를 선택하는 것이 중요합니다. 예상치 못한 소음 방해를 최소화하거나 제거할 수 있는 곳을 고르세요. 2. 단단하고 평평한 표면이 있으면 소리 반사가 발생해 녹음에 잔향이나 에코가 생길 수 있습니다. 이는 트랙을 텅 빈 듯하거나 먼 느낌으로 만들어, 원하는 친밀감과 선명도를 떨어뜨릴 수 있습니다. 3. 방 안에서 손뼉을 날카롭게 쳐 보고 주의 깊게 들어보세요. 떨리는 소리나 길게 남는 에코가 들린다면, 리버브 문제가 있다는 뜻입니다. 4. 이를 해결하려면 소리를 흡수할 수 있는 부드러운 소재를 활용하세요. 카펫, 러그, 두꺼운 커튼을 사용하면 반사를 크게 줄일 수 있습니다. 단단한 바닥을 덮고, 가능하다면 창문에 커튼을 달며, 천으로 덮인 가구를 방에 배치하는 것도 도움이 됩니다. 5. 단단한 표면은 문제를 악화시키므로 피하세요. 전문적인 음향 패널을 구입할 여유가 없다면, 캔버스 그림, 태피스트리, 폼 타일 같은 일상용품으로 이러한 표면을 분산시킬 수 있습니다. 6. 마이크를 배치할 때는 위치에 유의하세요. 벽이나 구석에 너무 가깝게 두지 마세요. 대신 방 중앙을 노리거나 여러 위치를 시험해 보며 리버브를 최소화할 최적의 지점을 찾으세요. **헤드폰 블리드** 녹음 중, 특히 보컬을 녹음할 때 헤드폰 오디오가 마이크로 새어 들어가는 것은 흔한 일입니다. 이 문제는 헤드폰 볼륨이 너무 높거나 오픈백 헤드폰을 사용할 때 발생합니다. 노래를 녹음할 때는 괜찮을 수 있지만, 음성 모델용으로 녹음할 때는 이러한 블리드는 피하세요. **마이크 배치** 일반적인 볼륨에서는 마이크에서 약 2인치 떨어진 위치에 서는 것이 좋습니다. 하지만 더 큰 구절이나 벨팅할 때는 거리를 약 4\~6인치로 늘리는 것이 좋습니다. 최적의 오디오 캡처를 위해 마이크와의 거리는 항상 12인치보다 가까워야 한다는 점을 기억하세요. > 벨팅을 위한 공간 확보 > > 벨팅 기법을 사용할 때는 마이크와의 거리와 공간의 크기 모두에서 충분한 여유를 두는 것이 중요합니다. 옷장이나 부스처럼 지나치게 차음된 공간에 갇히거나, 마이크 주위를 폼으로 둘러싸면 마이크 캡슐이 쉽게 과부하될 수 있습니다. 잘 모르겠다면, 벨팅한 구절을 부를 때는 룸 사운드를 더 많이 포함하는 것이 좋습니다.
노래 언어 **기본 커스텀 슬롯** 기본 커스텀 슬롯으로 학습한 음성 모델에서는 하나의 가창 언어만 지원됩니다. **프로 커스텀 슬롯** 프로 커스텀 슬롯으로 학습한 음성은 다국어를 지원할 수 있습니다. **샘플의 언어** 학습 과정에서 각 샘플 파일은 개별적으로 처리되며 단일 언어 파일로 간주됩니다. 동일한 샘플 파일 안에 서로 다른 언어의 구문을 섞지 않도록 주의하세요. 샘플을 업로드할 때는 적절한 언어 탭 아래에 배치해 주세요. 기본 커스텀 슬롯용 샘플을 업로드하는 경우에도, 필요하다면 서로 다른 언어의 샘플을 유연하게 업로드할 수 있습니다. 샘플을 언어별로 정리하면 명확성을 유지하고 학습 과정을 개선하는 데 도움이 됩니다. **추가 예정 언어** 우리는 커스텀 음성 기능을 위한 새로운 가창 언어를 지속적으로 개발하고 있습니다. 새 음성의 경우: * 새로운 언어는 새로운 프로 커스텀 슬롯에서 지원됩니다. * 새로운 언어는 새로운 기본 커스텀 슬롯에서 지원되는 옵션 중 하나가 됩니다. 기존 음성의 경우: * 프로 커스텀 슬롯을 재학습할 때 새로운 언어가 지원됩니다. * 기본 커스텀 슬롯을 재학습할 때 새로운 언어는 선택 사항입니다.
노래 또는 말하기 가창 샘플과 음성 샘플 모두 가창 음성 모델 학습에 사용할 수 있습니다. 음성이 학습할 수 있는 내용: * 가창 샘플과 음성 샘플의 음색. 다만 주의하세요: 사람의 경우 말할 때의 음색은 노래할 때와 다를 수 있으며, 보통 실제 가창 표현을 온전히 반영하지 못합니다. * 가창 샘플의 가창 스타일 음성이 학습할 수 없는 내용: * 음성 샘플의 가창 스타일
파일 품질 설정 샘플의 오디오 품질은 음성 품질에 직접적인 영향을 미칩니다. 오디오 품질을 다음과 같이 설정하는 것을 권장합니다: * 비트 깊이 = 16비트 * 샘플레이트 = 44.1kHz 또는 48kHz * 무손실 파일 형식(.wav 또는 .flac)
후처리 대상 음성의 자연스러운 특성과 선명도를 유지하려면: * **겹침 없음:** 겹겹이 쌓인 보컬은 AI의 분석을 복잡하게 만들 수 있습니다. 겹친 테이크는 뒤쪽에 두고 단일 보컬 트랙만 사용해 AI가 샘플을 정확하게 처리하고 학습할 수 있도록 하세요. * **하드 컷 없음:** 하드 컷은 갑작스러운 시작이나 끝을 만들어 자연스러운 노래 소리에서 보기 어렵고, 클릭이나 팝 노이즈를 유발할 수 있습니다. 보컬 클립의 시작과 끝에 부드러운 페이드를 사용해 더 자연스럽게 전환하세요. * **섹션 복제 없음:** 복제된 섹션은 학습에 도움이 되지 않습니다. 음성 모델은 퍼포먼스의 자연스러운 변화를 통해 더 큰 이점을 얻습니다. * **볼륨 조절:** 샘플 레벨이 미터의 30\~50% 정도를 유지하도록 하세요. 볼륨 라이더나 자동화를 사용해 전체 데이터셋에서 볼륨 레벨이 일정하게 유지되도록 하십시오. 목표는 녹음 전반의 볼륨 레벨을 일정하게 유지하면서 섹션 내 다이내믹은 살리는 것입니다.
### 음성 학습하기 데이터셋을 준비한 후, 다음으로 이동할 수 있습니다: 사용자 지정 음성 페이지 커스텀 슬롯을 선택하고, 보컬 샘플을 업로드한 뒤 학습을 시작하세요. 기본 커스텀 슬롯은 5개의 버전이 포함된 단일 언어 음성을 제공합니다. 프로 커스텀 슬롯은 5개의 버전이 포함된 다국어 음성을 제공합니다. 슬롯을 클릭하여 샘플 업로드를 시작하세요. 모든 샘플 업로드가 완료되면 학습이 자동으로 시작됩니다. 웹페이지를 새로고침하여 상태를 확인할 수 있습니다. 학습 페이지가 음성 복제 관리 페이지로 전환되면 음성 설정이 모두 완료된 것입니다. ACE Studio의 음성 라이브러리에 표시됩니다. 보이지 않는다면 ACE Studio를 다시 실행해 보세요. {% hint style="info" %} **전문가 팁** 음성에 고유한 퍼포먼스와 개성을 원한다면, 예를 들어 서로 다른 음역이나 감정에서 최적의 결과를 얻고 싶을 때는 샘플을 여러 음성으로 나누는 것이 좋습니다. 예를 들어: Mike는 전문 가수이며 자신의 음성을 커스터마이즈하고 싶어 합니다. 그는 테너와 베이스 모두를 잘 소화합니다. 따라서 두 개의 음성을 학습하는 것이 더 좋습니다: * 주로 높은 음역과 강한 표현으로 구성된 샘플을 바탕으로 고음역&강한 음성을 학습합니다. * 주로 저음역 구문으로 구성된 샘플을 바탕으로 베이스 음성을 학습합니다. {% endhint %} ### 음성 재학습 다음을 클릭하세요 재학습 음성을 재학습하는 버튼입니다. 재학습을 수행하면 이 슬롯의 이전 음성이 제거되고 해당 음성과 연결된 배포된 싱어도 내려갑니다. AI는 새 데이터셋을 사용해 완전히 새로운 음성을 처음부터 학습하기 시작합니다. 재학습을 시작하기 전에 이 슬롯에 있는 기존 샘플을 유지한 채 추가 새 샘플을 업로드할지, 아니면 기존 샘플을 비우고 새로 업로드한 샘플만 사용할지 선택할 수 있습니다. 새 샘플을 준비할 때는 다음 사항을 참고하세요: * 새로 추가된 샘플의 지속시간:이 이미 업로드된 샘플보다 훨씬 짧다면, 예를 들어 30분 데이터셋에 1분의 새 샘플을 추가하는 경우, 재학습해도 음성의 성능에 큰 변화가 없을 수 있습니다. * 재학습해도 슬롯의 유형은 변경되지 않습니다. * 재학습을 통해 기본 커스텀 슬롯의 지원 언어를 전환할 수 있습니다. {% hint style="info" %} **언제 음성을 재학습해야 하나요?** * 데이터셋의 품질이 더 좋거나 양이 더 많아지면, 이를 사용해 음성을 반복적으로 개선할 수 있습니다. * 현재 결과가 만족스럽지 않고 데이터셋을 조정하고 싶을 때 * 새로운 가창 언어 기능이 출시될 때 {% endhint %} ### 음성 관리하기
버전 AI는 각 샘플을 단계별 과정으로 분석하며, 데이터를 바탕으로 점진적으로 학습합니다. 학습이 깊어질수록 단계 수는 증가합니다. 가창용이 아니라 음성용으로 설계된 것처럼 품질이 낮거나 제한적인 데이터셋으로 학습하면 몇 단계만으로도 충분할 수 있습니다. 반면, 더 크고 다양한 데이터셋은 충분한 적합을 위해 추가 단계가 필요할 수 있습니다. 그러나 학습 단계가 과도하면 과적합이 발생하여 예측하기 어려운 결과와 함께 음성 성능이 저하될 수 있습니다. 학습이 끝나면 Rare부터 Well-done까지 서로 다른 학습 단계에 기반한 여러 버전을 얻게 됩니다. 배포 버전을 전환하며 서로 비교해 가장 적합한 버전을 찾을 수 있습니다.
음성 혼합 음성들을 혼합하면 하이브리드 음성이 만들어집니다. 혼합된 음성의 비율을 조정하여 대상 음성에 더 가깝게 들리도록 음성을 커스터마이즈할 수 있습니다. 이렇게 하려면 슬롯 관리 페이지로 이동해 각 버전 아래에 있는 ‘음성 혼합’ 버튼을 클릭하세요. 음성 혼합 후에는 음성이 새로운 음성 특성을 적용합니다. 변경 사항을 적용하려면 ACE Studio를 다시 시작하여 음성을 새로고침해야 합니다.
ACE Studio에 배포 기본 커스텀 슬롯과 프로 커스텀 슬롯의 경우, 버전을 배포한 뒤 한 버전에서 다른 버전으로 배포를 전환할 수 있습니다. 각 배포 후에는 ACE Studio를 다시 실행하여 음성 라이브러리를 새로고침해야 합니다.
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.acestudio.ai/docs/product-wiki-ko/voice-cloning/cloning-a-voice-for-vocal-synth.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.