음성 합성Text-to-Speech
글(텍스트)을 사람 목소리처럼 들리는 음성 파형으로 바꾸는 기술이다. 신경망 방식은 텍스트를 음소로 바꾸고, 음소에서 멜 스펙트로그램을, 멜 스펙트로그램에서 파형을 만든다.
1요약
- 음성 합성은 이미지 · 멀티모달 가운데 생성 쪽 끝에서 텍스트를 소리로 되돌리는 기술로, 텍스트 프런트엔드 · 음향 모델 · 보코더 셋으로 나뉘며(Ren 2020 · Kong 2020), 그 위에서 역 안내 방송 · 화면 낭독기 · 음성 비서의 답이 돈다.
- 녹음 조각을 이어 붙이는 연결 합성은 녹음에 없는 목소리를 못 내고 통계 파라미터 합성은 부자연스러워(MOS 3.69 ↔ 연결 4.09 · Wang 2017 표 2), 신경망 방식이 녹음과의 차이를 0.03 MOS 까지 줄였다(VITS 4.43 ↔ 녹음 4.46 · Kim 2021 표 1).
- 「합성음이 이상하다」는 어느 단계의 실패인지로 가른다 — 숫자 · 낱말을 잘못 읽으면 프런트엔드, 낱말이 빠지거나 박자가 어긋나면 음향 모델, 소리 결이 거칠면 보코더다.
2등장 배경
1990 ~ 2000년대 안내 방송 시스템은 성우 녹음을 음소 · 음절 조각으로 잘라 이어 붙였다. 조각이 많으면 자연스러웠지만 새 목소리 · 새 말투마다 몇 시간씩 다시 녹음해야 했고, 조각 이음매에서 소리가 튀었다. 통계 파라미터 합성은 HMM 과 결정 트리로 음성 파라미터를 예측해 녹음량을 줄였고, Zen · Senior · Schuster(2013)는 그 결정 트리를 심층 신경망으로 바꿨다(Zen 2013).
2017년 Tacotron 은 글자에서 바로 스펙트로그램을 예측하고 Griffin-Lim 알고리즘(1984)으로 파형을 만들어 MOS 3.82 를 얻었다(Wang 2017 3.4 · 5.2절). 그 뒤 FastSpeech 2(2020)가 음소마다 길이를 예측해 병렬로 만들고, HiFi-GAN(2020)이 실시간보다 167.86배 빠른 보코더를 내놓았다(Ren 2020 · Kong 2020 표 1).
VITS(2021)는 음향 모델과 보코더를 한 모델로 합쳤고, VALL-E(2023)는 멜 스펙트로그램 대신 오디오 코덱 토큰을 언어 모델로 예측해 3초 녹음만으로 처음 듣는 목소리를 흉내 냈다(Kim 2021 · Wang 2023). 같은 능력이 목소리 사칭 위험을 키워, 논문 스스로 합성음 판별 모델을 대응으로 적었다(Wang 2023 Broader impacts).
3쉽게 이해하기 — 가사를 노래로 만드는 편곡실
편곡실에 원고 한 장이 들어온다 — 「3번 출구로 나가세요」. 교정자가 숫자를 「삼 번」으로 풀어 쓰고, 발음 기록자가 소리 나는 대로 적은 뒤, 지휘자가 음마다 몇 박을 줄지 정한다. 편곡자는 그 박자대로 음 높이 · 세기를 악보에 그리고, 연주자가 악보를 보며 실제 소리를 낸다.
그림 1 · 원고는 교정 · 발음 기록 · 박자 정하기를 거쳐 악보가 되고, 연주자가 악보를 소리로 바꿔야 비로소 들린다.
그림 2 · 악보에는 손놀림이 적히지 않듯, 멜 스펙트로그램에는 위상과 세부 주파수가 없어서 보코더가 그것을 다시 만들어야 한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 원고 | 입력 텍스트 | 숫자 · 약어 · 문장 부호가 섞인 글 |
| 교정자 | 텍스트 정규화 | 「3번」 → 「삼 번」처럼 읽는 말로 풀어 쓴다 |
| 발음 기록자 | G2P(문자 → 음소 변환) | 글자를 실제 발음되는 음소 열로 바꾼다 |
| 지휘자 | 길이 예측 · 변이 어댑터 | 음소마다 멜 프레임 몇 개를 줄지 정하고 음높이 · 에너지를 더한다 |
| 편곡자의 악보 | 음향 모델 · 멜 스펙트로그램 | 프레임마다 멜 밴드 80개의 세기를 예측한다 |
| 연주자 | 보코더 | 멜 스펙트로그램에서 파형 표본을 만든다 |
| 다시 들리는 소리 | 합성 파형 | 스피커로 나가는 22,050 Hz 표본 열 |
⚠ 비유가 맞지 않는 곳: 지휘자 · 편곡자 · 연주자는 따로 일하는 사람이지만, 종단 간 모델(VITS)은 박자 정하기부터 소리 내기까지를 한 신경망이 함께 배운다. 연주자는 손놀림을 기억으로 채우지만 보코더는 학습한 녹음의 통계로 채우므로, 학습 때 못 본 악보(예측 멜)에서는 소리 결이 거칠어진다.
4구조 — 프런트엔드 · 음향 모델 · 보코더
신경망 음성 합성 대부분은 저해상도 중간 표현(멜 스펙트로그램)을 먼저 예측하고 그것을 파형으로 바꾸는 2단계 구성이다(Kong 2020 1절). FastSpeech 2 는 음소 임베딩 · 은닉 256차원, 인코더 · 멜 디코더 각 4블록의 셀프 어텐션 구조이고(Ren 2020 부록 A), 셀프 어텐션 자체는 트랜스포머가 설명한다.
그림 3 · 프런트엔드가 글을 음소로, 음향 모델이 음소를 멜 프레임으로, 보코더가 멜을 파형으로 바꾸며, 종단 간 모델은 뒤의 둘을 한 모델로 묶는다.
| 요소 | 입력 → 출력 | 값 · 근거 | 역할 |
|---|---|---|---|
| 프런트엔드 | 글 → 음소 ID | 공개 G2P 도구 · 음소 사전 76개(Ren 2020 3.1절 · 부록 A) | 잘못 읽기를 막는다 |
| 인코더 | 음소 N → N × 256 | 셀프 어텐션 블록 4개(Ren 2020 부록 A) | 음소마다 문맥을 담은 벡터 |
| 변이 어댑터 | N × 256 → T × 256 | 길이 = MFA 정렬로 학습 · 에너지 256단계(Ren 2020 2.3절) | 길이를 음소 수 N 에서 프레임 수 T 로 늘린다 |
| 멜 디코더 | T × 256 → 80 × T | 22,050 Hz · 창 1,024 · hop 256(Ren 2020 3.1절) | 프레임마다 멜 밴드 80개 |
| 보코더 | 80 × T → 256T 표본 | HiFi-GAN V1 1,392만 파라미터(Kong 2020 4.1절) | 버린 위상 · 세부를 학습으로 채운다 |
| 코덱 토큰(대안) | 음소 + 3초 녹음 → 코덱 토큰 | 24 kHz · 75 Hz × 코드북 8개 · 각 1,024(Wang 2023 3절) | 멜 대신 이산 토큰을 언어 모델로 예측 |
🔑 음소 수와 프레임 수는 다르다 — 음향 모델의 핵심 일은 «음소 하나가 프레임 몇 개인가»를 정하는 것이고, 이 정렬이 틀리면 뒤 단계가 아무리 좋아도 낱말이 빠지거나 겹친다.
5동작 — 「3번 출구로 나가세요」 한 문장 합성
문장과 음소별 프레임 수는 설명용 가정 값이고, 표본 수 · 시간은 FastSpeech 2 · HiFi-GAN 설정 값(22,050 Hz · hop 256)으로 직접 셈한 값이다.
- 텍스트 정규화가 「3번 출구로 나가세요」의 숫자를 「삼 번」으로 풀어 쓴다 — 숫자 · 단위 읽기는 언어마다 규칙이 달라 프런트엔드가 맡는다.
- G2P 가 음소 20개(ㅅ ㅏ ㅁ ㅂ ㅓ ㄴ ㅊ ㅜ ㄹ ㄱ ㅜ ㄹ ㅗ · ㄴ ㅏ ㄱ ㅏ ㅅ ㅔ ㅛ)와 「출구로」 뒤 쉼 1개, 모두 21개 토큰을 낸다.
- 인코더가 21개 토큰을 21 × 256 벡터로 바꾼다(Ren 2020 부록 A).
- 길이 예측기가 토큰마다 프레임 수를 낸다(가정 값 5 · 8 · 6 · … · ㅛ 13 · 쉼 6) — 합계 127 프레임이고, 한 프레임은 256 ÷ 22,050 = 11.61 ms 라 음소 하나가 평균 6.05 프레임 = 70 ms 다.
- 길이 조절이 21개 벡터를 프레임 수만큼 복제해 127 × 256 으로 늘리고, 음높이 · 에너지 정보를 더한 뒤 멜 디코더가 멜 80 × 127 = 10,160개 값을 만든다(Ren 2020 2.3절).
- 보코더가 프레임마다 256 표본을 만들어 127 × 256 = 32,512 표본 = 1.474초 파형을 낸다 — HiFi-GAN V1 의 GPU 속도 3,701 kHz 로 셈하면 약 8.8 ms 다(Kong 2020 표 1).
- 같은 문장을 자기회귀 Transformer TTS 로 만들면 RTF 0.932 라 약 1.37초, FastSpeech 2 는 RTF 0.0195 라 약 29 ms 가 걸린다(Ren 2020 표 2 · 보코더 포함 RTF × 1.474초).
그림 4 · 21개 음소 토큰이 예측 길이만큼 늘어나 127 프레임이 되고, 프레임마다 256 표본이 붙어 32,512 표본 파형이 된다.
보코더가 하는 일은 그림 2 의 «버린 위상과 세부를 되살리기»다. 이를 직접 실행(합성 데이터)으로 확인했다 — 기본 주파수 140 → 110 Hz 로 내려가는 0.6초 합성 모음(시드 0)을 같은 설정(22,050 Hz · 창 1,024 · hop 256)으로 바꾸면 크기 513 × 52 = 26,676개 값이 멜 80 × 52 = 4,160개로 줄고, 멜에서 되돌린 크기의 오차는 0.428 이다(NumPy numpy.fft 문서로 STFT 구현).
그림 5 · 위상은 반복으로 되찾아 오차가 계속 줄지만, 멜이 버린 세부는 반복으로 되찾지 못해 오차가 0.45 근처에서 멈춘다.
크기를 그대로 두고 위상만 무작위에서 추정하면 Griffin-Lim 이 반복마다 오차를 줄여 50번에 0.149, 200번에 0.085 가 된다(Tacotron 도 약 50번에서 수렴했다고 적음 · Wang 2017 3.4절). 멜 밴드 80개에서 되돌린 크기로 같은 반복을 하면 50번 0.453 에서 멈춘다 — 시드 0 ~ 4 에서도 0.448 ~ 0.461 이었다.
🔑 위상은 계산으로 되찾지만 멜이 버린 세부는 계산으로 되찾지 못한다 — 신경망 보코더가 필요한 이유는 계산이 아니라 학습한 녹음 통계로 그 빈칸을 채우기 때문이다.
6비교 — 합성 방식의 세대
| 방식 | 만드는 단위 | 품질 근거 | 새 목소리 | 흔한 실패 |
|---|---|---|---|---|
| 연결 합성(단위 선택) | 녹음 조각 이어 붙이기 | MOS 4.09(Wang 2017 표 2) | 다시 녹음 | 조각 이음매 튐 |
| 통계 파라미터(HMM · DNN) | 음성 파라미터 → 신호 처리 보코더 | MOS 3.69(Wang 2017 표 2) | 적은 녹음으로 적응 | 웅웅거리는 소리 |
| 신경망 2단계 | 음소 → 멜 → 파형 | FastSpeech 2 3.83 ↔ 녹음 4.30(Ren 2020 표 1) | 화자 데이터로 다시 학습 | 예측 멜 ↔ 보코더 불일치 |
| 종단 간(VITS) | 음소 → 파형 한 모델 | 4.43 ↔ 녹음 4.46(Kim 2021 표 1) | 화자 데이터로 다시 학습 | 학습 · 조정이 한 덩어리 |
| 코덱 언어 모델(VALL-E) | 음소 + 녹음 3초 → 코덱 토큰 | WER 5.9 · 화자 유사도 0.580(Wang 2023 표 2) | 녹음 3초 · 다시 학습 없음 | 낱말 빠짐 · 사칭 오용 |
⚠ MOS 는 평가자 · 문장 · 실험마다 기준이 달라 논문 사이 숫자를 그대로 견주지 않는다. 같은 LJSpeech 녹음도 4.30(Ren 2020) · 4.45(Kong 2020) · 4.46(Kim 2021)으로 매겨졌고, 비교는 각 논문의 «녹음 대비 차이»로 읽는다.
분석정해진 목소리 하나로 빠르게 많이 읽어야 하면 신경망 2단계 또는 종단 간 방식, 짧은 녹음으로 여러 목소리를 내야 하면 코덱 언어 모델을 고르되 동의 · 표시 · 판별 장치를 함께 둔다. 근거는 표의 «새 목소리» 열과 VALL-E 논문의 오용 위험 서술이다(Wang 2023 Broader impacts).
음성을 글로 바꾸는 반대 방향은 음성 인식, 이미지를 글로 읽는 일은 비전 언어 모델(VLM)이 맡는다. 실존 인물 목소리 복제의 피해 · 탐지 · 법적 대응은 딥페이크가 맡는다.
7실무 진단 — 합성 실패의 단계 가르기
분석프런트엔드 출력(음소 열)부터 보고, 다음에 원래 녹음의 멜을 보코더에만 넣는 대조(복사 합성)로 보코더를 떼어 보고, 마지막에 음향 모델 정렬을 본다. 녹음 멜 → 보코더만으로도 MOS 가 4.30 에서 3.92 로 떨어진 실험처럼 보코더 몫이 따로 있기 때문이다(Ren 2020 표 1).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 「3번」을 「셋 번」으로 읽음 · 약어를 글자대로 읽음 | 정규화 · G2P 규칙 누락 | 프런트엔드 | 정규화 뒤 글 · 음소 열 | 음소 열이 틀리면 뒤 단계와 무관(Ren 2020 3.1절 G2P 사용 이유) |
| 2 | 낱말이 빠지거나 같은 구절이 되풀이 | 주의 정렬 실패(자기회귀) | 음향 모델 | 합성음을 음성 인식으로 받아 적은 WER | 삭제 · 삽입 · 바뀜 오류 = 정렬 실패(Wang 2023 5.1절) |
| 3 | 억양이 평평하고 단조로움 | 음높이 정보 부족 | 변이 어댑터 | 녹음과 합성의 음높이 윤곽 | 음높이 입력 제거 시 CMOS −0.245(Ren 2020 표 6) |
| 4 | 소리 결이 거칠고 쉭쉭거림 | 예측 멜 ↔ 보코더 불일치 | 보코더 | 녹음 멜 · 예측 멜 각각을 넣은 결과 | Tacotron 2 + HiFi-GAN 3.77 → 미세 조정 4.25(Kim 2021 표 1) |
| 5 | 응답이 실시간보다 느림 | 자기회귀 생성 | 음향 모델 · 보코더 | RTF(합성 시간 ÷ 음성 길이) | RTF 0.932 ↔ 0.0195(Ren 2020 표 2) |
4행에서 녹음 멜로는 깨끗하고 예측 멜로만 거칠면 보코더를 바꾸지 말고 음향 모델 출력으로 보코더를 미세 조정한다 — HiFi-GAN 논문도 예측 멜로 미세 조정해 품질을 올렸다(Kong 2020 4.4절).
8시험 대비
시험에서는 TTS 의 구성 요소와 처리 흐름을 묻는 정의 · 특징형, 연결 합성에서 신경망 · 종단 간 · 코덱 언어 모델로 이어지는 동향 · 발전형이 나올 수 있다. 정의형은 그림 3 의 세 단계와 길이 조절을, 동향형은 비교 표의 세대와 목소리 복제 위험을 함께 쓴다.
- 개요 — 정의 · 이미지 · 멀티모달 가운데 생성 쪽 위치 · 음성 인식과 반대 방향
- 구성 — 그림 3(프런트엔드 · 음향 모델 · 보코더 · 종단 간 묶음)과 요소 표
- 처리 흐름 — 그림 4 사례(음소 21개 → 127 프레임 → 32,512 표본 · 11.61 ms)
- 핵심 원리 — 그림 5(위상은 계산으로, 멜이 버린 세부는 학습으로) · Griffin-Lim ↔ 신경망 보코더
- 세대 비교 — 연결 · 통계 파라미터 · 2단계 · 종단 간 · 코덱 언어 모델 표 · MOS · RTF · 3초 녹음
- 평가와 위험 — MOS · WER · 화자 유사도 · 목소리 사칭 · 동의 · 합성음 표시 · 판별
꼭 쓸 키워드
텍스트 정규화G2P음향 모델변이 어댑터길이 조절멜 스펙트로그램보코더Griffin-Lim종단 간 TTS코덱 언어 모델MOSRTF
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 보코더가 왜 신경망이어야 하는지를 «위상 오차는 줄고 멜 오차는 멈춘다»는 두 선으로 보인다.
9오해와 사실
- 오해멜 스펙트로그램만 있으면 파형은 계산으로 그대로 되돌릴 수 있다.사실멜은 위상을 버리고 주파수 빈 513개를 멜 밴드 80개로 묶어, 직접 실행에서 Griffin-Lim 200번 뒤에도 크기 오차가 0.450 에 머물렀다.
- 오해논문의 MOS 가 높을수록 다른 논문 시스템보다 낫다.사실같은 녹음도 논문마다 4.30 ~ 4.46 으로 매겨져, 비교는 한 실험 안의 녹음 대비 차이로만 한다(Ren 2020 · Kong 2020 · Kim 2021 표 1).
- 오해남의 목소리를 흉내 내려면 몇 시간 분량 녹음이 필요하다.사실코덱 언어 모델은 처음 듣는 화자의 3초 녹음으로 화자 유사도 0.580 을 냈고, 논문은 사칭 위험을 스스로 적었다(Wang 2023 5.2절 · Broader impacts).
10핵심 정리
| 구분 | 입력 → 출력 | 시간 해상도 | 대표 값(근거) | 흔한 실패 |
|---|---|---|---|---|
| 프런트엔드 | 글 → 음소 | 음소 단위 | 음소 사전 76개(Ren 2020) | 숫자 · 약어 잘못 읽기 |
| 길이 조절 | 음소 N → 프레임 T | 1 프레임 = 11.61 ms | 에너지 256단계 · MFA 정렬(Ren 2020) | 낱말 빠짐 · 박자 어긋남 |
| 멜 스펙트로그램 | 프레임 → 멜 밴드 80개 | hop 256 표본 | 창 1,024 · 22,050 Hz(Ren 2020) | 위상 · 세부 손실 |
| 보코더 | 멜 → 파형 | 표본 단위 | HiFi-GAN V1 실시간 × 167.86(Kong 2020) | 예측 멜에서 거친 결 |
| 종단 간 모델 | 음소 → 파형 | 표본 단위 | VITS 4.43 ↔ 녹음 4.46(Kim 2021) | 단계별 진단이 어려움 |
| 코덱 언어 모델 | 음소 + 3초 → 코덱 토큰 | 75 Hz × 코드북 8 | WER 5.9 · 유사도 0.580(Wang 2023) | 목소리 사칭 오용 |
11참고 문헌
- 먼저 볼 문헌
- ★ FastSpeech 2: Fast and High-Quality End-to-End Text to Speech (ICLR 2021) — 길이 · 음높이 · 에너지를 예측하는 변이 어댑터와 MOS · RTF 표를 볼 때
- ★ HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis (NeurIPS 2020) — 멜 스펙트로그램을 파형으로 바꾸는 GAN 보코더의 품질 · 속도 표를 볼 때
- ★ Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech (VITS · ICML 2021) — 음향 모델과 보코더를 한 모델로 합친 종단 간 방식과 2단계 방식의 MOS 비교를 볼 때
- ★ Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) — 3초 녹음으로 새 목소리를 흉내 내는 코덱 언어 모델과 그 오용 위험 서술을 볼 때
- ★ Tacotron: Towards End-to-End Speech Synthesis (Interspeech 2017) — 연결 합성 · 통계 파라미터 합성과 첫 신경망 합성의 MOS 비교를 볼 때
- 본문 근거
- Statistical Parametric Speech Synthesis Using Deep Neural Networks (ICASSP 2013 7962-7966) — Google Research · 2013 ·
research.google/pubs/statistical-parametric-speech-synthesis-using-deep-neural-networks/· 확인 2026-11-13 - Signal Estimation from Modified Short-Time Fourier Transform (IEEE Transactions on Acoustics, Speech, and Signal Processing 32(2) 236-243) — IEEE · 1984-04 ·
doi.org/10.1109/TASSP.1984.1164317· 확인 2026-11-13 - NumPy documentation - Discrete Fourier Transform (numpy.fft) — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/routines.fft.html· 확인 2026-11-13