음성 추론 모델Speech Reasoning Models
음성을 글자로 바꾸지 않고 소리 그대로 받아 대화의 맥락 · 의도를 추론하고, 다음 응답과 할 일을 정하는 음성 AI 다. 음성 인식 · 텍스트 LLM · 음성 합성을 차례로 잇는 연쇄 방식과 달리 한 모델이 듣고 생각하고 말한다.
1요약
- 음성 추론 모델은 멀티모달 가운데 듣기 · 생각하기 · 말하기를 한 모델로 묶은 음성 AI 로, 2023년 SpeechGPT · 2024년 Moshi 를 거쳐 2026-10 가트너 2027 전략 기술 트렌드에 올랐고, 그 위에서 음성 상담 · 음성 비서의 여러 턴 대화와 작업 처리가 돈다.
- 음성 인식 → 텍스트 LLM → 음성 합성을 잇는 연쇄 방식은 가운데의 글자 한 줄에서 감정 · 겹친 말 · 시간을 잃고 주고받기 지연이 수 초인데, Moshi 는 오디오 토큰을 바로 다뤄 실제 지연 200 ms 로 사람 대화 평균 230 ms 안에 들어왔다(Défossez 2024 1절 · 초록).
- 「음성 봇이 답답하다」는 지연 · 비언어 정보 · 끼어들기 순서로 가른다 — 지연은 단계별 시간 기록으로 바로 재고, 나머지 둘은 녹취와 전사를 나란히 들어야 드러난다.
2등장 배경
기존 음성 상담 · 음성 비서는 말 끝 감지(VAD) → 음성 인식 → 텍스트 LLM → 음성 합성의 네 단계를 차례로 이었다. 단계마다 앞 단계가 끝나기를 기다려 전체 지연이 보통 수 초였고, 글자로 바뀌는 순간 감정 · 비언어 소리가 빠지며, 말차례로 끊어 들어 겹친 말 · 끼어들기를 다루지 못했다(Défossez 2024 1절). 사람 대화의 응답 간격은 10개 언어 평균 230 ms 다(같은 곳).
Zhang 외(2023)의 SpeechGPT 는 소리를 이산 음성 단위로 바꿔 LLM 이 음성을 직접 듣고 말하게 한 초기 시도였다. Défossez 외(2024)의 Moshi 는 오디오 코덱 토큰과 7B 언어 모델로 사용자 · 모델 두 흐름을 동시에 다뤄 이론 지연 160 ms · 실제 200 ms 의 실시간 대화를 보였다.
가트너는 2027 전략 기술 트렌드(2026-10 발표)의 「비텍스트 AI」 주제에 음성 추론 모델을 넣고, 10년 동안의 고객 지원 자동화가 정확도 · 속도 · 해결률을 채우지 못했다고 짚었다(Network World 2026-10). 전망은 «2026년 10% 미만인 기업 음성 상호작용의 자율 처리가 2030년 70% 이상이 된다»이다(가트너 · 2026-10 · 전망 · 보도 인용). 다만 소리 위 추론은 아직 무르다 — 소리 1만 개 · 기술 27가지 벤치마크에서 가장 높은 모델의 정답률이 52.97% 였다(Sakshi 2024).
3쉽게 이해하기 — 쪽지를 돌리는 상담실과 직접 듣는 상담원
상담실 A 에서는 손님 전화를 직원 셋이 나눠 맡는다. 첫 직원이 손님 말을 쪽지에 받아 적으면 둘째 직원이 쪽지만 보고 답을 쓰고, 셋째 직원이 그 답을 소리 내어 읽어 준다. 쪽지에는 낱말만 남아 손님의 한숨 · 머뭇거림이 사라지고, 손님은 세 사람을 거치는 몇 초를 기다린다. 상담실 B 의 상담원은 헤드셋으로 손님 목소리를 직접 들으며 머릿속으로 짧게 메모하고, 손님이 말하는 중에도 맞장구를 치거나 말을 멈춘다.
그림 1 · 상담실 A 는 쪽지 한 줄을 세 사람이 돌려 읽어 느리고 한숨이 빠지지만, 상담실 B 의 상담원은 목소리를 직접 들으며 말하는 중에도 듣는다.
그림 2 · 쪽지에는 「환불이요」만 남지만, 오디오 토큰은 80 ms 마다 8개씩 쌓여 말의 내용과 억양 · 세기 · 말한 때를 함께 싣는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님의 목소리 | 사용자 음성 | 24 kHz 파형으로 들어온다 |
| 받아 적는 직원 | 음성 인식(ASR) | 소리를 글자 열로 바꾼다 |
| 쪽지 한 줄 | 전사 텍스트 | 낱말만 남고 억양 · 시간 정보가 빠진다 |
| 답을 쓰는 직원 | 텍스트 LLM | 글자만 보고 답 글을 만든다 |
| 읽어 주는 직원 | 음성 합성(TTS) | 답 글을 소리로 읽는다 |
| 헤드셋을 쓴 상담원 | 음성 추론 모델 | 오디오 토큰을 듣고 추론해 바로 말한다 |
| 머릿속 메모 | 내적 독백 | 프레임마다 시간 정렬된 텍스트 토큰을 오디오보다 먼저 낸다 |
| 말하는 중에도 듣기 | 다중 흐름 | 사용자 · 모델 오디오를 같은 프레임에서 함께 다룬다 |
⚠ 비유가 맞지 않는 곳: 연쇄 방식의 직원 셋은 실제로 프로그램 셋이라 «사람 수»가 아니라 앞 단계 결과를 기다리는 구조가 지연을 만든다. 상담원의 «생각»도 사람의 생각이 아니라 프레임마다 내는 텍스트 토큰과 다음 오디오 토큰의 확률이다.
4구조 · 동작 — Moshi 의 80 ms 한 프레임
공개 구조가 가장 자세한 Moshi 를 기준으로 구성 요소와 한 프레임의 흐름을 따라간다(Défossez 2024 3.3 · 3.4절). 오디오 코덱이 파형과 토큰을 오가고, 그 사이의 음성-텍스트 모델이 듣기 · 생각하기 · 말하기를 한 번에 맡는다.
그림 3 · 연쇄 방식은 가운데에서 말이 글자로만 넘어가지만, 음성 추론 모델은 80 ms 프레임의 오디오 토큰 위에서 사용자 · 모델 두 흐름과 내적 독백 텍스트를 함께 다룬다.
| 요소 | 값 | 역할 | 근거 |
|---|---|---|---|
| 오디오 코덱 | 24 kHz · 12.5 Hz · 양자화기 8개 × 2,048 코드 · 1.1 kbps | 파형 ↔ 토큰 | Défossez 2024 3.3절 |
| 의미 토큰 | 첫 번째 코드 · 자기 지도 음성 모델(WavLM)에서 증류 | 말의 내용 | 3.3.2절 |
| 음향 토큰 | 나머지 7개 · 의미 토큰보다 1 ~ 2 단계 늦게 생성 | 음색 · 억양 | 3.4.2절 |
| 시간 트랜스포머 | 7B | 프레임 사이 문맥 · 추론 | 3.4절 |
| 다중 흐름 | 프레임마다 하위 열 17개(텍스트 1 + 모델 8 + 사용자 8) | 듣기 · 말하기 동시 | 3.4.4절 |
- 사용자 음성이 24 kHz 파형으로 코덱 인코더에 들어간다.
- 코덱 인코더가 80 ms 마다 프레임 하나를 만들고 토큰 8개를 낸다 — 첫째는 말의 내용, 나머지 7개는 음색 · 억양을 싣는다.
- 시간 트랜스포머가 지난 프레임 전부를 문맥으로 보고, 깊이 트랜스포머가 이번 프레임의 하위 열 17개를 차례로 만든다.
- 하위 열 가운데 텍스트 토큰(내적 독백)이 먼저 나오고 모델의 의미 · 음향 토큰이 그 뒤를 잇는다 — 글자 추론과 소리가 한 모델 안에 있다.
- 코덱 디코더가 모델 오디오 토큰을 파형으로 되돌린다 — 이론 지연 160 ms, 실제 200 ms 다(Défossez 2024 초록).
- 가트너가 말하는 기업용 음성 추론 모델은 여기에 의도 판단과 작업 연쇄 실행을 더해 여러 턴의 문제 풀이 · 화제 전환 · 오류 회복까지 맡는 것을 목표로 한다(Network World 2026-10).
🔑 연쇄 방식의 약점은 모델 크기가 아니라 가운데의 글자 한 줄이다 — 그 줄에서 감정 · 겹친 말 · 시간이 함께 빠진다.
그림 4 · 프레임마다 사용자 오디오 · 내적 독백 · 모델 오디오가 함께 놓여, 모델이 말하는 t6 에 사용자가 끼어들어도 같은 프레임의 두 흐름으로 표현된다.
🔑 연쇄 방식은 말차례를 «기다리는» 구조이고, 음성 추론 모델은 두 흐름을 «같은 프레임에 겹쳐 놓는» 구조다 — 끼어들기는 덧붙인 기능이 아니라 표현 형식에서 나온다.
5비교 — 연쇄 방식과 관련 음성 · 언어 모델
| 방식 | 입력 | 출력 | 중간 표현 | 겹친 말 |
|---|---|---|---|---|
| 연쇄 방식(ASR → LLM → TTS) | 음성 | 음성 | 전사 텍스트 한 줄 | 말차례로 끊어 처리 · 다루지 못함 |
| 음성 인식 | 음성 | 글자 열 | 프레임별 기호 확률 | 다루지 않음(받아쓰기) |
| 음성 합성 | 글자 열 | 음성 | 음향 특징 | 다루지 않음(주어진 글 읽기) |
| 추론 모델 | 텍스트 | 텍스트 | 텍스트 사고 토큰 | 해당 없음 |
| 비전 언어 모델(VLM) | 이미지 + 텍스트 | 텍스트 | 이미지 토큰 | 해당 없음 |
| 음성 추론 모델 | 음성 | 음성 + 다음 행동 | 오디오 토큰 + 내적 독백 | 두 흐름을 같은 프레임에 |
분석말차례가 분명하고 기록(전사)이 남아야 하는 업무는 연쇄 방식이 여전히 다루기 쉽고, 끼어들기 · 감정 · 지연이 결과를 가르는 상담은 음성 추론 모델이 맞다. 근거는 연쇄 방식의 손실 셋(지연 · 비언어 정보 · 겹친 말 · Défossez 2024 1절)이 모두 대화 품질 쪽에서 생긴다는 점이다.
6실무 진단 — 지연 · 비언어 정보 · 끼어들기 가르기
분석지연 → 비언어 정보 → 끼어들기 순서로 본다. 지연은 단계별 시간 기록으로 바로 잴 수 있고, 나머지 둘은 녹취를 들어야 드러나므로 잴 수 있는 것부터 없앤다(Défossez 2024 1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 대답이 한 박자 늦다 | 말 끝 감지 대기 + 단계마다 앞 결과를 기다림 | 연쇄 구조 | 단계별 시작 · 끝 시각 기록 | 사람 응답 간격 평균 230 ms 와 견줌(Défossez 2024 1절) |
| 2 | 화난 손님에게 평이하게 답한다 | 전사 텍스트에서 감정 · 비언어 소리가 빠짐 | 음성 인식 → LLM 경계 | 같은 턴의 녹취 ↔ 전사 대조 | 녹취에 있고 전사에 없는 정보 = 연쇄 손실(같은 곳) |
| 3 | 손님이 끼어들어도 계속 말한다 | 말차례 방식 · 한 흐름만 처리 | 대화 제어 | 겹친 말 구간 녹취 | 사용자 · 모델 흐름을 같은 프레임에 다루는가(3.4.4절) |
| 4 | 소리로 물은 판단을 자주 틀린다 | 소리 위 추론 성능 부족 | 모델 | 업무 녹취로 만든 평가 묶음 | 공개 벤치마크 최고 정답률 52.97%(Sakshi 2024) |
7시험 대비
시험에서는 음성 추론 모델의 개념과 구성을 묻는 정의 · 특징형, 그리고 기존 연쇄 방식과 견주는 비교형이 나올 수 있다. 정의형은 그림 3 으로 구성을 놓고 그림 4 로 다중 흐름을 보이며, 비교형은 비교 표의 연쇄 방식 행과 음성 추론 모델 행을 손실 셋(지연 · 비언어 정보 · 겹친 말)으로 엮는다.
- 개요 — 정의(소리 그대로 듣고 추론해 말함) · 연쇄 방식과 다른 한 줄 · 등장 배경(지연 수 초 ↔ 사람 평균 230 ms)
- 구성 — 그림 3(코덱 인코더 · 음성-텍스트 모델 · 코덱 디코더)과 요소 표(12.5 Hz · 토큰 8개 · 하위 열 17개)
- 동작 원리 — 그림 4(사용자 오디오 · 내적 독백 · 모델 오디오 세 흐름 · 겹친 말 t6)
- 비교 — 연쇄 방식 ↔ 음성 추론 모델 표(중간 표현 · 지연 · 겹친 말) + 업무별 선택 기준
- 한계와 전망 — 소리 추론 정답률 52.97%(MMAU) · 전사 기록 문제 · 가트너 전망(2030년 70% 이상 · 전망)
꼭 쓸 키워드
연쇄 방식오디오 코덱 토큰의미 토큰내적 독백다중 흐름full-duplex지연 160 ms말차례MMAU
다른 답안과 차이를 내는 한 가지는 그림 4 의 프레임 시간축이다 — 끼어들기가 «같은 프레임 안의 두 흐름»으로 표현된다는 것을 한 장으로 보인다.
8오해와 사실
- 오해음성 인식 · LLM · 음성 합성을 한 서버에 모으면 음성 추론 모델이 된다.사실가운데에 전사 텍스트가 남으면 여전히 연쇄 방식이고, 음성 추론 모델은 오디오 토큰을 모델 입력 · 출력에 직접 넣어 사용자 · 모델 두 흐름을 같은 프레임에 다룬다(Défossez 2024 3.4.4절).
- 오해소리를 직접 들으면 글자로 하는 추론보다 늘 정확하다.사실소리 1만 개 · 기술 27가지 벤치마크에서 가장 높은 모델도 정답률 52.97% 였고(Sakshi 2024), Moshi 도 오디오 앞에 텍스트 토큰(내적 독백)을 함께 낸다(Défossez 2024 3.4.4절).
9핵심 정리
| 구분 | 맡는 일 | 단위 · 값 | 대표 기법 | 실패 신호 |
|---|---|---|---|---|
| 연쇄 방식 | 음성 → 글자 → 음성 | 턴 단위 · 지연 수 초 | VAD · ASR · LLM · TTS | 늦은 대답 · 감정 무시 |
| 코덱 인코더 | 파형 → 토큰 | 80 ms · 토큰 8개 | 잔차 벡터 양자화(RVQ) | 음질 저하 |
| 의미 토큰 | 말의 내용 | 첫 번째 코드 | 자기 지도 모델 증류 | 낱말 오인식 |
| 내적 독백 | 시간 정렬 글자 추론 | 프레임마다 텍스트 1 | 오디오 앞 텍스트 접두 | 말 내용 품질 저하 |
| 다중 흐름 | 듣기 · 말하기 동시 | 하위 열 17개 | 시간 · 깊이 트랜스포머 | 끼어들기 무시 |
| 평가 | 소리 위 추론 측정 | 소리 1만 개 · 기술 27가지 | MMAU | 최고 정답률 52.97% |
이 글은 2026-10 가트너 「2027 전략 기술 트렌드」 발표 기준이다 · 다음 트렌드 발표 때 다시 본다.
10참고 문헌
- 먼저 볼 문헌
- ★ Gartner's top tech trends for 2027 expand—and constrain—AI capabilities (Network World · Ann Bednarz) — 가트너 2027 트렌드의 음성 추론 모델 정의와 2030년 전망 숫자를 볼 때
- ★ Moshi: a speech-text foundation model for real-time dialogue (Défossez et al.) — 연쇄 방식의 지연 · 정보 손실과 두 오디오 흐름 · 내적 독백 구조를 볼 때
- ★ SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities (Zhang et al.) — 이산 음성 단위로 LLM 이 음성을 직접 듣고 말하게 한 초기 시도를 볼 때
- ★ MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark (Sakshi et al.) — 소리 위 추론이 아직 어디까지 되는지 점수로 볼 때
- 본문 근거
- Gartner Identifies the Top Strategic Technology Trends for 2027 — CXOToday · 2026-10 ·
cxotoday.com/others/gartner-identifies-the-top-strategic-technology-trends-for-2027/· 확인 2026-11-18