AI › 생성형 AI › 이미지 · 멀티모달 › 멀티모달

음성 추론 모델Speech Reasoning Models

음성을 글자로 바꾸지 않고 소리 그대로 받아 대화의 맥락 · 의도를 추론하고, 다음 응답과 할 일을 정하는 음성 AI 다. 음성 인식 · 텍스트 LLM · 음성 합성을 차례로 잇는 연쇄 방식과 달리 한 모델이 듣고 생각하고 말한다.

1요약

  1. 음성 추론 모델은 멀티모달 가운데 듣기 · 생각하기 · 말하기를 한 모델로 묶은 음성 AI 로, 2023년 SpeechGPT · 2024년 Moshi 를 거쳐 2026-10 가트너 2027 전략 기술 트렌드에 올랐고, 그 위에서 음성 상담 · 음성 비서의 여러 턴 대화와 작업 처리가 돈다.
  2. 음성 인식 → 텍스트 LLM → 음성 합성을 잇는 연쇄 방식은 가운데의 글자 한 줄에서 감정 · 겹친 말 · 시간을 잃고 주고받기 지연이 수 초인데, Moshi 는 오디오 토큰을 바로 다뤄 실제 지연 200 ms 로 사람 대화 평균 230 ms 안에 들어왔다(Défossez 2024 1절 · 초록).
  3. 「음성 봇이 답답하다」는 지연 · 비언어 정보 · 끼어들기 순서로 가른다 — 지연은 단계별 시간 기록으로 바로 재고, 나머지 둘은 녹취와 전사를 나란히 들어야 드러난다.

2등장 배경

기존 음성 상담 · 음성 비서는 말 끝 감지(VAD) → 음성 인식 → 텍스트 LLM → 음성 합성의 네 단계를 차례로 이었다. 단계마다 앞 단계가 끝나기를 기다려 전체 지연이 보통 수 초였고, 글자로 바뀌는 순간 감정 · 비언어 소리가 빠지며, 말차례로 끊어 들어 겹친 말 · 끼어들기를 다루지 못했다(Défossez 2024 1절). 사람 대화의 응답 간격은 10개 언어 평균 230 ms 다(같은 곳).

Zhang 외(2023)의 SpeechGPT 는 소리를 이산 음성 단위로 바꿔 LLM 이 음성을 직접 듣고 말하게 한 초기 시도였다. Défossez 외(2024)의 Moshi 는 오디오 코덱 토큰과 7B 언어 모델로 사용자 · 모델 두 흐름을 동시에 다뤄 이론 지연 160 ms · 실제 200 ms 의 실시간 대화를 보였다.

가트너는 2027 전략 기술 트렌드(2026-10 발표)의 「비텍스트 AI」 주제에 음성 추론 모델을 넣고, 10년 동안의 고객 지원 자동화가 정확도 · 속도 · 해결률을 채우지 못했다고 짚었다(Network World 2026-10). 전망은 «2026년 10% 미만인 기업 음성 상호작용의 자율 처리가 2030년 70% 이상이 된다»이다(가트너 · 2026-10 · 전망 · 보도 인용). 다만 소리 위 추론은 아직 무르다 — 소리 1만 개 · 기술 27가지 벤치마크에서 가장 높은 모델의 정답률이 52.97% 였다(Sakshi 2024).

3쉽게 이해하기 — 쪽지를 돌리는 상담실과 직접 듣는 상담원

상담실 A 에서는 손님 전화를 직원 셋이 나눠 맡는다. 첫 직원이 손님 말을 쪽지에 받아 적으면 둘째 직원이 쪽지만 보고 답을 쓰고, 셋째 직원이 그 답을 소리 내어 읽어 준다. 쪽지에는 낱말만 남아 손님의 한숨 · 머뭇거림이 사라지고, 손님은 세 사람을 거치는 몇 초를 기다린다. 상담실 B 의 상담원은 헤드셋으로 손님 목소리를 직접 들으며 머릿속으로 짧게 메모하고, 손님이 말하는 중에도 맞장구를 치거나 말을 멈춘다.

상담실 A — 쪽지를 돌리는 직원 셋 손님 사용자 음성 받아 적기 음성 인식(ASR) 쪽지 한 줄 전사 텍스트 답 쓰기 텍스트 LLM 읽어 주기 음성 합성(TTS) 1 2 3 4 쪽지에는 낱말만 — 한숨 · 머뭇거림 · 말한 때가 사라짐 세 사람을 거치며 몇 초 대기 상담실 B — 직접 듣는 상담원 손님 사용자 음성 상담원 음성 추론 모델 머릿속 메모 내적 독백 5 손님 말 — 소리 그대로 6 대답 — 듣는 중에도 겹쳐 말함 말하는 중에도 듣는다 — 두 흐름을 함께 다룸(다중 흐름) 사람 모델 문맥 출력 빠지는 정보

그림 1 · 상담실 A 는 쪽지 한 줄을 세 사람이 돌려 읽어 느리고 한숨이 빠지지만, 상담실 B 의 상담원은 목소리를 직접 들으며 말하는 중에도 듣는다.

받아 적기첫 직원이 쪽지에 낱말만
답 쓰기둘째 직원이 쪽지만 보고
읽어 주기셋째 직원이 답을 소리로
직접 듣기상담원이 목소리 그대로
머릿속 메모들으며 짧게
겹쳐 말하기손님 말 중에도 맞장구
비유 — 쪽지에 남는 것 실제 — 글자 토큰과 오디오 토큰 (한숨) 환불이요 (머뭇) 받아 적기 환불이요 남는 것 = 낱말 빠지는 것 = 한숨 · 머뭇거림 · 말한 때 내용(낱말 · 의미) 빠지는 정보 음향 정보 전사 텍스트 — 낱말 토큰만 · 시간 정보 없음 환불 이요 오디오 토큰 — 80 ms 마다 8개 의미 음향 ×7 80 ms 80 ms 80 ms 80 ms 1초 = 12.5 프레임 × 8 = 토큰 100개 억양 · 세기 · 말한 때가 토큰에 함께 남음

그림 2 · 쪽지에는 「환불이요」만 남지만, 오디오 토큰은 80 ms 마다 8개씩 쌓여 말의 내용과 억양 · 세기 · 말한 때를 함께 싣는다.

비유 속 역할실제 이름실제로 하는 일
손님의 목소리사용자 음성24 kHz 파형으로 들어온다
받아 적는 직원음성 인식(ASR)소리를 글자 열로 바꾼다
쪽지 한 줄전사 텍스트낱말만 남고 억양 · 시간 정보가 빠진다
답을 쓰는 직원텍스트 LLM글자만 보고 답 글을 만든다
읽어 주는 직원음성 합성(TTS)답 글을 소리로 읽는다
헤드셋을 쓴 상담원음성 추론 모델오디오 토큰을 듣고 추론해 바로 말한다
머릿속 메모내적 독백프레임마다 시간 정렬된 텍스트 토큰을 오디오보다 먼저 낸다
말하는 중에도 듣기다중 흐름사용자 · 모델 오디오를 같은 프레임에서 함께 다룬다

⚠ 비유가 맞지 않는 곳: 연쇄 방식의 직원 셋은 실제로 프로그램 셋이라 «사람 수»가 아니라 앞 단계 결과를 기다리는 구조가 지연을 만든다. 상담원의 «생각»도 사람의 생각이 아니라 프레임마다 내는 텍스트 토큰과 다음 오디오 토큰의 확률이다.

4구조 · 동작 — Moshi 의 80 ms 한 프레임

공개 구조가 가장 자세한 Moshi 를 기준으로 구성 요소와 한 프레임의 흐름을 따라간다(Défossez 2024 3.3 · 3.4절). 오디오 코덱이 파형과 토큰을 오가고, 그 사이의 음성-텍스트 모델이 듣기 · 생각하기 · 말하기를 한 번에 맡는다.

연쇄 방식 — 음성 → 글자 → 음성 사용자 음성 말 끝 감지 VAD 음성 인식 ASR 텍스트 LLM 글자로 추론 음성 합성 TTS 응답 음성 글자만 넘어감 — 감정 · 비언어 소리 · 겹친 말이 빠짐 턴마다 수 초 지연 음성 추론 모델 — 소리 그대로 사용자 음성 코덱 인코더 80 ms마다 8개 음성-텍스트 모델 — 7B 사용자 오디오 흐름 내적 독백 — 시간 정렬 텍스트 모델 오디오 흐름 코덱 디코더 토큰 → 파형 응답 음성 1 2 3 4 5 80 ms 프레임마다 듣고 말함 — 이론 지연 160 ms · 실제 200 ms(사람 대화 평균 230 ms) 사람 음성 오디오 토큰 텍스트 문맥 모델 출력 빠지는 정보

그림 3 · 연쇄 방식은 가운데에서 말이 글자로만 넘어가지만, 음성 추론 모델은 80 ms 프레임의 오디오 토큰 위에서 사용자 · 모델 두 흐름과 내적 독백 텍스트를 함께 다룬다.

요소값역할근거
오디오 코덱24 kHz · 12.5 Hz · 양자화기 8개 × 2,048 코드 · 1.1 kbps파형 ↔ 토큰Défossez 2024 3.3절
의미 토큰첫 번째 코드 · 자기 지도 음성 모델(WavLM)에서 증류말의 내용3.3.2절
음향 토큰나머지 7개 · 의미 토큰보다 1 ~ 2 단계 늦게 생성음색 · 억양3.4.2절
시간 트랜스포머7B프레임 사이 문맥 · 추론3.4절
다중 흐름프레임마다 하위 열 17개(텍스트 1 + 모델 8 + 사용자 8)듣기 · 말하기 동시3.4.4절
  1. 사용자 음성이 24 kHz 파형으로 코덱 인코더에 들어간다.
  2. 코덱 인코더가 80 ms 마다 프레임 하나를 만들고 토큰 8개를 낸다 — 첫째는 말의 내용, 나머지 7개는 음색 · 억양을 싣는다.
  3. 시간 트랜스포머가 지난 프레임 전부를 문맥으로 보고, 깊이 트랜스포머가 이번 프레임의 하위 열 17개를 차례로 만든다.
  4. 하위 열 가운데 텍스트 토큰(내적 독백)이 먼저 나오고 모델의 의미 · 음향 토큰이 그 뒤를 잇는다 — 글자 추론과 소리가 한 모델 안에 있다.
  5. 코덱 디코더가 모델 오디오 토큰을 파형으로 되돌린다 — 이론 지연 160 ms, 실제 200 ms 다(Défossez 2024 초록).
  6. 가트너가 말하는 기업용 음성 추론 모델은 여기에 의도 판단과 작업 연쇄 실행을 더해 여러 턴의 문제 풀이 · 화제 전환 · 오류 회복까지 맡는 것을 목표로 한다(Network World 2026-10).

🔑 연쇄 방식의 약점은 모델 크기가 아니라 가운데의 글자 한 줄이다 — 그 줄에서 감정 · 겹친 말 · 시간이 함께 빠진다.

같은 프레임에 세 흐름 — 듣기와 말하기가 겹친다 프레임마다 하위 열 17개 = 텍스트 1 + 모델 오디오 8 + 사용자 오디오 8 · t = 80 ms 프레임 · 배치는 설명용 예 t1 t2 t3 t4 t5 t6 사용자 오디오 8 내적 독백 텍스트 1 모델 오디오 8 말함 말함 말함 조용 조용 끼어듦 「네,」 「환불」 「절차는」 글자 먼저 말함 말함 굵은 테두리 = 겹친 말 — 모델이 말하는 t6 에 사용자 말이 함께 들어옴 연쇄 방식 = 말 끝 감지 뒤 한 흐름씩 — t6 같은 겹친 프레임을 표현하지 못함

그림 4 · 프레임마다 사용자 오디오 · 내적 독백 · 모델 오디오가 함께 놓여, 모델이 말하는 t6 에 사용자가 끼어들어도 같은 프레임의 두 흐름으로 표현된다.

🔑 연쇄 방식은 말차례를 «기다리는» 구조이고, 음성 추론 모델은 두 흐름을 «같은 프레임에 겹쳐 놓는» 구조다 — 끼어들기는 덧붙인 기능이 아니라 표현 형식에서 나온다.

5비교 — 연쇄 방식과 관련 음성 · 언어 모델

방식입력출력중간 표현겹친 말
연쇄 방식(ASR → LLM → TTS)음성음성전사 텍스트 한 줄말차례로 끊어 처리 · 다루지 못함
음성 인식음성글자 열프레임별 기호 확률다루지 않음(받아쓰기)
음성 합성글자 열음성음향 특징다루지 않음(주어진 글 읽기)
추론 모델텍스트텍스트텍스트 사고 토큰해당 없음
비전 언어 모델(VLM)이미지 + 텍스트텍스트이미지 토큰해당 없음
음성 추론 모델음성음성 + 다음 행동오디오 토큰 + 내적 독백두 흐름을 같은 프레임에

분석말차례가 분명하고 기록(전사)이 남아야 하는 업무는 연쇄 방식이 여전히 다루기 쉽고, 끼어들기 · 감정 · 지연이 결과를 가르는 상담은 음성 추론 모델이 맞다. 근거는 연쇄 방식의 손실 셋(지연 · 비언어 정보 · 겹친 말 · Défossez 2024 1절)이 모두 대화 품질 쪽에서 생긴다는 점이다.

6실무 진단 — 지연 · 비언어 정보 · 끼어들기 가르기

분석지연 → 비언어 정보 → 끼어들기 순서로 본다. 지연은 단계별 시간 기록으로 바로 잴 수 있고, 나머지 둘은 녹취를 들어야 드러나므로 잴 수 있는 것부터 없앤다(Défossez 2024 1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1대답이 한 박자 늦다말 끝 감지 대기 + 단계마다 앞 결과를 기다림연쇄 구조단계별 시작 · 끝 시각 기록사람 응답 간격 평균 230 ms 와 견줌(Défossez 2024 1절)
2화난 손님에게 평이하게 답한다전사 텍스트에서 감정 · 비언어 소리가 빠짐음성 인식 → LLM 경계같은 턴의 녹취 ↔ 전사 대조녹취에 있고 전사에 없는 정보 = 연쇄 손실(같은 곳)
3손님이 끼어들어도 계속 말한다말차례 방식 · 한 흐름만 처리대화 제어겹친 말 구간 녹취사용자 · 모델 흐름을 같은 프레임에 다루는가(3.4.4절)
4소리로 물은 판단을 자주 틀린다소리 위 추론 성능 부족모델업무 녹취로 만든 평가 묶음공개 벤치마크 최고 정답률 52.97%(Sakshi 2024)

7시험 대비

시험에서는 음성 추론 모델의 개념과 구성을 묻는 정의 · 특징형, 그리고 기존 연쇄 방식과 견주는 비교형이 나올 수 있다. 정의형은 그림 3 으로 구성을 놓고 그림 4 로 다중 흐름을 보이며, 비교형은 비교 표의 연쇄 방식 행과 음성 추론 모델 행을 손실 셋(지연 · 비언어 정보 · 겹친 말)으로 엮는다.

답안 목차
  1. 개요 — 정의(소리 그대로 듣고 추론해 말함) · 연쇄 방식과 다른 한 줄 · 등장 배경(지연 수 초 ↔ 사람 평균 230 ms)
  2. 구성 — 그림 3(코덱 인코더 · 음성-텍스트 모델 · 코덱 디코더)과 요소 표(12.5 Hz · 토큰 8개 · 하위 열 17개)
  3. 동작 원리 — 그림 4(사용자 오디오 · 내적 독백 · 모델 오디오 세 흐름 · 겹친 말 t6)
  4. 비교 — 연쇄 방식 ↔ 음성 추론 모델 표(중간 표현 · 지연 · 겹친 말) + 업무별 선택 기준
  5. 한계와 전망 — 소리 추론 정답률 52.97%(MMAU) · 전사 기록 문제 · 가트너 전망(2030년 70% 이상 · 전망)

꼭 쓸 키워드
연쇄 방식오디오 코덱 토큰의미 토큰내적 독백다중 흐름full-duplex지연 160 ms말차례MMAU

다른 답안과 차이를 내는 한 가지는 그림 4 의 프레임 시간축이다 — 끼어들기가 «같은 프레임 안의 두 흐름»으로 표현된다는 것을 한 장으로 보인다.

8오해와 사실

  • 오해음성 인식 · LLM · 음성 합성을 한 서버에 모으면 음성 추론 모델이 된다.
    사실가운데에 전사 텍스트가 남으면 여전히 연쇄 방식이고, 음성 추론 모델은 오디오 토큰을 모델 입력 · 출력에 직접 넣어 사용자 · 모델 두 흐름을 같은 프레임에 다룬다(Défossez 2024 3.4.4절).
  • 오해소리를 직접 들으면 글자로 하는 추론보다 늘 정확하다.
    사실소리 1만 개 · 기술 27가지 벤치마크에서 가장 높은 모델도 정답률 52.97% 였고(Sakshi 2024), Moshi 도 오디오 앞에 텍스트 토큰(내적 독백)을 함께 낸다(Défossez 2024 3.4.4절).

9핵심 정리

구분맡는 일단위 · 값대표 기법실패 신호
연쇄 방식음성 → 글자 → 음성턴 단위 · 지연 수 초VAD · ASR · LLM · TTS늦은 대답 · 감정 무시
코덱 인코더파형 → 토큰80 ms · 토큰 8개잔차 벡터 양자화(RVQ)음질 저하
의미 토큰말의 내용첫 번째 코드자기 지도 모델 증류낱말 오인식
내적 독백시간 정렬 글자 추론프레임마다 텍스트 1오디오 앞 텍스트 접두말 내용 품질 저하
다중 흐름듣기 · 말하기 동시하위 열 17개시간 · 깊이 트랜스포머끼어들기 무시
평가소리 위 추론 측정소리 1만 개 · 기술 27가지MMAU최고 정답률 52.97%

이 글은 2026-10 가트너 「2027 전략 기술 트렌드」 발표 기준이다 · 다음 트렌드 발표 때 다시 본다.

10참고 문헌

  1. 먼저 볼 문헌
  2. ★ Gartner's top tech trends for 2027 expand—and constrain—AI capabilities (Network World · Ann Bednarz) — 가트너 2027 트렌드의 음성 추론 모델 정의와 2030년 전망 숫자를 볼 때
    Network World · 2026-10-20 · www.networkworld.com/article/4238030/gartners-top-tech-trends-for-2027-expand-and-constrain-ai-capabilities.html · 확인 2026-11-18
  3. ★ Moshi: a speech-text foundation model for real-time dialogue (Défossez et al.) — 연쇄 방식의 지연 · 정보 손실과 두 오디오 흐름 · 내적 독백 구조를 볼 때
    arXiv · 2024-09 · arxiv.org/abs/2410.00037 · 확인 2026-11-18
  4. ★ SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities (Zhang et al.) — 이산 음성 단위로 LLM 이 음성을 직접 듣고 말하게 한 초기 시도를 볼 때
    arXiv · 2023-05 · arxiv.org/abs/2305.11000 · 확인 2026-11-18
  5. ★ MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark (Sakshi et al.) — 소리 위 추론이 아직 어디까지 되는지 점수로 볼 때
    arXiv · 2024-10 · arxiv.org/abs/2410.19168 · 확인 2026-11-18
  6. 본문 근거
  7. Gartner Identifies the Top Strategic Technology Trends for 2027 — CXOToday · 2026-10 · cxotoday.com/others/gartner-identifies-the-top-strategic-technology-trends-for-2027/ · 확인 2026-11-18