멀티모달 인터페이스Multimodal Interface
음성 · 펜 · 터치 · 시선 · 제스처 같은 둘 이상의 입력 방식(모달리티)을 함께 받아 시간과 의미를 맞춰 하나의 명령으로 합치고, 화면 · 음성 · 진동 가운데 상황에 맞는 출력으로 답하는 사용자 인터페이스다.
1요약
- 멀티모달 인터페이스는 인식기마다 내놓은 확률 섞인 후보를 통합 엔진(fusion)이 시간 표지로 묶어 한 의미로 합치는 구조이고, W3C 는 그 결과를 적는 형식을 EMMA 1.0(2009)으로 정했으며, 그 위에서 지도 · 차량 · 가전 · XR 기기의 «말하며 가리키는» 명령이 돈다.
- 인식기 하나는 틀리기 쉽지만 두 입력의 후보를 맞춰 보면 서로의 오류를 걸러 낸다 — 지도 과제 실험에서 사용자 오류는 36% 줄었고 작업 속도 향상은 10% 에 그쳤다(Dumas 2009 2.1절 · Oviatt 1997 인용).
- 「말로 명령했는데 엉뚱하게 됐다」는 인식 · 시간 · 결합 셋으로 가른다 — 후보 목록에 정답이 없으면 인식, 정답이 있는데 다른 입력과 다른 묶음에 들어갔으면 시간 창, 같은 묶음인데 다른 후보가 뽑혔으면 결합 규칙 문제다.
2등장 배경
GUI 는 마우스 위치 · 키 입력처럼 확정된 신호 한 줄기만 받는다. 지도 위 두 곳을 짚으며 「여기서 여기까지」 라고 말하는 사람의 뜻은 한 번에 받을 수 없었다. 1980년 MIT 의 Bolt 는 팔걸이 터치판으로 화면 속 도형을 가리키고 말로 옮기라고 하는 시스템 「Put-that-there」를 만들었다(Bolt 1980 · Dumas 2009 2.4절).
1997년 펜 · 음성 지도 시스템 QuickSet 은 두 입력의 속성-값 구조를 통일(unification)로 합쳤고(Dumas 2009 3.3절), 같은 해 Oviatt 의 지도 실험은 이점이 속도보다 오류 감소에 있음을 보였다. 1999년 Oviatt 는 「입력은 동시에 들어온다」 같은 설계 통념 10개를 실험 근거로 반박했다(Oviatt 1999).
W3C 는 2009년 2월 후보 목록 · 확신도 · 시간 표지를 적는 EMMA 1.0 을 권고안으로 냈고, 2017년 EMMA 2.0 은 더 유지하지 않는 Working Group Note 로 남았다(EMMA 2.0). 지금은 음성 비서 · 차량 · XR 기기가 같은 구조를 쓰고, 인식기 자체는 멀티모달 기계 학습(Baltrušaitis 2017)으로 옮겨 가는 중이다 — 모델 쪽은 AI 쪽 「이미지 · 멀티모달」이 다룬다.
3쉽게 이해하기 — 시끄러운 식당의 웨이터
시끄러운 식당에서 손님이 메뉴판 두 곳을 손가락으로 차례로 짚으며 「이거랑 이거 주세요」 라고 말하고, 눈길은 벽의 사진을 향한다. 웨이터 귀에는 「이거 주세요」로도 들렸지만, 손가락이 두 번 짚은 것을 보고 두 가지 주문으로 고른다. 웨이터는 손님 말이 끝난 뒤 잠깐 더 기다렸다가 주방에 주문을 넣고, 소리 내어 되읽으며 주문서도 보여 준다.
그림 1 · 웨이터(통합 엔진)는 말 · 손가락 · 눈길 세 통로로 들어온 신호를 짧은 시간 안에서 한 주문으로 합쳐 주방(응용)에 넘기고, 되읽기 · 주문서(출력 분배)로 손님에게 확인한다.
그림 2 · 웨이터는 잘못 들린 1순위 「이거 주세요」 대신 손가락이 두 번 짚은 것과 맞는 「이거랑 이거」를 고른다 — 실제로는 음성 후보의 위치 슬롯 수와 펜 점 수가 맞는 조합만 남는다(상호 보정).
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님 | 사용자 | 말 · 손짓 · 눈길을 섞어 뜻을 낸다 |
| 「이거랑 이거」 | 음성 인식기 | 발화를 확신도가 붙은 후보 목록(N-best)으로 낸다 |
| 메뉴 짚기 | 펜 · 터치 인식기 | 획을 좌표 · 대상 후보로 바꾼다 |
| 눈길 | 시선 추적기 | 응시 대상을 보조 단서로 낸다 |
| 잠깐 기다림 | 시간 창 | 마지막 입력 뒤 정한 시간만큼 더 받고 한 명령으로 묶는다 |
| 짚은 수와 말 맞추기 | 통합 엔진 · 상호 보정 | 후보끼리 슬롯 수 · 뜻이 맞는 조합만 남긴다 |
| 주방 | 대화 관리자 · 응용 | 합친 명령을 실행하고 답할 내용을 정한다 |
| 되읽기 · 주문서 | 출력 분배(fission) | 상황에 맞는 출력(음성 · 화면)으로 답한다 |
⚠ 비유가 맞지 않는 곳: 웨이터는 혼자 다 판단하지만, 실제로는 인식기 · 통합 엔진 · 대화 관리자가 따로 돌며 시간 표지로만 서로를 맞춘다. 또 웨이터는 표정으로 기분까지 읽지만, 시스템은 인식기가 후보로 내놓지 못한 신호를 합칠 수 없다.
4구조 — 인식기 · 통합 엔진 · 대화 관리자 · 출력 분배
멀티모달 시스템은 인식기 결과를 통합 엔진이 합치고, 대화 관리자 · 출력 분배 · 문맥 관리자와 함께 통합 위원회를 이룬다(Dumas 2009 3.2절). GUI 와 다른 점은 입력이 여러 줄기이고, 확정 값이 아니라 확률 값이며, 병렬로 시간에 맞춰 처리된다는 것이다(같은 글 표 1).
그림 3 · 인식기는 후보만 내고 뜻은 통합 엔진이 정한다 — 대화 관리자가 동작을 고르면 출력 분배가 통로를 고르고, 문맥 관리자는 세 구성 요소에 상황 변화를 알린다.
| 요소 | 입력 → 출력 · 값 | 역할 | 근거 |
|---|---|---|---|
| 인식기 | 신호 → 후보 목록 · 확신도 0.0 ~ 1.0 | 모달리티별 해석 | EMMA 1.0 3.3.1 · 4.2.8절 |
| 입력 표지 | emma:medium(acoustic · tactile · visual) · emma:mode(voice · ink · gui 등) | 어느 통로로 들어왔나 | EMMA 1.0 4.2.11절 |
| 시간 표지 · 시간 창 | emma:start · emma:end(ms) · 대기 시간 | 같은 명령에 속한 입력 묶기 | EMMA 1.0 4.2.10절 · Dumas 2009 3.5절 |
| 통합 엔진 | 후보 목록 여럿 → 합친 해석 1개 | 프레임 · 통일 · 기호-통계 혼합 결합 | Dumas 2009 3.3절 |
| 대화 관리자 | 합친 해석 → 응용 동작 · 응답 내용 | 대화 상태 · 다음 행동 | Dumas 2009 3.2 · 3.5절 |
| 출력 분배 | 응답 내용 → 화면 · 음성 합성 · 진동 | 메시지 구성 · 통로 선택 · 동기화 | Dumas 2009 3.4절 |
| 문맥 관리자 | 위치 · 사용자 특성 · 기기 | 세 구성 요소의 해석 조정 | Dumas 2009 3.2절 |
🔑 인식기는 «무엇이 들어왔나»의 후보만 내고 «무엇을 뜻하나»는 통합 엔진이 후보끼리 맞춰 정한다 — 그래서 한 인식기의 1순위가 최종 답이 아닐 수 있다.
5동작 — 지도에 두 점 찍고 「여기서 여기까지 경로」
설명용 가정 값 — 태블릿 지도 앱 · 시각은 임의 기준의 ms · 확신도와 대기 창 1,000 ms 는 가정 값이다. 결합은 결정 단계 통일(Dumas 2009 3.3절), 결과 형식은 EMMA 1.0 이다.
- 10,000 ~ 10,300 ms 첫 획 — 펜 인식기가 점 P1(확신도 0.92)을 낸다 ·
emma:·medium= "tactile" emma:.mode= "ink" - 10,600 ~ 10,800 ms 둘째 획 — 점 P2(0.88) · 두 점은
emma:sequence로 시간 순서대로 묶인다(EMMA 1.0 3.3.3절). - 10,900 ~ 12,400 ms 발화 — 음성 인식기가
emma:one-of후보 둘을 낸다: 1순위 「여기 경로 보여 줘」 0.50(위치 슬롯 1), 2순위 「여기서 여기까지 경로 보여 줘」 0.42(위치 슬롯 2). - 마지막 입력 끝(12,400 ms) 뒤 대기 창 1,000 ms 동안 새 입력이 없어 13,400 ms 에 판정을 시작한다 — 첫 획부터 발화 끝까지 2,400 ms 가 한 명령 묶음이다.
- 통일 — 1순위는 위치 슬롯 1개에 점 2개라 실패하고, 2순위는 슬롯 2개에 점 2개가 맞아 성공한다 · 점수 0.42 × 0.92 × 0.88 = 0.34.
- 합친 해석 —
emma:·medium= "acoustic tactile" emma:·mode= "voice ink" emma:start10,000 ·emma:end12,400(가장 이른 시작 · 가장 늦은 끝 · EMMA 1.0 부록 C) ·emma:derived-from으로 세 입력을 잇는다. - 대화 관리자가 P1 → P2 경로 탐색을 실행하고, 출력 분배는 지도에 경로 선을 그리며 짧은 음성 확인을 낸다.
그림 4 · 두 획과 발화는 겹치지 않고 차례로 들어왔지만 대기 창 안에 있어 한 명령이 된다 — 판정은 마지막 입력 뒤 1,000 ms 가 지난 13,400 ms 에 한 번 열린다.
융합은 신호 · 특징 · 의미(결정) 가운데 어느 단계에서 합치느냐로 나뉜다(Dumas 2009 표 3). 위 사례는 펜과 음성처럼 속도가 다른 입력을 묶는 결정 단계다.
그림 5 · 합치는 단계가 이를수록 정보는 많지만 잡음 · 시간 어긋남에 약하고 학습 데이터가 많이 든다 — 펜 · 음성처럼 느슨한 쌍은 의미 후보까지 따로 만든 뒤 합친다.
🔑 늦게 합칠수록 속도가 다른 입력을 묶을 수 있지만 앞단 인식이 후보 목록에 정답을 남겨 두어야 한다 — 1순위만 넘기는 인식기는 상호 보정을 막는다.
6비교 — 입력 조합 성질(CARE)
| 성질 | 뜻 | 예 | 통합 엔진이 하는 일 | 설계 판단 |
|---|---|---|---|---|
| 보완(Complementarity) | 두 입력이 모여야 뜻이 완성 | 「여기서 여기까지」 + 두 점 | 슬롯을 채워 합침 · 시간 창 필수 | 한쪽만 오면 되묻기 |
| 배정(Assignment) | 한 입력으로만 가능 | 자동차 방향 = 운전대 | 그 인식기만 받음 | 다른 입력은 받지 않음 |
| 중복(Redundancy) | 같은 뜻을 둘로 · 동시에 | 「재생」 발화 + 재생 단추 | 한 번만 실행 · 확신 강화 | 두 번 실행 막기 |
| 동등(Equivalence) | 어느 하나로도 같은 뜻 · 한 번에 하나 | 글 입력 = 음성 또는 키보드 | 들어온 쪽 결과를 그대로 | 상황 · 접근성 대안 |
분석짧고 정확한 공간 명령이 목표면 보완을, 손 · 눈이 바쁜 상황이나 접근성이 목표면 동등을 설계 중심에 둔다. 근거는 표 1 · 4행 — 보완은 시간 창과 되묻기가 있어야 하고, 동등은 각 입력이 혼자 명령을 끝낼 수 있어야 한다(Coutaz 1995 · Dumas 2009 4.1절).
7실무 진단 — 인식 · 시간 · 결합 가르기
분석엉뚱한 실행이면 후보 목록(정답이 있나) → 시간 표지(같은 묶음인가) → 결합 기록(어느 후보가 뽑혔나) 순서로 본다. 앞 단계가 틀리면 뒤 단계는 볼 필요가 없고, 세 단계 모두 EMMA 기록 하나에 남기 때문이다(EMMA 1.0 3.3.1 · 4.1.2 · 4.2.10절).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 말한 뜻과 다른 명령 실행 | 음성 인식 오류 | 인식 | emma:one-of 후보 목록 | 정답이 목록에 없으면 인식기 · 어휘 문제(EMMA 1.0 3.3.1절) |
| 2 | 두 점을 찍었는데 한 점 경로 | 둘째 획이 다른 묶음 | 시간 | 획 · 발화의 emma:start · emma:end | 입력 사이 간격이 대기 창보다 길면 묶음이 갈림(Dumas 2009 3.5절) |
| 3 | 정답 후보가 있는데 1순위 실행 | 결합 규칙이 슬롯 수를 안 봄 | 결합 | emma:derived-from 으로 이은 입력 · 점수 | 합친 해석이 어느 입력에서 왔는지 따라가 확인(EMMA 1.0 4.1.2절) |
| 4 | 「재생」 발화 + 단추로 두 번 실행 | 중복 입력을 따로 처리 | 결합 | 두 입력의 시간 표지 · 해석 | 같은 뜻 · 겹친 시간이면 한 번만(Dumas 2009 3.5절) |
| 5 | 시끄러운 곳에서 응답을 못 들음 | 출력 통로 고정 | 출력 분배 | 문맥 관리자 상태 · 고른 출력 | 상황에 따라 화면 출력으로 바꿔야 함(Dumas 2009 3.4절) |
8시험 대비
www.q-net.or.kr시험에서는 개념과 특징을 쓰는 정의 · 특징형이 나올 수 있고, 구성 요소와 융합 방식을 묻는 구조 · 구성형도 나올 수 있다. 정의형이면 1 · 2 항목에서 GUI 와의 차이와 효과 수치를, 구조형이면 3 · 4 항목에 그림 3 · 그림 5 를 얹고 5 항목 CARE 표로 마무리한다.
- 개요 — 정의 · 모달리티(음성 · 펜 · 터치 · 시선 · 제스처) · GUI 와 차이(한 줄기 · 확정 ↔ 여러 줄기 · 확률)
- 효과 — 오류 36% 감소 · 속도 10% · 상호 보정 · 통념과 실제
- 구조 — 그림 3 인식기 · 통합 엔진 · 대화 관리자 · 출력 분배 · 문맥 관리자
- 융합 — 그림 5 데이터 · 특징 · 결정 단계 · 그림 4 시간 창 사례
- 입력 조합 — CARE 보완 · 배정 · 중복 · 동등 비교표
- 표준 · 과제 — EMMA 1.0 표지(후보 · 확신도 · 시간) · 인식 오류 처리 · 멀티모달 기계 학습
꼭 쓸 키워드
모달리티통합 엔진출력 분배상호 보정결정 단계 융합특징 단계 융합시간 창N-bestCAREEMMA
다른 답안과 차이를 내는 한 가지는 그림 4 처럼 실제 시각 · 확신도로 한 명령을 따라가, 1순위가 아닌 후보가 상호 보정으로 뽑히는 과정을 0.42 × 0.92 × 0.88 = 0.34 로 보이는 것이다.
9오해와 사실
- 오해멀티모달 기능을 넣으면 사용자는 늘 여러 입력을 함께 쓴다.사실Oviatt 가 실험으로 반박한 통념 첫째이고(Oviatt 1999 · Dumas 2009 표 2), 그래서 한 입력만 온 명령도 혼자 끝낼 수 있게 설계한다.
- 오해멀티모달 입력은 동시에 들어온다.사실사용자마다 동시형 · 순차형 통합 습관이 따로 있고 오류가 나면 그 습관이 더 굳어지므로, 시간 창은 겹침뿐 아니라 앞뒤 간격도 받아야 한다(Dumas 2009 2.3 · 3.5절).
- 오해오류가 잦은 인식기 둘을 합치면 더 불안정해진다.사실결정 단계 결합은 각 입력의 부분 의미를 맞춰 서로의 오류를 걸러 내며, 지도 실험에서 오류가 36% 줄었다(Dumas 2009 2.1 · 3.3절).
10핵심 정리
| 구분 | 맡는 일 | 입력 → 출력 | EMMA 표지 | 값 · 기준 |
|---|---|---|---|---|
| 모달리티 | 뜻이 들어오는 통로 | 음성 · 획 · 시선 · 제스처 | emma:medium · emma:mode | acoustic · tactile · visual |
| 인식기 | 신호를 후보로 | 신호 → N-best | emma:one-of · emma:confidence | 0.0 ~ 1.0 |
| 시간 창 | 같은 명령 묶기 | 시작 · 끝 시각 | emma:start · emma:end | 대기 시간 = 설계 값 |
| 통합 엔진 | 후보를 맞춰 해석 하나로 | 후보 여럿 → 해석 1개 | emma:derived-from | 데이터 · 특징 · 결정 단계 |
| 대화 관리자 | 해석을 동작으로 | 해석 → 응용 명령 | — | 대화 상태 · 다음 행동 |
| 출력 분배 | 알맞은 출력 고르기 | 응답 → 화면 · 음성 · 진동 | — | 메시지 구성 · 통로 선택 · 동기화 |
| CARE | 입력 조합 성질 | 보완 · 배정 · 중복 · 동등 | — | Coutaz 1995 |
11참고 문헌
- 먼저 볼 문헌
- ★ Multimodal Interfaces: A Survey of Principles, Models and Frameworks (B. Dumas · D. Lalanne · S. Oviatt · Human Machine Interaction · LNCS 5440) — 통합 엔진 · 출력 분배 · 대화 관리자 구조와 데이터 · 특징 · 결정 단계 융합, CARE 네 성질을 볼 때
- ★ EMMA: Extensible MultiModal Annotation markup language (W3C Recommendation 10 February 2009) — 인식 결과의 후보 목록 · 확신도 · 시간 표지 · 입력 통로 표지를 적는 형식을 볼 때
- ★ Ten Myths of Multimodal Interaction (S. Oviatt · Communications of the ACM 42(11)) — 멀티모달 설계의 흔한 통념 10개와 실험 근거를 볼 때
- ★ Multimodal Machine Learning: A Survey and Taxonomy (T. Baltrušaitis · C. Ahuja · L.-P. Morency) — 표현 · 변환 · 정렬 · 융합 · 공동 학습 다섯 과제로 본 멀티모달 기계 학습을 볼 때
- 본문 근거
- EMMA: Extensible MultiModal Annotation markup language Version 2.0 (W3C Working Group Note 2 February 2017) — W3C · 2017-02 ·
www.w3.org/TR/emma20/· 확인 2026-11-14 - Four Easy Pieces for Assessing the Usability of Multimodal Interaction: The CARE Properties (INTERACT'95) — IFIP · Chapman & Hall · 1995-06 · 확인 2026-11-14
- Put-that-there: Voice and gesture at the graphics interface (ACM SIGGRAPH 1980) — ACM · 1980-07 ·
doi.org/10.1145/800250.807503· 확인 2026-11-14