IT › IT 응용 › 확장 현실 · 사용자 경험 › 인간-컴퓨터 상호작용(HCI)

멀티모달 인터페이스Multimodal Interface

음성 · 펜 · 터치 · 시선 · 제스처 같은 둘 이상의 입력 방식(모달리티)을 함께 받아 시간과 의미를 맞춰 하나의 명령으로 합치고, 화면 · 음성 · 진동 가운데 상황에 맞는 출력으로 답하는 사용자 인터페이스다.

1요약

  1. 멀티모달 인터페이스는 인식기마다 내놓은 확률 섞인 후보를 통합 엔진(fusion)이 시간 표지로 묶어 한 의미로 합치는 구조이고, W3C 는 그 결과를 적는 형식을 EMMA 1.0(2009)으로 정했으며, 그 위에서 지도 · 차량 · 가전 · XR 기기의 «말하며 가리키는» 명령이 돈다.
  2. 인식기 하나는 틀리기 쉽지만 두 입력의 후보를 맞춰 보면 서로의 오류를 걸러 낸다 — 지도 과제 실험에서 사용자 오류는 36% 줄었고 작업 속도 향상은 10% 에 그쳤다(Dumas 2009 2.1절 · Oviatt 1997 인용).
  3. 「말로 명령했는데 엉뚱하게 됐다」는 인식 · 시간 · 결합 셋으로 가른다 — 후보 목록에 정답이 없으면 인식, 정답이 있는데 다른 입력과 다른 묶음에 들어갔으면 시간 창, 같은 묶음인데 다른 후보가 뽑혔으면 결합 규칙 문제다.

2등장 배경

GUI 는 마우스 위치 · 키 입력처럼 확정된 신호 한 줄기만 받는다. 지도 위 두 곳을 짚으며 「여기서 여기까지」 라고 말하는 사람의 뜻은 한 번에 받을 수 없었다. 1980년 MIT 의 Bolt 는 팔걸이 터치판으로 화면 속 도형을 가리키고 말로 옮기라고 하는 시스템 「Put-that-there」를 만들었다(Bolt 1980 · Dumas 2009 2.4절).

1997년 펜 · 음성 지도 시스템 QuickSet 은 두 입력의 속성-값 구조를 통일(unification)로 합쳤고(Dumas 2009 3.3절), 같은 해 Oviatt 의 지도 실험은 이점이 속도보다 오류 감소에 있음을 보였다. 1999년 Oviatt 는 「입력은 동시에 들어온다」 같은 설계 통념 10개를 실험 근거로 반박했다(Oviatt 1999).

W3C 는 2009년 2월 후보 목록 · 확신도 · 시간 표지를 적는 EMMA 1.0 을 권고안으로 냈고, 2017년 EMMA 2.0 은 더 유지하지 않는 Working Group Note 로 남았다(EMMA 2.0). 지금은 음성 비서 · 차량 · XR 기기가 같은 구조를 쓰고, 인식기 자체는 멀티모달 기계 학습(Baltrušaitis 2017)으로 옮겨 가는 중이다 — 모델 쪽은 AI 쪽 「이미지 · 멀티모달」이 다룬다.

3쉽게 이해하기 — 시끄러운 식당의 웨이터

시끄러운 식당에서 손님이 메뉴판 두 곳을 손가락으로 차례로 짚으며 「이거랑 이거 주세요」 라고 말하고, 눈길은 벽의 사진을 향한다. 웨이터 귀에는 「이거 주세요」로도 들렸지만, 손가락이 두 번 짚은 것을 보고 두 가지 주문으로 고른다. 웨이터는 손님 말이 끝난 뒤 잠깐 더 기다렸다가 주방에 주문을 넣고, 소리 내어 되읽으며 주문서도 보여 준다.

손님 사용자 말 · 손짓 · 눈길 「이거랑 이거」 음성 인식기 메뉴 두 곳 짚기 터치 인식기 눈길 보내기 시선 추적기 웨이터 통합 엔진 말이 끝난 뒤 잠깐 더 기다림 주방 대화 관리 · 응용 한 주문을 만듦 되읽기 출력 분배 말 · 주문서로 1 2 3 4 1 손님이 말 · 손가락 · 눈길로 주문한다 — 세 인식기가 각자 후보를 낸다 2 웨이터가 짧은 시간 안 신호를 맞춰 본다 — 통합 엔진 · 시간 창 · 상호 보정 3 주방에 한 주문으로 넘긴다 — 대화 관리자가 응용 동작을 정한다 4 되읽고 주문서를 보여 준다 — 출력 분배가 음성 · 화면을 고른다

그림 1 · 웨이터(통합 엔진)는 말 · 손가락 · 눈길 세 통로로 들어온 신호를 짧은 시간 안에서 한 주문으로 합쳐 주방(응용)에 넘기고, 되읽기 · 주문서(출력 분배)로 손님에게 확인한다.

말하기「이거랑 이거」
짚기메뉴 두 곳
잠깐 기다림말이 끝난 뒤
맞춰 보기짚은 수와 말
주방 전달한 주문으로
되읽기말 · 주문서로
비유 — 들린 말을 짚은 수로 고르기 실제 — 후보끼리 슬롯 수 맞추기 「이거 주세요」 「이거랑 이거 주세요」 메뉴판 두 번 짚음 둘째 말을 고름 음성 후보 목록 1 「여기 경로 보여 줘」 0.50 · 슬롯 1 2 「여기서 여기까지 경로…」 0.42 · 슬롯 2 펜 결과 점 P1 0.92 · 점 P2 0.88 1 + 점 2개 → 빠짐 2 + 점 2개 → 0.34 0.34 = 0.42 × 0.92 × 0.88(곱으로 계산) 슬롯 = 문장 속 위치 자리(지시어) 수 인식기 후보 맞지 않아 빠진 후보 합친 해석 확신도 · 문장은 설명용 가정 값 · 결합 = 결정 단계 통일(Dumas 2009 3.3절)

그림 2 · 웨이터는 잘못 들린 1순위 「이거 주세요」 대신 손가락이 두 번 짚은 것과 맞는 「이거랑 이거」를 고른다 — 실제로는 음성 후보의 위치 슬롯 수와 펜 점 수가 맞는 조합만 남는다(상호 보정).

비유 속 역할실제 이름실제로 하는 일
손님사용자말 · 손짓 · 눈길을 섞어 뜻을 낸다
「이거랑 이거」음성 인식기발화를 확신도가 붙은 후보 목록(N-best)으로 낸다
메뉴 짚기펜 · 터치 인식기획을 좌표 · 대상 후보로 바꾼다
눈길시선 추적기응시 대상을 보조 단서로 낸다
잠깐 기다림시간 창마지막 입력 뒤 정한 시간만큼 더 받고 한 명령으로 묶는다
짚은 수와 말 맞추기통합 엔진 · 상호 보정후보끼리 슬롯 수 · 뜻이 맞는 조합만 남긴다
주방대화 관리자 · 응용합친 명령을 실행하고 답할 내용을 정한다
되읽기 · 주문서출력 분배(fission)상황에 맞는 출력(음성 · 화면)으로 답한다

⚠ 비유가 맞지 않는 곳: 웨이터는 혼자 다 판단하지만, 실제로는 인식기 · 통합 엔진 · 대화 관리자가 따로 돌며 시간 표지로만 서로를 맞춘다. 또 웨이터는 표정으로 기분까지 읽지만, 시스템은 인식기가 후보로 내놓지 못한 신호를 합칠 수 없다.

4구조 — 인식기 · 통합 엔진 · 대화 관리자 · 출력 분배

멀티모달 시스템은 인식기 결과를 통합 엔진이 합치고, 대화 관리자 · 출력 분배 · 문맥 관리자와 함께 통합 위원회를 이룬다(Dumas 2009 3.2절). GUI 와 다른 점은 입력이 여러 줄기이고, 확정 값이 아니라 확률 값이며, 병렬로 시간에 맞춰 처리된다는 것이다(같은 글 표 1).

사용자 입력 음성 인식 펜 · 터치 인식 시선 추적 제스처 인식 통합 엔진(fusion) 시간 표지 정렬 후보 목록 결합 통일 · 점수 후보 여럿 → 해석 1개 대화 관리자 상태 · 다음 동작 응용 지도 · 가전 · 차량 출력 분배 (fission) 화면 음성 합성 진동 문맥 관리자 위치 · 사용자 특성 · 기기 변화를 알림 입력 · 인식기 결합 규칙 대화 · 동작 출력 상황 알림

그림 3 · 인식기는 후보만 내고 뜻은 통합 엔진이 정한다 — 대화 관리자가 동작을 고르면 출력 분배가 통로를 고르고, 문맥 관리자는 세 구성 요소에 상황 변화를 알린다.

요소입력 → 출력 · 값역할근거
인식기신호 → 후보 목록 · 확신도 0.0 ~ 1.0모달리티별 해석EMMA 1.0 3.3.1 · 4.2.8절
입력 표지emma:medium(acoustic · tactile · visual) · emma:mode(voice · ink · gui 등)어느 통로로 들어왔나EMMA 1.0 4.2.11절
시간 표지 · 시간 창emma:start · emma:end(ms) · 대기 시간같은 명령에 속한 입력 묶기EMMA 1.0 4.2.10절 · Dumas 2009 3.5절
통합 엔진후보 목록 여럿 → 합친 해석 1개프레임 · 통일 · 기호-통계 혼합 결합Dumas 2009 3.3절
대화 관리자합친 해석 → 응용 동작 · 응답 내용대화 상태 · 다음 행동Dumas 2009 3.2 · 3.5절
출력 분배응답 내용 → 화면 · 음성 합성 · 진동메시지 구성 · 통로 선택 · 동기화Dumas 2009 3.4절
문맥 관리자위치 · 사용자 특성 · 기기세 구성 요소의 해석 조정Dumas 2009 3.2절

🔑 인식기는 «무엇이 들어왔나»의 후보만 내고 «무엇을 뜻하나»는 통합 엔진이 후보끼리 맞춰 정한다 — 그래서 한 인식기의 1순위가 최종 답이 아닐 수 있다.

5동작 — 지도에 두 점 찍고 「여기서 여기까지 경로」

설명용 가정 값 — 태블릿 지도 앱 · 시각은 임의 기준의 ms · 확신도와 대기 창 1,000 ms 는 가정 값이다. 결합은 결정 단계 통일(Dumas 2009 3.3절), 결과 형식은 EMMA 1.0 이다.

  1. 10,000 ~ 10,300 ms 첫 획 — 펜 인식기가 점 P1(확신도 0.92)을 낸다 · emma:medium="tactile" · emma:mode="ink".
  2. 10,600 ~ 10,800 ms 둘째 획 — 점 P2(0.88) · 두 점은 emma:sequence 로 시간 순서대로 묶인다(EMMA 1.0 3.3.3절).
  3. 10,900 ~ 12,400 ms 발화 — 음성 인식기가 emma:one-of 후보 둘을 낸다: 1순위 「여기 경로 보여 줘」 0.50(위치 슬롯 1), 2순위 「여기서 여기까지 경로 보여 줘」 0.42(위치 슬롯 2).
  4. 마지막 입력 끝(12,400 ms) 뒤 대기 창 1,000 ms 동안 새 입력이 없어 13,400 ms 에 판정을 시작한다 — 첫 획부터 발화 끝까지 2,400 ms 가 한 명령 묶음이다.
  5. 통일 — 1순위는 위치 슬롯 1개에 점 2개라 실패하고, 2순위는 슬롯 2개에 점 2개가 맞아 성공한다 · 점수 0.42 × 0.92 × 0.88 = 0.34.
  6. 합친 해석 — emma:medium="acoustic tactile" · emma:mode="voice ink" · emma:start 10,000 · emma:end 12,400(가장 이른 시작 · 가장 늦은 끝 · EMMA 1.0 부록 C) · emma:derived-from 으로 세 입력을 잇는다.
  7. 대화 관리자가 P1 → P2 경로 탐색을 실행하고, 출력 분배는 지도에 경로 선을 그리며 짧은 음성 확인을 낸다.
펜 음성 통합 엔진 P1 P2 「여기서 여기까지 …」 대기 창 1,000 ms 통일 합친 해석 emma:start 10,000 ~ emma:end 12,400 1 2 3 4 5 6 10,000 11,000 12,000 13,000 ms 입력(획 · 발화) 결합 판정 합친 해석의 시간 범위 · 시각은 설명용 가정 값

그림 4 · 두 획과 발화는 겹치지 않고 차례로 들어왔지만 대기 창 안에 있어 한 명령이 된다 — 판정은 마지막 입력 뒤 1,000 ms 가 지난 13,400 ms 에 한 번 열린다.

융합은 신호 · 특징 · 의미(결정) 가운데 어느 단계에서 합치느냐로 나뉜다(Dumas 2009 표 3). 위 사례는 펜과 음성처럼 속도가 다른 입력을 묶는 결정 단계다.

데이터 단계 카메라 두 대 영상 A 신호 영상 B 신호 결합 영상 특징 장면 판단 같은 종류 신호 · 손실 없음 잡음 · 고장에 가장 약함 특징 단계 말 · 입술 모양 음성 신호 입술 영상 음향 특징 입 모양 결합 단어 판단 시간이 맞물린 쌍 학습 데이터가 많이 필요 결정 단계 말 · 펜 음성 신호 펜 획 단어 열 점 좌표 의미 후보 위치 후보 결합 느슨한 쌍 · 잡음에 강함 앞단 인식 품질에 기댐 · 상호 보정 모달리티별 처리 합치는 지점 합친 뒤 한 갈래 처리 · 단계 성질 = Dumas 2009 표 3

그림 5 · 합치는 단계가 이를수록 정보는 많지만 잡음 · 시간 어긋남에 약하고 학습 데이터가 많이 든다 — 펜 · 음성처럼 느슨한 쌍은 의미 후보까지 따로 만든 뒤 합친다.

🔑 늦게 합칠수록 속도가 다른 입력을 묶을 수 있지만 앞단 인식이 후보 목록에 정답을 남겨 두어야 한다 — 1순위만 넘기는 인식기는 상호 보정을 막는다.

6비교 — 입력 조합 성질(CARE)

성질뜻예통합 엔진이 하는 일설계 판단
보완(Complementarity)두 입력이 모여야 뜻이 완성「여기서 여기까지」 + 두 점슬롯을 채워 합침 · 시간 창 필수한쪽만 오면 되묻기
배정(Assignment)한 입력으로만 가능자동차 방향 = 운전대그 인식기만 받음다른 입력은 받지 않음
중복(Redundancy)같은 뜻을 둘로 · 동시에「재생」 발화 + 재생 단추한 번만 실행 · 확신 강화두 번 실행 막기
동등(Equivalence)어느 하나로도 같은 뜻 · 한 번에 하나글 입력 = 음성 또는 키보드들어온 쪽 결과를 그대로상황 · 접근성 대안

분석짧고 정확한 공간 명령이 목표면 보완을, 손 · 눈이 바쁜 상황이나 접근성이 목표면 동등을 설계 중심에 둔다. 근거는 표 1 · 4행 — 보완은 시간 창과 되묻기가 있어야 하고, 동등은 각 입력이 혼자 명령을 끝낼 수 있어야 한다(Coutaz 1995 · Dumas 2009 4.1절).

7실무 진단 — 인식 · 시간 · 결합 가르기

분석엉뚱한 실행이면 후보 목록(정답이 있나) → 시간 표지(같은 묶음인가) → 결합 기록(어느 후보가 뽑혔나) 순서로 본다. 앞 단계가 틀리면 뒤 단계는 볼 필요가 없고, 세 단계 모두 EMMA 기록 하나에 남기 때문이다(EMMA 1.0 3.3.1 · 4.1.2 · 4.2.10절).

#증상의심 원인구분확인 자료판정 기준(근거)
1말한 뜻과 다른 명령 실행음성 인식 오류인식emma:one-of 후보 목록정답이 목록에 없으면 인식기 · 어휘 문제(EMMA 1.0 3.3.1절)
2두 점을 찍었는데 한 점 경로둘째 획이 다른 묶음시간획 · 발화의 emma:start · emma:end입력 사이 간격이 대기 창보다 길면 묶음이 갈림(Dumas 2009 3.5절)
3정답 후보가 있는데 1순위 실행결합 규칙이 슬롯 수를 안 봄결합emma:derived-from 으로 이은 입력 · 점수합친 해석이 어느 입력에서 왔는지 따라가 확인(EMMA 1.0 4.1.2절)
4「재생」 발화 + 단추로 두 번 실행중복 입력을 따로 처리결합두 입력의 시간 표지 · 해석같은 뜻 · 겹친 시간이면 한 번만(Dumas 2009 3.5절)
5시끄러운 곳에서 응답을 못 들음출력 통로 고정출력 분배문맥 관리자 상태 · 고른 출력상황에 따라 화면 출력으로 바꿔야 함(Dumas 2009 3.4절)

8시험 대비

출제 정보 정보관리(118회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 개념과 특징을 쓰는 정의 · 특징형이 나올 수 있고, 구성 요소와 융합 방식을 묻는 구조 · 구성형도 나올 수 있다. 정의형이면 1 · 2 항목에서 GUI 와의 차이와 효과 수치를, 구조형이면 3 · 4 항목에 그림 3 · 그림 5 를 얹고 5 항목 CARE 표로 마무리한다.

답안 목차
  1. 개요 — 정의 · 모달리티(음성 · 펜 · 터치 · 시선 · 제스처) · GUI 와 차이(한 줄기 · 확정 ↔ 여러 줄기 · 확률)
  2. 효과 — 오류 36% 감소 · 속도 10% · 상호 보정 · 통념과 실제
  3. 구조 — 그림 3 인식기 · 통합 엔진 · 대화 관리자 · 출력 분배 · 문맥 관리자
  4. 융합 — 그림 5 데이터 · 특징 · 결정 단계 · 그림 4 시간 창 사례
  5. 입력 조합 — CARE 보완 · 배정 · 중복 · 동등 비교표
  6. 표준 · 과제 — EMMA 1.0 표지(후보 · 확신도 · 시간) · 인식 오류 처리 · 멀티모달 기계 학습

꼭 쓸 키워드
모달리티통합 엔진출력 분배상호 보정결정 단계 융합특징 단계 융합시간 창N-bestCAREEMMA

다른 답안과 차이를 내는 한 가지는 그림 4 처럼 실제 시각 · 확신도로 한 명령을 따라가, 1순위가 아닌 후보가 상호 보정으로 뽑히는 과정을 0.42 × 0.92 × 0.88 = 0.34 로 보이는 것이다.

9오해와 사실

  • 오해멀티모달 기능을 넣으면 사용자는 늘 여러 입력을 함께 쓴다.
    사실Oviatt 가 실험으로 반박한 통념 첫째이고(Oviatt 1999 · Dumas 2009 표 2), 그래서 한 입력만 온 명령도 혼자 끝낼 수 있게 설계한다.
  • 오해멀티모달 입력은 동시에 들어온다.
    사실사용자마다 동시형 · 순차형 통합 습관이 따로 있고 오류가 나면 그 습관이 더 굳어지므로, 시간 창은 겹침뿐 아니라 앞뒤 간격도 받아야 한다(Dumas 2009 2.3 · 3.5절).
  • 오해오류가 잦은 인식기 둘을 합치면 더 불안정해진다.
    사실결정 단계 결합은 각 입력의 부분 의미를 맞춰 서로의 오류를 걸러 내며, 지도 실험에서 오류가 36% 줄었다(Dumas 2009 2.1 · 3.3절).

10핵심 정리

구분맡는 일입력 → 출력EMMA 표지값 · 기준
모달리티뜻이 들어오는 통로음성 · 획 · 시선 · 제스처emma:medium · emma:modeacoustic · tactile · visual
인식기신호를 후보로신호 → N-bestemma:one-of · emma:confidence0.0 ~ 1.0
시간 창같은 명령 묶기시작 · 끝 시각emma:start · emma:end대기 시간 = 설계 값
통합 엔진후보를 맞춰 해석 하나로후보 여럿 → 해석 1개emma:derived-from데이터 · 특징 · 결정 단계
대화 관리자해석을 동작으로해석 → 응용 명령—대화 상태 · 다음 행동
출력 분배알맞은 출력 고르기응답 → 화면 · 음성 · 진동—메시지 구성 · 통로 선택 · 동기화
CARE입력 조합 성질보완 · 배정 · 중복 · 동등—Coutaz 1995

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Multimodal Interfaces: A Survey of Principles, Models and Frameworks (B. Dumas · D. Lalanne · S. Oviatt · Human Machine Interaction · LNCS 5440) — 통합 엔진 · 출력 분배 · 대화 관리자 구조와 데이터 · 특징 · 결정 단계 융합, CARE 네 성질을 볼 때
    University of Namur 기관 저장소(Springer 출판) · 2009-03 · pure.unamur.be/ws/files/12108457/mmi_chapter_final.pdf · 확인 2026-11-14
  3. ★ EMMA: Extensible MultiModal Annotation markup language (W3C Recommendation 10 February 2009) — 인식 결과의 후보 목록 · 확신도 · 시간 표지 · 입력 통로 표지를 적는 형식을 볼 때
    W3C · 2009-02 · www.w3.org/TR/emma/ · 확인 2026-11-14
  4. ★ Ten Myths of Multimodal Interaction (S. Oviatt · Communications of the ACM 42(11)) — 멀티모달 설계의 흔한 통념 10개와 실험 근거를 볼 때
    ACM · 1999-11 · cacm.acm.org/research/ten-myths-of-multimodal-interaction · 확인 2026-11-14
  5. ★ Multimodal Machine Learning: A Survey and Taxonomy (T. Baltrušaitis · C. Ahuja · L.-P. Morency) — 표현 · 변환 · 정렬 · 융합 · 공동 학습 다섯 과제로 본 멀티모달 기계 학습을 볼 때
    arXiv · 2017-05 · arxiv.org/abs/1705.09406 · 확인 2026-11-14
  6. 본문 근거
  7. EMMA: Extensible MultiModal Annotation markup language Version 2.0 (W3C Working Group Note 2 February 2017) — W3C · 2017-02 · www.w3.org/TR/emma20/ · 확인 2026-11-14
  8. Four Easy Pieces for Assessing the Usability of Multimodal Interaction: The CARE Properties (INTERACT'95) — IFIP · Chapman & Hall · 1995-06 · 확인 2026-11-14
  9. Put-that-there: Voice and gesture at the graphics interface (ACM SIGGRAPH 1980) — ACM · 1980-07 · doi.org/10.1145/800250.807503 · 확인 2026-11-14