확장 현실 · 사용자 경험Extended Reality and User Experience
사람이 손 · 말 · 시선 · 뇌 신호로 컴퓨터에 뜻을 전하는 통로(인간-컴퓨터 상호작용)와, 컴퓨터가 만든 장면을 현실 대신 또는 현실 위에 보여 주는 기술(확장 현실)을 IT 응용 가운데 하나로 묶은 것이다. HCI · XR 의 열 토픽을 «사람 → 시스템 · 시스템 → 사람» 한 고리 위에 놓는 지도다.
1요약
- 확장 현실 · 사용자 경험은 손 · 말 · 시선 · 뇌 신호를 명령으로 바꾸고 진동으로 되돌리는 인간-컴퓨터 상호작용(HCI) 넷과, 장면을 현실 대신 · 현실 위에 보이는 확장 현실(XR) 여섯을 한 고리로 묶으며, 2019년 OpenXR 1.0 이 여러 VR · AR 기기를 한 API 로 묶은 뒤 머리 착용 기기 · AR 안경 · 메타버스 서비스가 이 위에서 돈다(Khronos 2019).
- 통로와 장면을 따로 설계하면 «보이지만 고를 수 없는» 화면이 생긴다 — W3C XR 접근성 요구(2021)는 사용자 요구 19개 가운데 «여러 입력 방식을 동시에»(REQ 2c)를 두었고, 고를 대상의 너비가 절반이면 선택 난이도가 거의 1비트 오른다(MacKenzie 2018 식 17.6).
- 「XR 이 불편하다」는 같은 과업을 평면 화면에서 다시 해 보면 가른다 — 화면 단추로는 되는데 XR 에서만 막히면 장면 쪽(XR 의 배치 · 추적), 화면에서도 막히면 통로 · 과업 쪽(HCI)이다.
2등장 배경
키보드 · 마우스 시절에는 입력 장치와 화면이 기기마다 따로 정해져, 새 장치가 나오면 조작 설계를 처음부터 다시 했다. 1954년 Fitts 는 겨누는 거리와 대상 너비로 손 이동 시간을 예측하는 법칙을 냈고(Fitts 1954), 1968년 Sutherland 는 머리 움직임을 따라 장면을 다시 그리는 머리 착용 표시 장치를 만들었다(Sutherland 1968). 1973년 Vidal 은 뇌 신호를 직접 입력으로 쓰는 뇌-컴퓨터 통신을 제안했다(Vidal 1973).
1994년 Milgram 은 현실에서 가상까지를 한 줄 연속체로 놓아 AR · VR 을 같은 축의 두 점으로 정리했고(Milgram 1994), 2012년 ISO 9241-411 은 Fitts 법칙 시험을 입력 장치 평가 방법으로 담았다(MacKenzie 2018). 2019년 OpenXR 1.0 은 앱이 기기마다 다시 쓰지 않고 같은 API 로 여러 VR · AR 기기에서 돌게 했다(Khronos 2019).
HCI 와 XR 이 지금 한데 묶인 이유는 기기 한 대가 입력(손 · 시선 · 진동)과 출력(장면)을 함께 품기 때문이다. W3C 도 2021년 XR 접근성 요구 하나에 입력 대안과 장면 표시를 같이 담았다(W3C XAUR).
3쉽게 이해하기 — 요리 교실의 두 방향
요리 교실 학생이 손을 들고 「이거요」라며 눈으로 냄비 하나를 가리킨다. 강사는 손짓 · 말 · 눈길을 한데 읽고 학생 어깨를 톡 쳐 알았다고 알린 뒤, 학생 앞 유리판에 그 냄비의 불 세기를 그려 냄비 자리에 붙여 둔다. 손을 들기 어려운 학생은 머리띠를 쓰고 강사를 부른다. 연습 날에는 유리판을 그림막으로 바꿔 부엌 전체를 그린 장면에서 볶고, 교실 밖 친구도 같은 장면에 들어온다 — 강사는 마지막에 끝까지 만든 접시 수를 센다.
그림 1 · 학생 쪽에서 강사로 가는 손짓 · 말 · 머리띠와 강사가 돌려주는 톡 한 번은 HCI, 강사가 학생 눈앞에 그리는 유리판 · 그림막 · 함께 보는 장면은 XR 이고, 접시 세기가 고리 전체를 잰다.
그림 2 · 눈길은 «어느 쪽인가»만 알려 주고 «무엇을 골랐나»는 장면이 안다 — 시선 방향이 장면 속 표지와 만나는 점에서 HCI 가 XR 에 일을 넘긴다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손짓 · 말 · 눈길 | 멀티모달 인터페이스 | 여러 입력을 명령 하나로 합친다 |
| 머리띠로 부르기 | 뇌-컴퓨터 인터페이스(BCI) | 근육 대신 뇌 신호 변화를 입력으로 쓴다 |
| 어깨를 톡 | 햅틱 | 진동 · 힘으로 결과를 몸에 돌려준다 |
| 유리판 위 그림 | 증강현실 | 실제 시야 위에 장면을 겹친다 |
| 냄비 자리에 붙인 그림 | 공간 컴퓨팅 · 확장 현실(XR) · 혼합현실 | 가상 물체를 실제 위치에 고정하고 기억한다 |
| 그림막 부엌 | 가상현실 | 현실 시야를 가리고 만든 장면만 보인다 |
| 같은 장면의 친구 · 안내 인형 | 메타버스 · 디지털 휴먼 | 여러 사용자가 상태를 나누고 가상 인물이 안내한다 |
| 끝까지 만든 접시 세기 | 사용자 경험 | 고리 한 바퀴를 과업 완료로 잰다 |
⚠ 비유가 맞지 않는 곳: 강사는 사람이라 처음 보는 손짓도 짐작하지만, 실제 시스템은 앱이 미리 묶어 둔 동작에 없는 입력을 읽지 못한다. 머리띠도 마음을 읽지 않고, 훈련해 둔 몇 가지 뇌 신호 변화만 명령으로 바꾼다.
4구조 — 한 고리 위의 HCI · XR 과 열 토픽
열 토픽은 «사람 → 시스템 → 사람» 고리의 어느 구간을 맡느냐로 놓인다. HCI 는 사람의 신호가 시스템에 닿는 통로와 촉각 되돌림을, XR 은 시스템이 만든 장면이 눈에 닿는 구간과 그 장면을 만드는 쪽을 맡고, 사용자 경험은 한 바퀴 전체를 잰다.
그림 3 · HCI 가 사람의 신호를 시스템에 넣고 촉감을 돌려주며, XR 이 시스템의 장면을 눈앞에 놓고, 사용자 경험이 고리 한 바퀴를 평가한다.
| 하위 토픽 · 고리 구간 | 토픽 | 푸는 문제 | 대표 표준 · 근거 |
|---|---|---|---|
| HCI — 사람 → 시스템 | 멀티모달 인터페이스 · 뇌-컴퓨터 인터페이스(BCI) | 손 · 말 · 시선 · 뇌 신호를 명령으로 | OpenXR 동작 · 바인딩 · Vidal 1973 |
| HCI — 시스템 → 몸 | 햅틱 | 결과를 진동 · 힘으로 되돌림 | XrHapticVibration(OpenXR 1.1) |
| XR — 눈앞 장면 | 가상현실 · 증강현실 · 확장 현실(XR) · 혼합현실 | 장면을 현실 대신 · 현실 위에 보이기 | Milgram 1994 연속체 |
| XR — 장면을 만드는 쪽 | 공간 컴퓨팅 · 메타버스 · 디지털 휴먼 | 공간 기억 · 여러 사용자 공유 · 가상 인물 | 확장 현실(XR) 토픽 |
| 평가 — 고리 전체 | 사용자 경험 | 한 바퀴를 끝까지 도는가 | ISO 9241-411 처리율 · W3C XAUR |
🔑 HCI 는 «사람의 무엇이 신호가 되나»를, XR 은 «그 신호가 장면의 어디에 닿나»를 맡는다 — 같은 시선 한 번도 방향은 HCI 가, 겨눈 물체는 XR 이 다룬다.
5동작 — AR 안경으로 선반 부품을 고르는 한 번
창고 작업자가 AR 안경과 손에 쥔 컨트롤러로 선반 부품 하나를 고른다(거리 · 너비 · 횟수 · a · b 는 설명용 가정 값).
- 앱이 동작 세트
picking에 boolean 동작select와 햅틱 출력 동작buzz를 만들고 기기 입력 경로에 묶음을 제안한다 — 동작 세트를 세션에 붙인 뒤에 다시 부르면XR_ERROR_ACTIONSETS_ALREADY_ATTACHED가 난다(OpenXR 바인딩 제안). - 기기가 선반 평면을 찾아 1 m 앞 부품 상자 3개 위에 너비 0.1 m 표지를 띄운다 — 각도 크기 = 2 × atan(0.05 ÷ 1) ≈ 5.72°.
- 작업자가 고개와 눈을 30° 돌려 2번 표지를 겨눈다 — ID = log2(30 ÷ 5.72 + 1) ≈ 2.64비트(MacKenzie 2018 식 17.6).
- 컨트롤러 단추로 고른다 —
xrSyncActions뒤xrGetActionStateBoolean이currentState= true ·changedSinceLastSync= true 를 돌려준다(OpenXR XrActionStateBoolean). - 앱이
xrApplyHapticFeedback에XrHapticVibration(duration =XR_MIN_HAPTIC_DURATION· frequency =XR_FREQUENCY_UNSPECIFIED· amplitude = 0.5)을 넘겨, 기기가 낼 수 있는 가장 짧은 진동을 낸다(OpenXR XrHapticVibration). - 표지가 「선택됨」으로 바뀐다. 다음 선반은 2 m 앞이라 같은 0.1 m 표지가 약 2.86° 로 줄어 ID ≈ 3.52비트가 되므로, 앱이 표지를 0.2 m 로 키워 다시 5.72° 에 맞춘다.
- 하루 선택 200회 가운데 잘못 고른 6회(3%)와 선택 시간을 사용자 경험 평가로 넘기고, 처리율 TP = ID ÷ MT 로 배치 전후를 견준다(MacKenzie 2018 식 17.3).
그림 4 · 동작 묶음 제안(1)과 표지 배치(2)가 먼저 서야, 겨누기(3) · 고르기(4) · 진동(5) · 표시 변경(6)이 HCI 와 XR 사이를 한 번에 오간다.
6단계가 핵심 원리다. XR 장면에서 대상 너비는 길이가 아니라 눈에서 본 각도라서, 장면을 어디에 놓을지가 고르기의 어려움을 정한다.
그림 5 · 같은 0.1 m 표지도 2 m 로 물러나면 각도가 절반이 되어 선택 난이도가 약 0.9비트 오르고, 표지를 두 배로 키우면 1 m 때와 같은 2.64비트로 돌아온다.
🔑 XR 에서 고르기가 어려워지는 원인은 입력 장치보다 배치에 있을 때가 많다 — 거리가 두 배면 같은 표지의 각도가 절반이 되고, 선택 난이도는 거의 1비트 오른다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 경계 사례 | 넘기는 곳 |
|---|---|---|---|
| 확장 현실 · 사용자 경험 | 사람과 시스템이 주고받는 통로 · 눈앞 장면 · 그 평가 | AR 안경의 표지 배치 · 진동 알림 | 기기 하드웨어 · 연결 → 사물인터넷(IoT) · 게임 운영 → 소셜 · 콘텐츠 |
| 사물인터넷(IoT) | 사물의 감지 · 연결 · 원격 관리 | 손목 웨어러블 기기(IoT 시스템 구조) | 그 기기의 진동 · 화면 조작 설계 → 햅틱 · 사용자 경험 |
| 스마트 산업 · 로봇 | 공장 데이터 · 모델링 · 시뮬레이션 · 실물 로봇 | 휴머노이드(실물) ↔ 디지털 휴먼(장면 속 인물) | 공장 모형을 안경에 띄우는 표시 → 증강현실 |
| 소셜 · 콘텐츠 | 사람끼리 잇는 매체 · 게임 · 스트리밍 서비스 | 온라인 게임 ↔ 메타버스 | 몰입 표시 · 손 입력 → 확장 현실 · 사용자 경험 |
| 모빌리티 | 도로 · 철길 · 하늘을 다니는 탈것과 운영 | 차 안 경고 표시 | 운전자가 읽고 누르는 설계 원리 → 사용자 경험 · 차량 기능 안전은 모빌리티에 남김 |
분석질문이 «사람이 보고 · 누르고 · 느끼는 방식»이면 확장 현실 · 사용자 경험을, 같은 기기라도 «센서 · 연결 · 배터리»면 사물인터넷(IoT)을, «공간 속 사람들이 무엇을 나누나»면 소셜 · 콘텐츠를 본다. 근거는 표의 「경계 사례」 열 — 웨어러블 기기는 사물인터넷(IoT) 아래 IoT 시스템 구조에 있고, 햅틱은 HCI 아래에 있다.
7실무 진단 — 증상을 고리 구간으로 가르기
분석같은 과업을 평면 화면에서 먼저 해 보고, 화면에서 되면 XR 쪽(배치 · 추적)을, 화면에서도 안 되면 HCI 쪽(입력 묶음 · 과업)을 본다. 장면 쪽 증상은 각도 · 좌표 값으로 바로 판정되지만, 입력이 묶이지 않은 상태에서는 배치를 고쳐도 고르기가 되지 않기 때문이다(OpenXR XrActionStateBoolean).
| # | 증상 | 의심 원인 | 맡는 쪽 · 토픽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 단추를 눌러도 반응이 없음 | 동작이 기기 입력 경로에 안 묶임 | HCI · 멀티모달 인터페이스 | XrActionStateBoolean 의 isActive | false 면 그 동작에 입력을 넣는 장치가 없음(OpenXR XrActionStateBoolean) |
| 2 | 먼 표지를 자주 잘못 고름 | 각도 크기가 작음 | XR 배치 · 사용자 경험 | 표지 너비 · 거리 → 각도 · ID | 같은 화면 다른 대상보다 ID 가 1비트 가까이 크면 배치부터(MacKenzie 2018 식 17.6) |
| 3 | 한 손 작업 중에는 고를 수 없음 | 입력 방식이 하나뿐 | HCI · 멀티모달 인터페이스 | 같은 동작에 묶인 입력 수 | 여러 입력 방식을 동시에 쓸 수 있어야 함(W3C XAUR REQ 2c) |
| 4 | 화면에선 되고 XR 에서만 표지가 어긋남 | 추적 · 앵커 문제 | XR · 확장 현실(XR) | 표지의 기준 공간 · 추적 상태 | 확장 현실(XR) 토픽의 진단 표로 넘김 |
| 5 | 구간 모두 정상인데 오선택률이 높음 | 과업 순서 · 배치 밀도 | 사용자 경험 | 오선택률 · 처리율 전후 비교 | 처리율 TP = ID ÷ MT 시험 절차(ISO 9241-411 · MacKenzie 2018) |
1행이 걸리면 뒤 행은 볼 필요가 없다. 5행은 앞 네 행이 모두 통과한 뒤에만 의미가 있다.
8시험 대비
시험에서는 HCI · XR 의 개념과 구성 요소를 묻는 정의 · 특징형, 그리고 XR 서비스의 입력 · 표시를 함께 설계하게 하는 구현 · 설계형이 나올 수 있다. 정의 · 특징형이면 그림 3 고리로 HCI · XR 의 열 토픽을 놓고, 구현 · 설계형이면 그림 4 순서와 그림 5 각도 계산으로 «배치가 입력 난이도를 정한다»를 수치로 보인다.
- 개요 — 정의(HCI 넷 + XR 여섯) · Fitts 1954 · Milgram 1994 · OpenXR 1.0(2019)
- 구성 — 그림 3 고리 지도(사람 → 시스템 · 시스템 → 사람 · 평가) + 고리 구간 표(푸는 문제 · 대표 표준)
- 상호작용 흐름 — 그림 4 선반 고르기(동작 묶음 제안 · currentState · XrHapticVibration)
- 핵심 원리 — 그림 5 각도 크기와 ID(log2(A ÷ W + 1) · 2.64 → 3.52비트 · 표지 2배로 복구)
- 평가 — 오선택률 · 처리율 TP = ID ÷ MT(ISO 9241-411) · W3C XAUR 입력 대안
- 동향 — 시선 · 손 입력 결합 · 햅틱 표준화 · 뇌-컴퓨터 인터페이스 · 관련 기술과의 경계
꼭 쓸 키워드
인간-컴퓨터 상호작용멀티모달햅틱뇌-컴퓨터 인터페이스Milgram 연속체OpenXR 동작Fitts 법칙선택 난이도(ID)처리율XR 접근성
다른 답안과 차이를 내는 한 가지는 그림 5 다 — HCI 와 XR 을 따로 나열하지 않고, 장면 배치(XR)가 고르기 난이도(HCI)를 바꾸는 계산 한 줄로 둘이 한데 묶인 이유를 보인다.
9오해와 사실
- 오해XR 이 오면 화면 조작 설계는 필요 없어진다.사실겨누기 난이도 법칙은 각도 단위로 그대로 적용되고, 같은 0.1 m 표지가 2 m 앞이면 ID 가 3.52비트로 오른다(MacKenzie 2018 식 17.6 · 사례 6단계).
- 오해햅틱은 XR 기기에 딸린 부속 기능이다.사실햅틱은 HCI 아래에 있고, OpenXR 도 진동을 입력과 같은 동작 체계의 출력 동작으로 두어 길이 · 주파수 · 세기 세 필드로 요청한다(OpenXR XrHapticVibration).
- 오해뇌-컴퓨터 인터페이스는 확장 현실의 한 종류다.사실BCI 는 근육 대신 뇌 신호를 입력으로 쓰는 통로 문제라 HCI 아래에 있으며, 장면을 보이는 방식과는 따로 선다(Vidal 1973).
10핵심 정리
| 토픽 | 고리 구간 | 다루는 신호 · 값 | 대표 표준 · API | 하위 토픽 |
|---|---|---|---|---|
| 멀티모달 인터페이스 | 사람 → 시스템 | 손 · 말 · 시선을 한 명령으로 | OpenXR 동작 · 바인딩 | HCI |
| 뇌-컴퓨터 인터페이스(BCI) | 사람 → 시스템 | 뇌 신호 변화 | Vidal 1973 | HCI |
| 햅틱 | 시스템 → 몸 | 진동 길이 · 주파수 · 세기 | XrHapticVibration | HCI |
| 사용자 경험 | 고리 전체 | 오선택률 · 처리율 | ISO 9241-411 · W3C XAUR | HCI |
| 가상현실 · 증강현실 | 시스템 → 눈 | 현실을 가리나 · 겹치나 | Milgram 1994 | XR |
| 확장 현실(XR) · 혼합현실 | 시스템 → 눈 | 실제 위치에 고정한 장면 | 확장 현실(XR) 토픽 | XR |
| 공간 컴퓨팅 · 메타버스 | 장면을 만드는 쪽 | 공간 기억 · 공유 상태 | 확장 현실(XR) 토픽 | XR |
| 디지털 휴먼 | 장면을 만드는 쪽 | 가상 인물의 관절 · 말 | 확장 현실(XR) 토픽 | XR |
11참고 문헌
- 먼저 볼 문헌
- ★ Fitts' law (Handbook of Human-Computer Interaction pp 349-370 · Wiley · 저자 공개판) — 선택 난이도 ID(Shannon 식) · 처리율 · ISO 9241-411 시험 방법을 원문으로 볼 때
- ★ XR Accessibility User Requirements (W3C Group Note 25 August 2021) — XR 에서 입력 대안 · 자막 같은 사용자 요구 19개와 요구 사항 번호를 볼 때
- ★ OpenXR 1.1 Reference Page XrHapticVibration — 햅틱 출력의 길이 · 주파수 · 세기 필드와 특수 값 두 개를 볼 때
- ★ OpenXR 1.1 Reference Page xrSuggestInteractionProfileBindings — 앱의 동작을 기기 입력 경로에 묶는 규칙과 오류 값을 볼 때
- 본문 근거
- OpenXR 1.1 Reference Page XrActionStateBoolean — Khronos Group · 2026-11 ·
registry.khronos.org/OpenXR/specs/1.1/man/html/XrActionStateBoolean.html· 확인 2026-11-14 - Khronos Releases OpenXR 1.0 Specification Establishing a Foundation for the AR and VR Ecosystem — Khronos Group · 2019-07 ·
www.khronos.org/news/press/khronos-releases-openxr-1.0-specification-establishing-a-foundation-for-the-ar-and-vr-ecosystem· 확인 2026-11-14 - A Taxonomy of Mixed Reality Visual Displays (IEICE Transactions on Information and Systems vol E77-D no 12 pp 1321-1329) — IEICE · 1994-12 ·
global.ieice.org/en_transactions/information/10.1587/e77-d_12_1321/_p· 확인 2026-11-14 - The information capacity of the human motor system in controlling the amplitude of movement (Journal of Experimental Psychology 47(6) 381-391) — American Psychological Association · 1954-06 ·
doi.org/10.1037/h0055392· 확인 2026-11-14 - A head-mounted three dimensional display (AFIPS Fall Joint Computer Conference vol 33 pp 757-764) — ACM · 1968-12 ·
doi.org/10.1145/1476589.1476686· 확인 2026-11-14 - Toward direct brain-computer communication (Annual Review of Biophysics and Bioengineering vol 2 pp 157-180) — Annual Reviews · 1973-06 ·
doi.org/10.1146/annurev.bb.02.060173.001105· 확인 2026-11-14