IT › IT 응용

확장 현실 · 사용자 경험Extended Reality and User Experience

사람이 손 · 말 · 시선 · 뇌 신호로 컴퓨터에 뜻을 전하는 통로(인간-컴퓨터 상호작용)와, 컴퓨터가 만든 장면을 현실 대신 또는 현실 위에 보여 주는 기술(확장 현실)을 IT 응용 가운데 하나로 묶은 것이다. HCI · XR 의 열 토픽을 «사람 → 시스템 · 시스템 → 사람» 한 고리 위에 놓는 지도다.

1요약

  1. 확장 현실 · 사용자 경험은 손 · 말 · 시선 · 뇌 신호를 명령으로 바꾸고 진동으로 되돌리는 인간-컴퓨터 상호작용(HCI) 넷과, 장면을 현실 대신 · 현실 위에 보이는 확장 현실(XR) 여섯을 한 고리로 묶으며, 2019년 OpenXR 1.0 이 여러 VR · AR 기기를 한 API 로 묶은 뒤 머리 착용 기기 · AR 안경 · 메타버스 서비스가 이 위에서 돈다(Khronos 2019).
  2. 통로와 장면을 따로 설계하면 «보이지만 고를 수 없는» 화면이 생긴다 — W3C XR 접근성 요구(2021)는 사용자 요구 19개 가운데 «여러 입력 방식을 동시에»(REQ 2c)를 두었고, 고를 대상의 너비가 절반이면 선택 난이도가 거의 1비트 오른다(MacKenzie 2018 식 17.6).
  3. 「XR 이 불편하다」는 같은 과업을 평면 화면에서 다시 해 보면 가른다 — 화면 단추로는 되는데 XR 에서만 막히면 장면 쪽(XR 의 배치 · 추적), 화면에서도 막히면 통로 · 과업 쪽(HCI)이다.

2등장 배경

키보드 · 마우스 시절에는 입력 장치와 화면이 기기마다 따로 정해져, 새 장치가 나오면 조작 설계를 처음부터 다시 했다. 1954년 Fitts 는 겨누는 거리와 대상 너비로 손 이동 시간을 예측하는 법칙을 냈고(Fitts 1954), 1968년 Sutherland 는 머리 움직임을 따라 장면을 다시 그리는 머리 착용 표시 장치를 만들었다(Sutherland 1968). 1973년 Vidal 은 뇌 신호를 직접 입력으로 쓰는 뇌-컴퓨터 통신을 제안했다(Vidal 1973).

1994년 Milgram 은 현실에서 가상까지를 한 줄 연속체로 놓아 AR · VR 을 같은 축의 두 점으로 정리했고(Milgram 1994), 2012년 ISO 9241-411 은 Fitts 법칙 시험을 입력 장치 평가 방법으로 담았다(MacKenzie 2018). 2019년 OpenXR 1.0 은 앱이 기기마다 다시 쓰지 않고 같은 API 로 여러 VR · AR 기기에서 돌게 했다(Khronos 2019).

HCI 와 XR 이 지금 한데 묶인 이유는 기기 한 대가 입력(손 · 시선 · 진동)과 출력(장면)을 함께 품기 때문이다. W3C 도 2021년 XR 접근성 요구 하나에 입력 대안과 장면 표시를 같이 담았다(W3C XAUR).

3쉽게 이해하기 — 요리 교실의 두 방향

요리 교실 학생이 손을 들고 「이거요」라며 눈으로 냄비 하나를 가리킨다. 강사는 손짓 · 말 · 눈길을 한데 읽고 학생 어깨를 톡 쳐 알았다고 알린 뒤, 학생 앞 유리판에 그 냄비의 불 세기를 그려 냄비 자리에 붙여 둔다. 손을 들기 어려운 학생은 머리띠를 쓰고 강사를 부른다. 연습 날에는 유리판을 그림막으로 바꿔 부엌 전체를 그린 장면에서 볶고, 교실 밖 친구도 같은 장면에 들어온다 — 강사는 마지막에 끝까지 만든 접시 수를 센다.

요리 교실 — 학생이 뜻을 전하고, 강사가 눈앞에 그려 준다 학생과 주고받는 통로 — HCI 학생 눈앞의 장면 — XR 손짓 · 말 · 눈길 멀티모달 인터페이스 머리띠로 부르기 BCI 어깨를 톡 햅틱 강사 앱 · 런타임 손짓을 읽고 장면을 그린다 유리판 위 불 세기 증강현실 그림막 부엌 가상현실 친구와 같은 장면 메타버스 1 2 3 4 5 6 강사가 끝까지 만든 접시를 센다 사용자 경험 — 고리 전체 평가 HCI XR 강사(시스템) 평가 굵은 화살 = 뜻 · 장면이 가는 길 · 회색 화살 = 되돌려 주는 촉감

그림 1 · 학생 쪽에서 강사로 가는 손짓 · 말 · 머리띠와 강사가 돌려주는 톡 한 번은 HCI, 강사가 학생 눈앞에 그리는 유리판 · 그림막 · 함께 보는 장면은 XR 이고, 접시 세기가 고리 전체를 잰다.

손들고 말하기손짓 · 말 · 눈길을 한꺼번에
머리띠로 부르기손 대신 머리 신호
어깨 톡알았다는 촉감
유리판 붙이기냄비 자리에 불 세기
그림막 부엌교실 전체를 그린 장면
친구와 함께밖에서도 같은 장면
고르기 한 번 — 방향은 사람 쪽, 골라진 물체는 장면 쪽 비유 — 요리 교실 학생 눈길 「이거요」 냄비 1 냄비 2 냄비 3 강사는 눈길이 닿은 냄비를 집는다 실제 — AR 안경 시선 자세 원점 · 방향 표지 1 표지 2 표지 3 HCI 가 준다 XR 이 안다 경계 — 방향(사람 쪽 신호)이 장면 속 표지(장면 쪽 좌표)와 만나는 점 · 굵은 테두리 = 골라진 것

그림 2 · 눈길은 «어느 쪽인가»만 알려 주고 «무엇을 골랐나»는 장면이 안다 — 시선 방향이 장면 속 표지와 만나는 점에서 HCI 가 XR 에 일을 넘긴다.

비유 속 역할실제 이름실제로 하는 일
손짓 · 말 · 눈길멀티모달 인터페이스여러 입력을 명령 하나로 합친다
머리띠로 부르기뇌-컴퓨터 인터페이스(BCI)근육 대신 뇌 신호 변화를 입력으로 쓴다
어깨를 톡햅틱진동 · 힘으로 결과를 몸에 돌려준다
유리판 위 그림증강현실실제 시야 위에 장면을 겹친다
냄비 자리에 붙인 그림공간 컴퓨팅 · 확장 현실(XR) · 혼합현실가상 물체를 실제 위치에 고정하고 기억한다
그림막 부엌가상현실현실 시야를 가리고 만든 장면만 보인다
같은 장면의 친구 · 안내 인형메타버스 · 디지털 휴먼여러 사용자가 상태를 나누고 가상 인물이 안내한다
끝까지 만든 접시 세기사용자 경험고리 한 바퀴를 과업 완료로 잰다

⚠ 비유가 맞지 않는 곳: 강사는 사람이라 처음 보는 손짓도 짐작하지만, 실제 시스템은 앱이 미리 묶어 둔 동작에 없는 입력을 읽지 못한다. 머리띠도 마음을 읽지 않고, 훈련해 둔 몇 가지 뇌 신호 변화만 명령으로 바꾼다.

4구조 — 한 고리 위의 HCI · XR 과 열 토픽

열 토픽은 «사람 → 시스템 → 사람» 고리의 어느 구간을 맡느냐로 놓인다. HCI 는 사람의 신호가 시스템에 닿는 통로와 촉각 되돌림을, XR 은 시스템이 만든 장면이 눈에 닿는 구간과 그 장면을 만드는 쪽을 맡고, 사용자 경험은 한 바퀴 전체를 잰다.

확장 현실 · 사용자 경험 — HCI 와 XR 의 열 토픽이 한 고리에 놓인다 사람 손 · 말 · 눈 · 뇌 시스템 앱 · 런타임 HCI — 사람과 시스템이 신호를 주고받는 통로 멀티모달 인터페이스 뇌-컴퓨터 인터페이스(BCI) 햅틱 위 둘 = 사람 → 시스템 · 햅틱 = 시스템 → 몸 XR — 시스템의 장면을 눈앞에 놓는 쪽 가상현실 증강현실 확장 현실(XR) · 혼합현실 공간 컴퓨팅 메타버스 디지털 휴먼 뜻 촉감 명령 장면 눈앞 사용자 경험 — 고리 한 바퀴(뜻 전하기 → 장면 보기)를 과업 완료 · 오선택률 · 처리율로 평가 입력 · 촉각 통로 눈앞 장면 장면을 만드는 시스템 쪽 평가 사람

그림 3 · HCI 가 사람의 신호를 시스템에 넣고 촉감을 돌려주며, XR 이 시스템의 장면을 눈앞에 놓고, 사용자 경험이 고리 한 바퀴를 평가한다.

하위 토픽 · 고리 구간토픽푸는 문제대표 표준 · 근거
HCI — 사람 → 시스템멀티모달 인터페이스 · 뇌-컴퓨터 인터페이스(BCI)손 · 말 · 시선 · 뇌 신호를 명령으로OpenXR 동작 · 바인딩 · Vidal 1973
HCI — 시스템 → 몸햅틱결과를 진동 · 힘으로 되돌림XrHapticVibration(OpenXR 1.1)
XR — 눈앞 장면가상현실 · 증강현실 · 확장 현실(XR) · 혼합현실장면을 현실 대신 · 현실 위에 보이기Milgram 1994 연속체
XR — 장면을 만드는 쪽공간 컴퓨팅 · 메타버스 · 디지털 휴먼공간 기억 · 여러 사용자 공유 · 가상 인물확장 현실(XR) 토픽
평가 — 고리 전체사용자 경험한 바퀴를 끝까지 도는가ISO 9241-411 처리율 · W3C XAUR

🔑 HCI 는 «사람의 무엇이 신호가 되나»를, XR 은 «그 신호가 장면의 어디에 닿나»를 맡는다 — 같은 시선 한 번도 방향은 HCI 가, 겨눈 물체는 XR 이 다룬다.

5동작 — AR 안경으로 선반 부품을 고르는 한 번

창고 작업자가 AR 안경과 손에 쥔 컨트롤러로 선반 부품 하나를 고른다(거리 · 너비 · 횟수 · a · b 는 설명용 가정 값).

  1. 앱이 동작 세트 picking 에 boolean 동작 select 와 햅틱 출력 동작 buzz 를 만들고 기기 입력 경로에 묶음을 제안한다 — 동작 세트를 세션에 붙인 뒤에 다시 부르면 XR_ERROR_ACTIONSETS_ALREADY_ATTACHED 가 난다(OpenXR 바인딩 제안).
  2. 기기가 선반 평면을 찾아 1 m 앞 부품 상자 3개 위에 너비 0.1 m 표지를 띄운다 — 각도 크기 = 2 × atan(0.05 ÷ 1) ≈ 5.72°.
  3. 작업자가 고개와 눈을 30° 돌려 2번 표지를 겨눈다 — ID = log2(30 ÷ 5.72 + 1) ≈ 2.64비트(MacKenzie 2018 식 17.6).
  4. 컨트롤러 단추로 고른다 — xrSyncActions 뒤 xrGetActionStateBoolean 이 currentState = true · changedSinceLastSync = true 를 돌려준다(OpenXR XrActionStateBoolean).
  5. 앱이 xrApplyHapticFeedback 에 XrHapticVibration(duration = XR_MIN_HAPTIC_DURATION · frequency = XR_FREQUENCY_UNSPECIFIED · amplitude = 0.5)을 넘겨, 기기가 낼 수 있는 가장 짧은 진동을 낸다(OpenXR XrHapticVibration).
  6. 표지가 「선택됨」으로 바뀐다. 다음 선반은 2 m 앞이라 같은 0.1 m 표지가 약 2.86° 로 줄어 ID ≈ 3.52비트가 되므로, 앱이 표지를 0.2 m 로 키워 다시 5.72° 에 맞춘다.
  7. 하루 선택 200회 가운데 잘못 고른 6회(3%)와 선택 시간을 사용자 경험 평가로 넘기고, 처리율 TP = ID ÷ MT 로 배치 전후를 견준다(MacKenzie 2018 식 17.3).
작업자 입력 · 햅틱(HCI) 앱 장면 · 공간(XR) 동작 세트 · 묶음 제안 표지 0.1 m · 1 m 앞 = 5.72° 고개 · 눈 30° 돌려 겨눔 — ID ≈ 2.64비트 단추 누름 currentState = true 진동 요청 · amplitude 0.5 가장 짧은 진동 표지 「선택됨」 1 2 3 4 5 6

그림 4 · 동작 묶음 제안(1)과 표지 배치(2)가 먼저 서야, 겨누기(3) · 고르기(4) · 진동(5) · 표시 변경(6)이 HCI 와 XR 사이를 한 번에 오간다.

6단계가 핵심 원리다. XR 장면에서 대상 너비는 길이가 아니라 눈에서 본 각도라서, 장면을 어디에 놓을지가 고르기의 어려움을 정한다.

XR 에서 대상 크기는 각도다 — 배치가 선택 난이도를 정한다 1 m 앞 · 너비 0.1 m 각도 5.72° · 예상 0.73 s 2.64비트 2 m 앞 · 너비 0.1 m 각도 2.86° · 예상 0.90 s 3.52비트 2 m 앞 · 너비 0.2 m 각도 5.72° · 예상 0.73 s 2.64비트 0 1 2 3 비트 ID = log2(A ÷ W + 1) · A = 돌리는 각 30° · W = 표지 각도 크기 · MT = a + b × ID(a 0.2 s · b 0.2 s/비트 = 가정 값) 굵은 테두리 = 고친 배치 · 막대 길이 = ID(1비트 = 120 px)

그림 5 · 같은 0.1 m 표지도 2 m 로 물러나면 각도가 절반이 되어 선택 난이도가 약 0.9비트 오르고, 표지를 두 배로 키우면 1 m 때와 같은 2.64비트로 돌아온다.

🔑 XR 에서 고르기가 어려워지는 원인은 입력 장치보다 배치에 있을 때가 많다 — 거리가 두 배면 같은 표지의 각도가 절반이 되고, 선택 난이도는 거의 1비트 오른다.

6비교 — 관련 기술과의 경계

기술맡는 일경계 사례넘기는 곳
확장 현실 · 사용자 경험사람과 시스템이 주고받는 통로 · 눈앞 장면 · 그 평가AR 안경의 표지 배치 · 진동 알림기기 하드웨어 · 연결 → 사물인터넷(IoT) · 게임 운영 → 소셜 · 콘텐츠
사물인터넷(IoT)사물의 감지 · 연결 · 원격 관리손목 웨어러블 기기(IoT 시스템 구조)그 기기의 진동 · 화면 조작 설계 → 햅틱 · 사용자 경험
스마트 산업 · 로봇공장 데이터 · 모델링 · 시뮬레이션 · 실물 로봇휴머노이드(실물) ↔ 디지털 휴먼(장면 속 인물)공장 모형을 안경에 띄우는 표시 → 증강현실
소셜 · 콘텐츠사람끼리 잇는 매체 · 게임 · 스트리밍 서비스온라인 게임 ↔ 메타버스몰입 표시 · 손 입력 → 확장 현실 · 사용자 경험
모빌리티도로 · 철길 · 하늘을 다니는 탈것과 운영차 안 경고 표시운전자가 읽고 누르는 설계 원리 → 사용자 경험 · 차량 기능 안전은 모빌리티에 남김

분석질문이 «사람이 보고 · 누르고 · 느끼는 방식»이면 확장 현실 · 사용자 경험을, 같은 기기라도 «센서 · 연결 · 배터리»면 사물인터넷(IoT)을, «공간 속 사람들이 무엇을 나누나»면 소셜 · 콘텐츠를 본다. 근거는 표의 「경계 사례」 열 — 웨어러블 기기는 사물인터넷(IoT) 아래 IoT 시스템 구조에 있고, 햅틱은 HCI 아래에 있다.

7실무 진단 — 증상을 고리 구간으로 가르기

분석같은 과업을 평면 화면에서 먼저 해 보고, 화면에서 되면 XR 쪽(배치 · 추적)을, 화면에서도 안 되면 HCI 쪽(입력 묶음 · 과업)을 본다. 장면 쪽 증상은 각도 · 좌표 값으로 바로 판정되지만, 입력이 묶이지 않은 상태에서는 배치를 고쳐도 고르기가 되지 않기 때문이다(OpenXR XrActionStateBoolean).

#증상의심 원인맡는 쪽 · 토픽확인 자료판정 기준(근거)
1단추를 눌러도 반응이 없음동작이 기기 입력 경로에 안 묶임HCI · 멀티모달 인터페이스XrActionStateBoolean 의 isActivefalse 면 그 동작에 입력을 넣는 장치가 없음(OpenXR XrActionStateBoolean)
2먼 표지를 자주 잘못 고름각도 크기가 작음XR 배치 · 사용자 경험표지 너비 · 거리 → 각도 · ID같은 화면 다른 대상보다 ID 가 1비트 가까이 크면 배치부터(MacKenzie 2018 식 17.6)
3한 손 작업 중에는 고를 수 없음입력 방식이 하나뿐HCI · 멀티모달 인터페이스같은 동작에 묶인 입력 수여러 입력 방식을 동시에 쓸 수 있어야 함(W3C XAUR REQ 2c)
4화면에선 되고 XR 에서만 표지가 어긋남추적 · 앵커 문제XR · 확장 현실(XR)표지의 기준 공간 · 추적 상태확장 현실(XR) 토픽의 진단 표로 넘김
5구간 모두 정상인데 오선택률이 높음과업 순서 · 배치 밀도사용자 경험오선택률 · 처리율 전후 비교처리율 TP = ID ÷ MT 시험 절차(ISO 9241-411 · MacKenzie 2018)

1행이 걸리면 뒤 행은 볼 필요가 없다. 5행은 앞 네 행이 모두 통과한 뒤에만 의미가 있다.

8시험 대비

시험에서는 HCI · XR 의 개념과 구성 요소를 묻는 정의 · 특징형, 그리고 XR 서비스의 입력 · 표시를 함께 설계하게 하는 구현 · 설계형이 나올 수 있다. 정의 · 특징형이면 그림 3 고리로 HCI · XR 의 열 토픽을 놓고, 구현 · 설계형이면 그림 4 순서와 그림 5 각도 계산으로 «배치가 입력 난이도를 정한다»를 수치로 보인다.

답안 목차
  1. 개요 — 정의(HCI 넷 + XR 여섯) · Fitts 1954 · Milgram 1994 · OpenXR 1.0(2019)
  2. 구성 — 그림 3 고리 지도(사람 → 시스템 · 시스템 → 사람 · 평가) + 고리 구간 표(푸는 문제 · 대표 표준)
  3. 상호작용 흐름 — 그림 4 선반 고르기(동작 묶음 제안 · currentState · XrHapticVibration)
  4. 핵심 원리 — 그림 5 각도 크기와 ID(log2(A ÷ W + 1) · 2.64 → 3.52비트 · 표지 2배로 복구)
  5. 평가 — 오선택률 · 처리율 TP = ID ÷ MT(ISO 9241-411) · W3C XAUR 입력 대안
  6. 동향 — 시선 · 손 입력 결합 · 햅틱 표준화 · 뇌-컴퓨터 인터페이스 · 관련 기술과의 경계

꼭 쓸 키워드
인간-컴퓨터 상호작용멀티모달햅틱뇌-컴퓨터 인터페이스Milgram 연속체OpenXR 동작Fitts 법칙선택 난이도(ID)처리율XR 접근성

다른 답안과 차이를 내는 한 가지는 그림 5 다 — HCI 와 XR 을 따로 나열하지 않고, 장면 배치(XR)가 고르기 난이도(HCI)를 바꾸는 계산 한 줄로 둘이 한데 묶인 이유를 보인다.

9오해와 사실

  • 오해XR 이 오면 화면 조작 설계는 필요 없어진다.
    사실겨누기 난이도 법칙은 각도 단위로 그대로 적용되고, 같은 0.1 m 표지가 2 m 앞이면 ID 가 3.52비트로 오른다(MacKenzie 2018 식 17.6 · 사례 6단계).
  • 오해햅틱은 XR 기기에 딸린 부속 기능이다.
    사실햅틱은 HCI 아래에 있고, OpenXR 도 진동을 입력과 같은 동작 체계의 출력 동작으로 두어 길이 · 주파수 · 세기 세 필드로 요청한다(OpenXR XrHapticVibration).
  • 오해뇌-컴퓨터 인터페이스는 확장 현실의 한 종류다.
    사실BCI 는 근육 대신 뇌 신호를 입력으로 쓰는 통로 문제라 HCI 아래에 있으며, 장면을 보이는 방식과는 따로 선다(Vidal 1973).

10핵심 정리

토픽고리 구간다루는 신호 · 값대표 표준 · API하위 토픽
멀티모달 인터페이스사람 → 시스템손 · 말 · 시선을 한 명령으로OpenXR 동작 · 바인딩HCI
뇌-컴퓨터 인터페이스(BCI)사람 → 시스템뇌 신호 변화Vidal 1973HCI
햅틱시스템 → 몸진동 길이 · 주파수 · 세기XrHapticVibrationHCI
사용자 경험고리 전체오선택률 · 처리율ISO 9241-411 · W3C XAURHCI
가상현실 · 증강현실시스템 → 눈현실을 가리나 · 겹치나Milgram 1994XR
확장 현실(XR) · 혼합현실시스템 → 눈실제 위치에 고정한 장면확장 현실(XR) 토픽XR
공간 컴퓨팅 · 메타버스장면을 만드는 쪽공간 기억 · 공유 상태확장 현실(XR) 토픽XR
디지털 휴먼장면을 만드는 쪽가상 인물의 관절 · 말확장 현실(XR) 토픽XR

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Fitts' law (Handbook of Human-Computer Interaction pp 349-370 · Wiley · 저자 공개판) — 선택 난이도 ID(Shannon 식) · 처리율 · ISO 9241-411 시험 방법을 원문으로 볼 때
    York University · 2018-01 · www.yorku.ca/mack/hhci2018.html · 확인 2026-11-14
  3. ★ XR Accessibility User Requirements (W3C Group Note 25 August 2021) — XR 에서 입력 대안 · 자막 같은 사용자 요구 19개와 요구 사항 번호를 볼 때
    W3C · 2021-08 · www.w3.org/TR/xaur/ · 확인 2026-11-14
  4. ★ OpenXR 1.1 Reference Page XrHapticVibration — 햅틱 출력의 길이 · 주파수 · 세기 필드와 특수 값 두 개를 볼 때
    Khronos Group · 2026-11 · registry.khronos.org/OpenXR/specs/1.1/man/html/XrHapticVibration.html · 확인 2026-11-14
  5. ★ OpenXR 1.1 Reference Page xrSuggestInteractionProfileBindings — 앱의 동작을 기기 입력 경로에 묶는 규칙과 오류 값을 볼 때
    Khronos Group · 2026-11 · registry.khronos.org/OpenXR/specs/1.1/man/html/xrSuggestInteractionProfileBindings.html · 확인 2026-11-14
  6. 본문 근거
  7. OpenXR 1.1 Reference Page XrActionStateBoolean — Khronos Group · 2026-11 · registry.khronos.org/OpenXR/specs/1.1/man/html/XrActionStateBoolean.html · 확인 2026-11-14
  8. Khronos Releases OpenXR 1.0 Specification Establishing a Foundation for the AR and VR Ecosystem — Khronos Group · 2019-07 · www.khronos.org/news/press/khronos-releases-openxr-1.0-specification-establishing-a-foundation-for-the-ar-and-vr-ecosystem · 확인 2026-11-14
  9. A Taxonomy of Mixed Reality Visual Displays (IEICE Transactions on Information and Systems vol E77-D no 12 pp 1321-1329) — IEICE · 1994-12 · global.ieice.org/en_transactions/information/10.1587/e77-d_12_1321/_p · 확인 2026-11-14
  10. The information capacity of the human motor system in controlling the amplitude of movement (Journal of Experimental Psychology 47(6) 381-391) — American Psychological Association · 1954-06 · doi.org/10.1037/h0055392 · 확인 2026-11-14
  11. A head-mounted three dimensional display (AFIPS Fall Joint Computer Conference vol 33 pp 757-764) — ACM · 1968-12 · doi.org/10.1145/1476589.1476686 · 확인 2026-11-14
  12. Toward direct brain-computer communication (Annual Review of Biophysics and Bioengineering vol 2 pp 157-180) — Annual Reviews · 1973-06 · doi.org/10.1146/annurev.bb.02.060173.001105 · 확인 2026-11-14