가상현실Virtual Reality
머리에 쓴 표시 장치가 사용자의 머리 움직임을 추적해 컴퓨터가 만든 3차원 장면을 두 눈에 따로 보여 주어, 사용자가 그 장면 안에 있다고 느끼게 하는 기술이다.
1요약
- 가상현실은 Milgram · Kishino 가 1994년 정리한 현실-가상 연속체의 가상 쪽 끝(가상 물체만 보이는 환경)으로, 오늘날 머리 착용 표시 장치(HMD)와 OpenXR 1.1 같은 응용 인터페이스 위에서 훈련 시뮬레이터 · 설계 검토 · 게임이 돈다.
- 머리를 돌렸는데 그림이 늦게 따라오면 눈이 보는 움직임과 몸이 느끼는 움직임이 어긋나 가상현실 멀미가 생기고, 1초에 120도 돌리는 머리에 지연이 25 ms 면 장면이 3도 뒤처진다(오차 = 각속도 × 지연 · 설명용 가정 값).
- 「VR 이 어지럽다」는 어긋남이 어디서 생겼는가로 가른다 — 고개를 돌릴 때만이면 렌더링 · 지연, 가만히 있어도 세계가 미끄러지면 추적, 조이스틱으로 움직일 때만이면 콘텐츠의 이동 방식이 원인이다.
2등장 배경
1960년대 컴퓨터 화면은 책상 위 평면에 머물러, 사람은 화면 «밖»에서 그림을 볼 뿐 고개를 돌려 장면 안을 둘러볼 수 없었다. Ivan Sutherland 는 1968년 머리에 쓴 두 개의 작은 화면과 기계식 · 초음파 머리 추적기로, 고개 방향에 맞춰 선 그림을 다시 그리는 HMD 를 발표했다(Sutherland 1968).
1994년 Milgram · Kishino 는 VR · AR 같은 말이 연구자마다 다르게 쓰이는 문제를 두고, 실제 환경과 가상 환경을 두 끝으로 하는 연속체와 그 사이 전부를 혼합현실(MR) 로 정의했다(Milgram 1994 1절). 2010년대 중반 소비자용 HMD 가 늘면서 장치마다 응용 인터페이스가 달라지자, Khronos Group 이 2019년 7월 장치 중립 표준 OpenXR 1.0 을 냈다(Khronos 2019).
2024년 4월 OpenXR 1.1 은 바닥 높이 참조 공간(LOCAL_FLOOR)과 포비티드 렌더링용 보기 구성을 확장 기능에서 핵심 기능으로 옮겼다(Khronos 2024). 멀미는 지금도 남은 과제라, IEEE 는 2020년 HMD 기반 VR 멀미 감소 기술 표준 IEEE 3079 를 승인했다.
3쉽게 이해하기 — 머리에 쓴 그림 상자와 화가
관객 한 사람이 앞이 막힌 상자를 머리에 쓰고, 상자 안에는 왼눈 · 오른눈 앞에 그림판이 한 장씩 있다. 옆에서 조수가 관객의 고개 방향을 지켜보다 화가에게 알려 주면, 화가는 그 방향에서 보일 풍경을 두 장 그려 상자에 끼운다. 화가가 늦으면 관객은 고개를 돌렸는데 풍경이 제자리여서 어지러움을 느낀다. 그래서 화가는 끼우기 직전에 조수에게 한 번 더 물어 그림을 살짝 밀어 맞추고, 관객의 눈이 가는 가운데만 꼼꼼히 그린다.
그림 1 · 조수가 고개 방향을 알리고 화가가 두 장의 그림을 새로 끼우는 고리가, 늦지 않게 돌아야 관객이 장면 안에 있다고 느낀다.
그림 2 · 늦게 그린 그림은 끼우기 직전의 고개 방향으로 밀어 맞추면, 뒤처진 각도가 크게 줄어든다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 관객 | 사용자 | 머리 · 손을 움직이고 장면 안에 있다고 느낀다(현존감) |
| 그림판 두 장 | 좌우 디스플레이 | 두 눈에 시차가 있는 그림을 따로 보여 입체감을 만든다 |
| 돋보기 | 렌즈 | 눈앞 몇 cm 화면을 먼 거리의 넓은 시야로 보이게 한다 |
| 고개 방향 보기 | 추적(6DoF) | 머리의 회전 3축 · 이동 3축 자세를 계속 잰다 |
| 도착 시각 짐작 | 자세 예측 | 그림이 실제로 보일 시각의 머리 자세를 미리 계산한다 |
| 화가 | 렌더링(GPU) | 예측 자세에서 보이는 장면을 눈마다 그린다 |
| 밀어 맞춤 | 재투영 | 표시 직전 최신 자세로 다 그린 그림을 돌려 맞춘다 |
| 눈 가는 곳만 꼼꼼히 | 포비티드 렌더링 | 시선 가운데는 고해상도, 주변은 낮은 해상도로 그린다 |
⚠ 비유가 맞지 않는 곳: 실제 HMD 는 1초에 수십 ~ 백여 번 그림을 바꾸므로 «한 장씩 끼우기»가 아니라 끊김 없는 화면이다. 또 재투영은 그림을 새로 그리지 않고 돌리기만 하므로, 가려져 있던 물체 뒤쪽처럼 원래 그림에 없던 부분은 만들어 내지 못한다.
4구조 — HMD · 런타임 · 응용
가상현실 시스템은 HMD(디스플레이 · 렌즈 · 추적 센서) · 입력 장치 · 런타임(컴포지터 포함) · 응용 네 부분으로 나뉘고, OpenXR 은 응용과 런타임 사이의 장치 중립 인터페이스다(OpenXR 1.1). 응용은 런타임에 자세를 묻고 그린 그림을 스왑체인 이미지로 넘기며, 화면에 내보내는 일은 런타임이 맡는다.
그림 3 · 센서의 자세는 런타임을 거쳐 응용으로 가고, 응용이 그린 그림은 다시 런타임이 합성해 HMD 화면으로 보낸다 — 응용은 화면을 직접 만지지 않는다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 디스플레이 | 눈마다 시차 있는 그림 표시 | 주사율 90 Hz 면 한 프레임 11.1 ms(1/주사율) |
| 추적(6DoF) | 회전 3축 + 이동 3축 자세 측정 | 회전만 재면 3DoF · 위치를 잃으면 POSITION_ |
| 참조 공간 | 자세를 재는 좌표 원점 | VIEW · LOCAL(필수) · LOCAL_ |
| 프레임 루프 | 응용과 화면의 박자 맞춤 | xrWaitFrame 이 predictedDisplayTime 을 줌 · 단조 증가(OpenXR 1.1) |
| 컴포지터 | 제출된 그림을 최신 자세로 재투영 · 합성 | 응용이 넘긴 displayTime 으로 예측 · 재투영 |
| 입력 | 컨트롤러 · 손 동작을 행동으로 | 상호작용 프로필 · 동작(action) 체계 |
| 렌즈 | 짧은 거리 화면을 넓은 시야로 | 초점 거리 고정 → 수렴 · 조절 불일치(Hoffman 2008) |
몰입과 현존감은 다른 말이다. Slater 는 몰입을 시스템이 허용하는 유효한 동작(고개를 돌리면 보이는 것이 바뀌는 감각 운동 관계)의 범위로, 현존감을 «거기 있지 않다는 것을 알면서도 거기 있다는 착각(장소 착각)»과 «일어나는 일이 진짜라는 착각(개연성 착각)»으로 나눴다(Slater 2009).
🔑 몰입은 시스템의 성질이고 현존감은 사람의 반응이다 — 6DoF 추적 · 넓은 시야는 몰입을 올리지만, 그림이 늦어 감각 운동 관계가 깨지면 같은 장비에서도 현존감이 무너진다.
5동작 — 머리를 돌리는 동안 한 프레임
90 Hz HMD 에서 사용자가 머리를 1초에 120도 빠르기로 오른쪽으로 돌리는 동안 한 프레임이 화면에 나가는 과정이다. 단계 시각은 모두 설명용 가정 값이고, 화면은 가로 1도에 20화소(20 px/°)로 가정한다.
- xrWaitFrame — 런타임이 응용의 박자를 화면에 맞추고, 이 프레임이 보일 구간의 가운데 시각 T = 25 ms 를 predictedDisplayTime 으로 준다(OpenXR 1.1 xrWaitFrame).
- xrLocateViews(T) — 0 ms 의 자세 표본으로 T 시각의 머리 자세를 예측해 왼눈 · 오른눈의 자세와 시야각 두 벌을 돌려준다.
- 렌더링 — 응용이 두 눈 그림을 스왑체인 이미지에 그린다(1 ~ 11 ms · 10 ms).
- xrEndFrame(displayTime = T) — 그림을 투영 합성 계층으로 제출한다(11 ms). 응용 쪽 일은 여기서 끝난다.
- 재투영 — 컴포지터가 20 ms 의 최신 자세 표본으로 다 그린 그림을 돌려 맞추고 합성한다(20 ~ 22 ms).
- 표시 — 디스플레이가 그림을 내보내고, 표시 구간의 가운데가 T = 25 ms 다. 자세 표본에서 빛까지(motion-to-photon) 앱 경로는 25 ms, 재투영 뒤에는 5 ms 다.
그림 4 · 응용은 0 ms 의 자세로 그리지만 컴포지터가 20 ms 의 자세로 다시 맞추므로, 화면에 보이는 그림의 실제 지연은 25 ms 가 아니라 5 ms 다.
머리가 돌고 있으면 지연 동안 움직인 각도만큼 장면이 뒤처진다. 이 사례에서 앱 경로만 쓰면 120°/s × 0.025 s = 3.0°(약 60화소), 재투영 뒤에는 120°/s × 0.005 s = 0.6°(약 12화소)다.
그림 5 · 각도 오차는 지연에 비례하므로, 같은 머리 빠르기에서 지연을 25 ms 에서 5 ms 로 줄이면 오차도 3.0° 에서 0.6° 로 다섯 배 줄어든다.
🔑 주사율이 아니라 «마지막 자세 표본에서 빛까지»의 시간이 뒤처지는 각도를 정한다 — 렌더링이 10 ms 걸려도 표시 직전 자세로 재투영하면 사용자가 겪는 지연은 5 ms 다.
포비티드 렌더링은 같은 프레임 안에서 계산량을 줄여 3번 단계를 짧게 만든다. Guenter 등은 시선 둘레를 해상도가 다른 세 영역으로 나눠 그려, 셰이딩하는 화소를 10 ~ 15분의 1로 줄이고 그래픽 계산을 5 ~ 6배 빠르게 했다(Guenter 2012). OpenXR 1.1 은 좌우 눈마다 넓은 보기와 안쪽 고해상도 보기를 두는 보기 구성을 핵심 기능으로 넣었다(Khronos 2024).
6비교 — VR · AR · AV · MR · XR
Milgram 연속체는 한 화면에 실제 물체와 가상 물체가 얼마나 섞였는가로 환경을 가른다. 왼쪽 끝은 실제 물체만, 오른쪽 끝은 가상 물체만 있는 환경이고, MR 은 두 끝 «사이» 전부다(Milgram 1994 1절 그림 1).
그림 6 · VR 은 연속체의 가상 쪽 끝이고, AR 과 AV 는 그 사이의 MR 에 들며, XR 은 연속체 전체를 묶는 업계 용어다.
| 기준 | VR | AR | MR(Milgram 정의) |
|---|---|---|---|
| 보이는 것 | 가상 물체만 | 실제 환경 위 가상 물체 | 실제 · 가상이 한 화면에 섞인 전부 |
| 표시 방식 | 불투명 HMD | 광학 투과 HMD · 비디오 투과 · 휴대폰 화면 | AR · AV 의 표시 방식 모두 |
| 추적이 맞출 대상 | 머리 자세 ↔ 가상 장면 | 가상 물체 ↔ 실제 물체 위치(정합) | 두 세계의 좌표 맞춤 |
| 지연이 드러나는 모습 | 장면 전체가 뒤처짐 → 멀미 | 가상 물체가 실제 위에서 미끄러짐 | 실제 쪽 기준이 있으면 AR 과 같음 |
| 대표 쓰임 | 훈련 시뮬레이터 · 설계 검토 | 현장 작업 안내 · 길 안내 | 원격 협업 · 실제 손이 들어간 가상 공간 |
분석실제 환경을 보며 일해야 하면(정비 · 조립 안내) AR 을, 실제가 방해되거나 위험해 통째로 바꿔야 하면(고소 작업 · 비상 훈련) VR 을 고른다. 근거는 표의 「보이는 것」 · 「추적이 맞출 대상」 행 — VR 은 실제 물체와의 정합이 필요 없어 머리 자세만 맞추면 되고, AR 은 가상 물체를 실제 위치에 붙여야 한다(Milgram 1994 1절).
메타버스는 VR · AR 같은 표시 기술 위에서 여러 사람이 머무는 지속 가상 공간과 그 경제 · 사회 활동을 가리키는 말이라, 가상현실의 대안이 아니라 그 위에 올라가는 서비스다.
7실무 진단 — 「어지럽다 · 흔들린다」를 구간으로 가르기
분석프레임 시간(렌더링) → 추적 상태 비트(추적) → 콘텐츠 이동 방식 · 광학 순서로 확인한다. 앞의 둘은 숫자 · 플래그로 바로 판정되고, 프레임이 늦거나 추적을 잃은 상태에서는 콘텐츠를 고쳐도 멀미가 남기 때문이다(OpenXR 1.1 xrWaitFrame · XrViewStateFlagBits).
| # | 증상 | 의심 원인 | 구간 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 고개를 돌릴 때 그림이 끌리듯 늦거나 떨림 | 프레임 시간이 한 주기 초과 · 재투영 의존 | 렌더링 | 런타임 성능 기록의 프레임 시간 · 응용 GPU 시간 | 90 Hz 에서 프레임 시간 11.1 ms 이내(1/주사율) |
| 2 | 가만히 있어도 세계가 미끄러짐 | 위치 추적 손실(어두운 방 · 무늬 없는 벽) | 추적 | xrLocateViews 의 viewStateFlags | POSITION_ |
| 3 | 바닥 · 키 높이가 어긋남 | 참조 공간 선택 잘못 | 좌표계 | 응용이 만든 참조 공간 종류 | 바닥 기준 콘텐츠는 LOCAL_ |
| 4 | 조이스틱으로 이동할 때만 메스꺼움 | 시각은 움직이는데 몸은 정지 | 콘텐츠 | 사용 전후 SSQ 점수 | 메스꺼움 · 방향 감각 상실 하위 점수 상승(Kennedy 1993 · 16증상 3하위 척도) |
| 5 | 오래 쓰면 눈 피로 · 가까운 물체가 흐림 | 렌즈 초점 거리 고정 ↔ 수렴 거리 변화 · IPD 불일치 | 광학 | IPD 설정 · 가까운 물체의 가상 거리 | 수렴 · 조절 불일치가 클수록 피로 증가(Hoffman 2008) |
진단은 1행의 프레임 시간부터 본다. 프레임이 주기 안에 들어오는데도 고개를 돌릴 때 장면이 어긋나면 2행의 추적 상태를 보고, 둘 다 정상인데 특정 동작에서만 어지러우면 4행 · 5행의 콘텐츠 · 광학으로 넘어간다.
8시험 대비
www.q-net.or.kr시험에서는 개념 · 구성 요소 · 몰입과 현존감을 묻는 정의 · 특징형과 HMD · 추적 · 렌더링의 짜임을 묻는 구조 · 구성형이 나올 수 있다. 멀미 원인과 대책, AR · MR · XR 과 차이를 함께 묻는 비교 문항도 대비한다.
- 개요 — 정의 · Milgram 현실-가상 연속체의 가상 쪽 끝 · Sutherland 1968 HMD · OpenXR 1.1(2024)
- 구성 — 그림 3 HMD(디스플레이 · 렌즈 · 6DoF 추적 · 입력) · 런타임 · 응용 · 요소 표
- 특징 — 몰입(시스템 성질) ↔ 현존감(장소 착각 · 개연성 착각) · 3DoF / 6DoF
- 동작 · 지연 — 그림 4 프레임 루프(xrWaitFrame → 렌더링 → xrEndFrame → 재투영) · 그림 5 오차 = 각속도 × 지연(25 ms → 3.0° · 5 ms → 0.6°)
- 문제와 대책 — 멀미(감각 불일치 · SSQ) · 수렴 · 조절 불일치 · 포비티드 렌더링(셰이딩 화소 10 ~ 15분의 1) · IEEE 3079
- 비교 · 발전 — 그림 6 VR · AR · AV · MR · XR · 메타버스와 관계 한 줄
꼭 쓸 키워드
몰입현존감HMD6DoFmotion-to-photon 지연재투영포비티드 렌더링가상현실 멀미현실-가상 연속체OpenXR
다른 답안과 차이를 내는 한 가지는 그림 5 의 «지연과 각도 오차» 수치다 — 지연을 「짧아야 한다」로 끝내지 않고, 머리 빠르기 × 지연으로 장면이 몇 도 뒤처지는지 계산해 재투영의 효과를 보인다.
9오해와 사실
- 오해VR 멀미는 화질이 낮아서 생긴다.사실주된 원인은 눈이 보는 움직임과 몸이 느끼는 움직임의 불일치라 화질과 무관하게 이동 방식 · 지연에서 생기고, 그 정도는 SSQ 의 메스꺼움 · 안구 운동 · 방향 감각 상실 세 하위 척도로 잰다(Kennedy 1993).
- 오해화면 주사율만 높이면 지연 문제가 끝난다.사실90 Hz 한 프레임은 11.1 ms 지만 지연은 자세 표본 · 렌더링 · 합성 · 표시를 모두 더한 값이라, 사례의 앱 경로는 25 ms 이고 재투영이 이를 5 ms 로 줄였다.
- 오해혼합현실은 증강현실의 다른 이름이다.사실Milgram 은 MR 을 연속체 두 끝 사이 전부로 정의해, 실제 위 가상(AR)과 가상 위 실제(AV)를 모두 포함한다(Milgram 1994 1절).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 · 이름 | 잘못되면 | 근거 |
|---|---|---|---|---|
| 디스플레이 · 렌즈 | 두 눈에 시차 있는 그림 · 넓은 시야 | 90 Hz = 11.1 ms · IPD 조절 | 눈 피로 · 수렴 · 조절 불일치 | Hoffman 2008 |
| 추적 | 회전 3 + 이동 3 자세 측정 | 6DoF · POSITION_ | 세계가 미끄러짐 | OpenXR 1.1 |
| 참조 공간 | 자세의 좌표 원점 | VIEW · LOCAL · LOCAL_ | 바닥 높이 어긋남 | OpenXR 1.1 |
| 프레임 루프 | 응용과 화면의 박자 맞춤 | xrWaitFrame · predictedDisplayTime · xrEndFrame | 프레임 누락 · 떨림 | OpenXR 1.1 |
| 재투영 | 표시 직전 최신 자세로 그림 맞춤 | 지연 25 ms → 5 ms(사례) | 가려진 부분이 비어 보임 | 사례 계산 |
| 포비티드 렌더링 | 시선 가운데만 고해상도 | 셰이딩 화소 10 ~ 15분의 1 · 5 ~ 6배 | 시선 추적 늦으면 흐림 노출 | Guenter 2012 |
| 현존감 | 거기 있다는 착각 · 일이 진짜라는 착각 | 장소 착각 · 개연성 착각 | 감각 운동 관계가 깨지면 무너짐 | Slater 2009 |
| 멀미 | 감각 불일치의 결과 | SSQ 16증상 · 3하위 척도 | 사용 중단 | Kennedy 1993 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Taxonomy of Mixed Reality Visual Displays (IEICE Transactions on Information and Systems vol E77-D no 12 pp 1321-1329) — VR · AR · AV · MR 을 현실-가상 연속체 위에서 가를 때
- ★ The OpenXR 1.1 Specification — 프레임 루프(xrWaitFrame · xrEndFrame) · 참조 공간 · 보기 상태 플래그를 원문으로 볼 때
- ★ Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments (Phil Trans R Soc B 364(1535) 3549-3557) — 몰입(시스템 성질)과 현존감(사용자 반응)을 구분할 때
- ★ Foveated 3D Graphics (ACM SIGGRAPH Asia 2012) — 시선 위치에 따라 화소 계산을 줄이는 포비티드 렌더링의 원리와 수치를 볼 때
- 본문 근거
- Vergence-accommodation conflicts hinder visual performance and cause visual fatigue (Journal of Vision 8(3):33) — ARVO · 2008-03 ·
pubmed.ncbi.nlm.nih.gov/18484839/· 확인 2026-11-04 - Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness (International Journal of Aviation Psychology 3(3) 203-220) — Taylor & Francis · 1993-07 ·
doi.org/10.1207/s15327108ijap0303_3· 확인 2026-11-04 - A head-mounted three dimensional display (AFIPS Fall Joint Computer Conference vol 33 pp 757-764) — ACM · 1968-12 ·
doi.org/10.1145/1476589.1476686· 확인 2026-11-04 - Khronos Releases OpenXR 1.0 Specification Establishing a Foundation for the AR and VR Ecosystem — Khronos Group · 2019-07 ·
www.khronos.org/news/press/khronos-releases-openxr-1.0-specification-establishing-a-foundation-for-the-ar-and-vr-ecosystem· 확인 2026-11-04 - Khronos Releases OpenXR 1.1 to Further Streamline Cross-Platform XR Development — Khronos Group · 2024-04 ·
www.khronos.org/news/press/khronos-releases-openxr-1.1-to-further-streamline-cross-platform-xr-development· 확인 2026-11-04 - IEEE 3079-2020 Standard for Head-Mounted Display (HMD)-Based Virtual Reality (VR) Sickness Reduction Technology — IEEE · 2021-04 ·
standards.ieee.org/ieee/3079/7283/· 확인 2026-11-04