증강현실Augmented Reality
사용자가 보는 실제 환경 위에 컴퓨터가 만든 물체를 실시간으로 겹쳐, 그 물체가 실제 물체와 같은 3차원 위치에 있는 것처럼 보이게 하는 기술이다.
1요약
- 증강현실은 Azuma 가 1997년 정리한 세 조건(실제와 가상의 결합 · 실시간 상호작용 · 3차원 정합)을 갖춘 시스템으로, Milgram 연속체에서 실제 환경 쪽에 놓이며 오늘은 휴대폰 화면과 투과형 HMD 위에서 WebXR
immersive-ar세션으로 작업 안내 · 길 안내 · 가구 배치가 돈다. - 가상 화살표가 실제 볼트에 정확히 붙지 않으면 안내가 오히려 틀린 볼트를 가리키며, 지연 100 ms 에 머리를 초당 50도로 돌리면 각도 오차 5도 · 팔 길이 68 cm 에서 약 60 mm 의 빗나감이 생긴다(Azuma 1997 4.3절).
- 「AR 물체가 어긋난다」는 언제 어긋나는가로 가른다 — 가만히 있어도 일정하게 비껴 있으면 보정 · 추적 정확도(정적 오차), 고개를 돌릴 때만 끌려오면 지연(동적 오차), 시간이 지나며 점점 밀리면 추적 표류다.
2등장 배경
1968년 Sutherland 의 머리 착용 표시 장치는 반투명 거울로 선 그림을 실제 방 위에 겹쳐 보였지만, 그림을 방 안 물체에 맞춰 붙이는 문제는 다루지 않았다(Sutherland 1968). 1992년 Caudell · Mizell 은 항공기 배선 조립 작업자가 도면 대신 투과형 HMD 로 배선 경로를 보게 하는 연구를 내며 논문 제목에 «Augmented Reality»를 썼다(Caudell 1992).
1997년 Azuma 는 HMD 에 묶지 않은 세 조건으로 증강현실을 정의하고, 정합 오차를 정적 오차 · 동적 오차로 나눠 지연이 가장 큰 원인이라고 정리했다(Azuma 1997 1절 · 4.3절). 1999년 Kato · Billinghurst 는 한 변 80 mm 정사각형 마커 네 모서리로 카메라 자세를 구했고(Kato 1999), 2007년 Klein · Murray 는 추적과 지도 만들기를 두 스레드로 나눠 마커 없이 손에 든 카메라를 추적했다(Klein 2007).
기기마다 달랐던 응용 인터페이스는 2019년 Khronos 의 OpenXR 1.0 으로 하나가 됐고(Khronos 2019), W3C 는 웹용 AR 세션(2025-04 후보 권고 초안) · hit test(2025-12 작업 초안) 모듈을 낸다. 표준은 겹치는 방법을 정했지만 «얼마나 정확히 붙는가»는 지금도 기기 · 추적 방식마다 다르다.
3쉽게 이해하기 — 유리창에 화살표를 붙이는 측량사
정비 견습생이 큰 유리창 너머의 엔진을 보며 작업을 배운다. 창가의 측량사가 견습생의 눈 위치와 엔진 볼트 위치를 줄자로 재어 도안사에게 넘기면, 도안사는 견습생의 시선이 유리를 지나는 바로 그 자리에 화살표 스티커를 붙인다. 견습생이 고개를 옮기면 스티커 자리도 바뀌어야 해서 측량사는 쉬지 않고 다시 잰다. 줄자가 조금만 틀어져도 화살표는 옆 볼트를 가리킨다.
그림 1 · 측량사가 잰 위치로 도안사가 유리 위 자리를 정해야, 견습생 눈에 화살표가 실제 볼트를 가리킨다.
그림 2 · 같은 볼트라도 눈이 옮기면 유리 위 자리가 바뀐다 — 광학 투과는 눈의 자리까지, 비디오 투과 · 휴대 화면은 카메라 자리까지 맞춘다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 견습생 | 사용자 | 실제 환경을 보며 손으로 작업하고 안내를 받는다 |
| 유리창 | 디스플레이(결합기 · 휴대 화면) | 실제 장면 위에 가상 물체를 겹쳐 보인다 |
| 엔진 · 볼트 | 실제 환경 · 대상 물체 | 가상 물체가 붙어야 할 기준이다 |
| 표지판 · 바닥 | 마커 · 특징점 · 평면 | 추적이 위치를 재는 기준점이 된다 |
| 측량사의 줄자 | 추적(VIO · SLAM) | 기기의 회전 3축 · 이동 3축 자세를 잰다 |
| 도안사 | 렌더링 | 잰 자세에서 보이는 가상 물체를 그린다 |
| 유리 위 자리 | 정합(registration) | 가상 물체를 실제 물체와 같은 3차원 위치에 맞춘다 |
| 다시 재기 | 매 프레임 자세 갱신 | 머리 · 기기가 움직이는 동안 늦지 않게 다시 맞춘다 |
⚠ 비유가 맞지 않는 곳: 실제 광학 투과 기기는 유리에 그림을 붙이지 않고 결합기로 빛을 더하므로, 가상 물체가 뒤의 실제 물체를 완전히 가리지 못한다. 휴대폰은 유리창 대신 카메라 영상 위에 그리므로 측량사가 재는 것은 눈이 아니라 카메라 위치다.
4구조 — 센서에서 합성까지
증강현실 시스템은 센서 → 추적 → 환경 이해 → 렌더링 → 합성 · 표시로 이어지고, 응용은 WebXR · OpenXR 같은 API 로 자세 · 평면 · 앵커를 받는다. 마지막 합성 방식이 표시 기기를 가른다 — 투과형 화면은 빛을 더하고(additive), 카메라 영상을 쓰는 기기는 영상 위에 겹친다(alpha-blend)(WebXR AR Module).
그림 3 · 추적이 자세를, 환경 이해가 붙일 자리를 주면 렌더링이 그리고, 합성 방식이 광학 투과와 영상 위 합성으로 갈린다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 마커 추적 | 알려진 무늬로 카메라 자세 계산 | 한 변 80 mm 정사각형 · 멀수록 오차 증가(Kato 1999 6.1절) |
| 마커 없는 추적 | 특징점 지도를 만들며 자세 추적 | 추적 · 지도 두 스레드 · 수천 개 지표점(Klein 2007) |
| hit test | 화면 광선이 닿는 실제 표면 찾기 | entityTypes 기본 plane · 결과는 광선 거리순(WebXR Hit Test) |
| 앵커 | 실제 위치에 고정한 좌표 | 런타임이 매 프레임 갱신 · 추적을 잃으면 trackedAnchors 에서 빠짐(WebXR Anchors) |
| 합성 방식 | 실제와 가상을 섞는 법 | additive · alpha-blend · AR 세션에 opaque 금지(WebXR AR Module) |
| 상호작용 방식 | UI 를 그릴 자리 | 휴대 = screen-space · 머리 착용 = world-space(WebXR AR Module) |
🔑 VR 은 장면이 머리를 따라오면 되지만 AR 은 가상 물체가 실제 물체에 붙어 있어야 한다 — 그래서 같은 각도 오차가 AR 에서는 «거리만큼 커진 빗나감»으로 바로 보인다.
5동작 — 휴대폰으로 바닥에 안내 화살표 놓기
휴대폰 브라우저에서 바닥 1.5 m 앞에 안내 화살표를 놓는 WebXR 사례다. 거리 · 각도 · 허용 오차는 설명용 가정 값이다.
navigator.— 세션이 열리고xr. requestSession("immersive-ar", {requiredFeatures: ["hit-test", "anchors"] } ) environmentBlendMode=alpha-blend,interactionMode=screen-space다(WebXR AR Module).viewer·local참조 공간을 만들고requestHitTestSource({space: viewerSpace}로 화면 가운데 광선을 등록한다. entityTypes 를 비우면 평면만 찾는다(WebXR Hit Test).) - 매 프레임
getHitTestResults()의 첫 결과를getPose(localSpace)로 읽어, 1.5 m 앞 바닥에 조준 원을 그린다. - 사용자가 화면을 누르면(
select) 그 결과의createAnchor()로 앵커를 만든다. 기기가 지원하면 앵커는 감지된 바닥 평면에 붙는다(WebXR Anchors). - 매 프레임
getPose(anchor.로 위치를 다시 읽어 화살표를 그리고, 카메라 영상 위에 합성한다.anchorSpace, localSpace) - 앵커가
trackedAnchors에서 빠지면 화살표를 숨기고 다시 조준하게 한다. 위치를 영영 알 수 없을 때만 빠지므로 잠깐의 추적 끊김에는 숨기지 않는다(WebXR Anchors).
그림 4 · 응용은 붙일 자리를 한 번 고르고, 그 뒤로는 런타임이 고쳐 주는 앵커 자세를 매 프레임 다시 읽는다.
정합 오차는 기기 자세의 각도 오차가 거리만큼 커진 값이다. 이 사례에서 자세가 1° 틀리면 1.5 m 앞 화살표는 1,500 mm × tan 1° ≈ 26.2 mm 비껴 보이고, 허용 오차를 10 mm 로 잡으면 각도 오차는 0.38° 아래여야 한다.
그림 5 · 같은 각도 오차라도 물체가 멀수록 빗나감이 커져, 1.5 m 앞에서 10 mm 안에 붙이려면 각도 오차가 0.38° 아래여야 한다.
🔑 앵커는 한 번 정하고 끝나는 좌표가 아니라 런타임이 지도를 고칠 때마다 함께 고쳐지는 좌표다 — 그래서 위치를 저장해 두지 않고 매 프레임 getPose 로 다시 읽는다.
움직일 때는 지연이 각도 오차를 더한다. Azuma 는 머리 회전 50°/s 에서 오차를 0.5° 아래로 두려면 지연이 10 ms 이하여야 한다고 계산했다(Azuma 1997 4.3절).
6비교 — 광학 투과 · 비디오 투과 · 휴대 화면
VR 과 AR · 혼합현실의 경계는 가상현실이 맡고, 여기서는 AR 안의 표시 방식 셋을 견준다.
| 기준 | 광학 투과 HMD | 비디오 투과 HMD | 휴대 화면 |
|---|---|---|---|
| 실제를 보는 길 | 결합기 너머 맨눈 | 머리 카메라 영상 | 기기 뒤 카메라 영상 |
| 합성 방식 | additive | alpha-blend | alpha-blend |
| 실제 장면의 지연 | 거의 없음 · 가상만 늦음 | 실제 · 가상 함께 늦어 맞출 수 있음 | 실제 · 가상 함께 늦음 |
| 가상이 실제를 가리나 | 완전히 가리지 못함 | 화소 단위로 가림 | 화소 단위로 가림 |
| 보정 대상 | 눈 · 화면 · 추적기 | 카메라 · 화면 · 눈 위치 차이 | 카메라 · 화면 |
| 전원이 꺼지면 | 실제가 그대로 보임 | 앞이 보이지 않음 | 화면만 꺼짐 |
분석두 손으로 일하며 실제를 놓치면 위험한 현장(조립 · 정비)은 광학 투과를, 가상이 실제를 가리거나 밝기를 맞춰야 하는 장면(가림 표현 · 실내 배치)은 비디오 투과 · 휴대 화면을 고른다. 근거는 표의 「전원이 꺼지면」 · 「가상이 실제를 가리나」 행 — Azuma 는 광학 쪽 장점으로 안전 · 실제 해상도 유지를, 비디오 쪽 장점으로 합성 자유도 · 지연 맞춤을 들었다(Azuma 1997 3.2절).
7실무 진단 — 「물체가 어긋난다」를 구간으로 가르기
분석가만히 있을 때의 오차(정적) → 움직일 때의 오차(동적) → 시간에 따른 표류 순서로 본다. 정적 오차가 남아 있으면 지연을 줄여도 빗나감이 그대로라서, 정지 상태 측정이 먼저다(Azuma 1997 4.2절).
| # | 증상 | 의심 원인 | 구간 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 가만히 있어도 물체가 실제 옆에 일정하게 비껴 있음 | 광학 왜곡 · 보기 파라미터(시야각 · 눈 위치) 오류 | 정적 정합 | 알려진 위치의 기준 물체와 거리별 오차 | 거리를 바꿔도 각도 환산 값이 같으면 보정 문제(Azuma 1997 4.2절) |
| 2 | 고개 · 기기를 돌릴 때만 물체가 끌려옴 | 자세 측정에서 표시까지 지연 | 동적 정합 | 프레임 시간 · 지연 측정 | 50°/s 에서 0.5° 아래 = 지연 10 ms 이하(Azuma 1997 4.3절) |
| 3 | 시간이 지나며 물체가 바닥에서 미끄러짐 | 특징점 부족(무늬 없는 바닥 · 어두움) · 추적 표류 | 추적 | 앵커가 trackedAnchors 에 남아 있는지 | 빠지면 위치를 다시 알 수 없는 상태(WebXR Anchors) |
| 4 | 조준 원이 뜨지 않음 | hit-test 기능 미요청 · 평면 미감지 | 환경 이해 | requestHitTestSource 거부 이유 | NotSupportedError 면 requiredFeatures 누락(WebXR Hit Test) |
| 5 | 실제 손 뒤에 있어야 할 물체가 손 앞에 보임 | 실제 물체의 깊이 정보 없음 · 광학 투과 한계 | 합성 | 깊이 감지 지원 · 합성 방식 | additive 는 실제를 완전히 가리지 못함(Azuma 1997 3.2절) |
진단은 기기를 고정한 채 1행부터 본다. 정지 상태 오차가 없는데 움직일 때만 어긋나면 2행, 오래 쓸수록 어긋나면 3행으로 넘어간다.
8시험 대비
www.q-net.or.kr증강현실은 Azuma 세 조건과 구성 요소를 묻는 정의 · 특징형과 추적 · 정합 · 표시 방식의 짜임을 묻는 구조 · 구성형으로 나올 수 있다. 가상현실 · 혼합현실과의 차이, 정합 오차의 원인과 대책을 함께 묻는 비교형도 대비 대상이다.
- 개요 — 정의 · Azuma 1997 세 조건(결합 · 실시간 상호작용 · 3차원 정합) · Milgram 연속체의 실제 쪽
- 구성 — 그림 3 센서 → 추적 → 환경 이해 → 렌더링 → 합성 · 요소 표(마커 · 마커 없는 추적 · hit test · 앵커)
- 동작 — 그림 4 WebXR 순서(세션 → hit test → 앵커 → 매 프레임 자세)
- 핵심 원리 — 그림 5 빗나감 = 거리 × tan(각도 오차) · 1.5 m · 1° → 26.2 mm · 정적 · 동적 오차
- 표시 방식 비교 — 광학 투과 · 비디오 투과 · 휴대 화면 표(합성 방식 · 가림 · 안전)
- 과제 · 표준 — 지연 10 ms(50°/s · 0.5°) · 가림 · 표류 · WebXR · OpenXR
꼭 쓸 키워드
3차원 정합정적 오차동적 오차광학 투과비디오 투과마커 추적SLAMhit test앵커environmentBlendMode
다른 답안과 차이를 내는 한 가지는 그림 5 의 «거리와 정합 오차» 계산이다 — 「정확해야 한다」로 끝내지 않고, 목표 거리와 허용 오차에서 필요한 각도 정확도를 거꾸로 구해 보인다.
9오해와 사실
- 오해증강현실은 안경형 HMD 가 있어야 한다.사실Azuma 는 특정 기기에 묶지 않으려고 세 조건으로 정의했고, WebXR 도 휴대폰 화면 AR 을
alpha-blend·screen-space로 다룬다(Azuma 1997 1절 · WebXR AR Module). - 오해카메라 영상 위에 글자나 그림을 얹으면 모두 증강현실이다.사실실시간으로 얹어도 실제 물체와 3차원으로 결합하지 않은 2차원 덮개는 정의에서 빠진다(Azuma 1997 1절).
- 오해지연만 줄이면 정합 문제가 끝난다.사실광학 왜곡 · 추적 오차 · 기계 정렬 · 보기 파라미터 네 가지 정적 오차는 기기가 멈춰 있어도 남는다(Azuma 1997 4.2절).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 · 이름 | 잘못되면 | 근거 |
|---|---|---|---|---|
| 정의 | 증강현실을 가르는 조건 | 결합 · 실시간 상호작용 · 3차원 정합 | 2차원 덮개와 섞임 | Azuma 1997 |
| 마커 추적 | 무늬로 카메라 자세 계산 | 80 mm 정사각형 · 네 모서리 | 멀수록 오차 증가 | Kato 1999 |
| 마커 없는 추적 | 특징점 지도 + 자세 | 추적 · 지도 두 스레드 | 무늬 없는 곳에서 표류 | Klein 2007 |
| hit test · 앵커 | 붙일 자리 찾기 · 고정 | 기본 plane · trackedAnchors | 물체가 미끄러짐 · 사라짐 | WebXR Hit Test · Anchors |
| 합성 방식 | 실제와 가상 섞기 | additive · alpha-blend | 가림 실패 | WebXR AR Module |
| 정적 오차 | 멈춰 있어도 남는 빗나감 | 1.5 m · 1° → 26.2 mm | 옆 물체를 가리킴 | 사례 계산 |
| 동적 오차 | 움직일 때 지연만큼 빗나감 | 100 ms · 50°/s → 5° | 물체가 끌려옴 | Azuma 1997 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Survey of Augmented Reality (Presence: Teleoperators and Virtual Environments 6(4) 355-385) — 증강현실의 세 조건과 정적 · 동적 정합 오차, 광학 · 비디오 투과의 장단점을 원문으로 볼 때
- ★ WebXR Augmented Reality Module - Level 1 (W3C Candidate Recommendation Draft) — immersive-ar 세션 · environmentBlendMode · interactionMode 값의 뜻을 볼 때
- ★ WebXR Hit Test Module (W3C Working Draft) — requestHitTestSource · getHitTestResults 와 entityTypes 기본값을 볼 때
- ★ WebXR Anchors Module (Editor's Draft) — createAnchor · anchorSpace · trackedAnchors 로 실제 위치에 물체를 고정하는 법을 볼 때
- 본문 근거
- Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System (IWAR '99) — IEEE · 1999-10 ·
www.hitl.washington.edu/artoolkit/Papers/IWAR99.kato.pdf· 확인 2026-11-14 - Parallel Tracking and Mapping for Small AR Workspaces (ISMAR 2007) — IEEE · 2007-11 ·
doi.org/10.1109/ISMAR.2007.4538852· 확인 2026-11-14 - Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes (HICSS-25 vol 2 pp 659-669) — IEEE · 1992-01 ·
doi.org/10.1109/HICSS.1992.183317· 확인 2026-11-14 - A Taxonomy of Mixed Reality Visual Displays (IEICE Transactions on Information and Systems vol E77-D no 12 pp 1321-1329) — IEICE · 1994-12 ·
global.ieice.org/en_transactions/information/10.1587/e77-d_12_1321/_p· 확인 2026-11-14 - A head-mounted three dimensional display (AFIPS Fall Joint Computer Conference vol 33 pp 757-764) — ACM · 1968-12 ·
doi.org/10.1145/1476589.1476686· 확인 2026-11-14 - Khronos Releases OpenXR 1.0 Specification Establishing a Foundation for the AR and VR Ecosystem — Khronos Group · 2019-07 ·
www.khronos.org/news/press/khronos-releases-openxr-1.0-specification-establishing-a-foundation-for-the-ar-and-vr-ecosystem· 확인 2026-11-14