가상현실

실감형 콘텐츠 기술

 

 

 

[전송]LDM (3D 전자맵)

[압축]HEV

[영상/오디오]UHD,HDR

[센서]자이로,가속도,지자계

[디스플레이]QHD,360도 HMD, 3D시야각

[콘텐츠] 프로젝트 모피어스,포켓몬Go,MS 홀로렌즈

 

[기술]

1)키워드:Search,포탈 - 멀티모달UI

2)위치기반:GPS,WLAN,Zigbee - 과다노출

3)음성:NPV - 고립어 인식수준

4)음악:디지털신호 - 정확성,복호화

5)바코드,QR코드:카메라,스캐너 - 근거리 접촉

6)비주얼:영상정보 추출 - 촬영직후 이미지 검색

 

비주얼 검색 기술

 

 

1)영상특징기반: SHIFT,BOW,SURF,MPEG CD/A

2)속성기반: 딥러닝,Fisher Vector, Pascal VOC,ILSVRC

3)실시간검색:영상기반 City-Scale 실감 3D 모델링,기술융합 실세계검색, 도시정보수집, 서비스기술

 

1)SHIFT:지적재산권문제,상업사용제한

2)BOW:검색DB갱신,메모리문제

3)SURF:지적재산권문제,상업사용제한

4)MPEG CD/A:모바일환경 국제표준

5)Fisher Vector:BOW대비 고속추출

6)Pascal VOC:비주얼 검색기술

7)ILSVRC:대규모 비주얼 검색기술

 

홀로그램

 

3차원 입체영상

반사형, 투과형, 플로팅 방식

생성/복원(CGH),

신호처리(왜곡보정,트랜스코딩,토모그래피),

정보압축전송재생,

출력(공간광변조,광학엔진,기록기술)

 

[개념] 실물로부터 반사되거나 회절되어 전파되는 빛의 분포를 기록 및 재현하여 입체 공간속에서 나타나는 실사 영상을 구현하는 디스플레이 기술

[유형] 반사형(Reflection), 투과형(Transmission), 무지개 홀로그램, 아날로그(편집과 압축, 전송이 불가),디지털(편집, 합성, 압축, 전송)

[기술]

1)CGH(Computer Generated Hologram) 생성/획득

2)정보 압축/전송/재생

3)디스플레이/SLM(Spatial Light Modulator) 공간광변조

공간광파면 조절기(SLM·빛이 퍼지는 방향을 정밀 제어하는 광학 제어장치)

 

[단계] 3차원 영상정보획득-3D모델데이터,CGH처리,홀로그램데이터-홀로그램복원

[기술]

1)생성,복원(화질향상,공간복원)

2)신호처리(왜곡보정,트랜스코딩,토모그래피기술)

3)출력,기록(공간광변조,광학엔진,기록기술)

[사례] 공연 및 전시, 게임,

 

실감형 컨텐츠

 

VR, AR, 다면영상, 홀로그램

ISO 24751, W3C IndieUI, W3C WAI-ARIA(웹접근성), GPII, FLOE

 

[개념] ICT기술 기반으로 인간의 감각과 인지를 유발하여 실제와 비슷한 경험과 감성을 제공해주는 기술

[요소기술] 멀티모달 I/F, 인터렉션, 모빌리티

 

[표준화] ISO 24751, W3C IndieUI, W3C WAI-ARIA(웹접근성), GPII, FLOE

 

멀티모달 인터페이스(MMI, Multi Modal Interface)

 

오감 프로세싱, HMI, VR

EMMA

 

[개념] 인간-기계통신위한 음성, 펜 등 다양한 입력방식을 통해 종합적으로 인식하게 하는 인터페이스 방식

[유형] 음성, 잉크, 키보드 I/F, 멀티터치, 햅틱, 핸드제스처

[인식기술] 스켈레톤기법, 컨벡스 헐(특징점), 마커, 히스토그램

[인식단계] 스테레오 이미지->Depth Map->영역검출->RGB color->영역 재지정

[핵심기술] 입/출력 - 멀티입력, 지능형센싱, I/F변환기술

처리/서비스 - 인터프리팅, I/F 미들웨어, 서비스 플랫폼

오감센서:광센서,음향센서,진동센서,온도센서,압력센서,미각센서,화학센서

 

[W3C 표준화] 인터렉션 프레임웍, EMMA,MPEG-U Part 2 AUI,MPEG IoMTW

[응용 시나리오] 스마트 팩토리, 스마트 시티, 의료 현장

[인식기술] 깊이영역 기반

- 피부 컬러정보, 스테레오 정합 기반 깊이맵, 센서기반 위치, 장치기반

 

3D 터치기술

 

포스터치, 포스센서, 탭틱엔진, 정전식

Z축 추가정보인식

 

[개념] 스크린에 가해지는 손가락의 압력정도를 지능적으로 감지하는 기술

[동작] 탭(Tap) -> 누름(Press) -> 깊게누름(Deep Press)

[구성요소] 정전식디스플레이, 탭틱엔진, 포스센서

 

 

증강현실 (Augmented Reality)

 

Sealmess I/F, TUI(Trangible User I/F)

Multi Sensory

Head Mounted, Head Up

Calibration(좌표관계 계산)

 

[개념] 실제 현실에서 추가정보를 합성하여 사용자의 오감을 증강시켜 현실감과  몰입감을 제공하는 기술

        현실세계를 바탕으로 디지털 정보를 입혀 만드는 정보 시각화 기술

[특징] 현실세계와 가상세계 융합, 오감인지

[구성요소] Interaction Device, 교정(Calibration), VRM, OpenGL, 3D 공간 DBMS

[요소기술]

1)저작도구 (AR Toolkit, OpenGL),

2)마커 트래킹 및 Registration 기술 (광학추적, 마커),

3)디스플레이 기술 (HMD, HUD),

4)영상합성기술 (3D processing),

 

5)상호작용기술 (2차원/3 차원 시각 인터페이스),

6)공간DB(공간증강현실 (SAR))

 

[융합기술] 위치인식,생체인식,인공지능, 오감구현, 모바일기술, 카메라보정, 영상정합

[정합기술 해결방법]

1) 정적 오차(Static Error)

2) 렌더링 오차(Rendering Error)

3) 동적 오차(Dynamic Error)

 

[활용]

의료 : VR을 개선하여 로봇 수술에 활용 시 환자를 진단하고 수술 분야에도 활용

여행 : 여행을 개선하고 해당 국가가 제공해야 하는 것을 홍보

철도 : 철도 산업 내 발전을 위한 플랫폼으로 활용

유통/소매 : 매장 내 경험 그리고 그들이 고객과 소통하는 방식을 바꾸고 있다.

교육 : 새로운 학습 방법 처리에 관해 학생들을 교육하는 방식을 혁신

 

 

• AR·VR의 기술 경쟁력을 갖추는 것도 중요한 경제적·정책적 고려사항이지만 무엇보다 소프트웨어 콘텐츠·서비스의 경쟁력이 우선되어야 함

- 과거‘포켓몬 GO’의 성공은 단순히 AR 기술로 인한 것이 아니라, 포켓몬스터라는 콘텐츠의 경쟁력을 AR을 통해 극대화시켰기 때문임

 

- 즉, AR/VR 기술을 활용하여 다른 소비재 산업에서 요구하는 서비스를 개발하기 위해서도 원천 콘텐츠·서비스·플랫폼의 경쟁력의 제고가 함께 논의되어야 함

 

- 가상현실 경험을 극대화할 수 있는 차별화된 콘텐츠와 더불어 쉽게 영상을 소비, 공유할 수 있는 플랫폼의 확대가 가상현실 대중화를 위한 선결과제임

• 산업별 특성과 수요를 반영한 다양한 분야로 AR/VR 기술 활용이 시장 성공의 관건임

- 가상체험은 국내외 ICT 산업에서 현재까지도 중요한 현안이며, 이제까지 AR/VR 산업은 국방, 제조 등 B2G 특화 시장 중심이었으나, HMD, 디스플레이, SW, 5G 등의 발전으로 인해 대규모 B2B와 B2C 시장을 창출할 수 있을 것으로 전망되고 있음

- 이러한 시장을 분석하거나 AR/VR 기술을 이용한 비즈니스 모델을 계획할 때 기술 특성과 시장 수요에 따른 차이점을 파악하는 것이 매우 중요하다고 판단됨

(https://spri.kr/posts/view/21996?code=inderstry_trend)

 

(http://www.epnc.co.kr/news/articleView.html?idxno=78188)

 

 

독립형 가상현실 장치는 외부 카메라나 센서를 이용해 공간과 사물 위치를 추적하는 기술을 담고 있다.

 

(http://techm.kr/bbs/board.php?bo_table=article&wr_id=4455)

 

 

 

ARML 2.0

 

태그 구성의 간결함, 영상기반/위치기반 AR 동시 지원, ECMAScript 지원, 인식엔진 중립성, HTML5 지원

 

[개념] AR Scene을 기술하는 방법을 제공하는 XML기반 마크업 언어

[핵심요소] Feature - 현실의 사물을 나타내는 추상적인 개념태그

Anchor - 인식대상을 지정하는 태그

VisualAsset - 인식엔진에 의해 인식되었을 때 표시되는 컨텐츠 지정태그

 

[서비스방식] 위치기반, 영상인식기반

1)Feature:실제사물

2)Anchor:위치

3)실행: 화면상, 위치 표시

 

HMD(Head Mount Display)

 

Optical See-Through

Video See-ThroughEMD(Eye Mounted Display)

 

[개념] 머리에 쓰는 형태로 사용자의 눈앞에 직접 영상 제시하여 작은 화면으로도 몰입감 있는 효과를 내는 디스플레이 장치

[유형] 착용부의 영상과 외부영상을 동시에 볼 수 있느냐에 따라 See-through(투시 착용형)과 See-Close(완전몰입형)으로 구분

 

[활용]

- See Close : 가상현실

- Optical See Through : 광학 이용

- Video See Through : 비디오 이용

 

가상현실(Virtual Reality)

 

HMD, 옵티컬, 오큘러스VR, 기어VR

게뿔테교다

IEEE802.11ad(WiGig)

Wireless Dock, VR멀미

 

[개념] 가상공간과 현실공간을 실시간 시뮬레이션을 통해 객체의 다양한 가상정보를 추가함으로써 인간의 오감을 통한 몰입감 제공 경험의 가치를 높이는 기술

[기술요소] 인터렉션, 실시간 처리, 3D

[C]게임,스포츠,방송,교육,e-커머스,헬스케어,마케팅,디자인(기업용,개인용)

[P]SW플랫폼(구글 탱고-가속도계,자이로스코프,기압계/점프-촬영,편집,업로드,재생),서비스 플랫폼(구글앱스토어,SK텔레콤 옥수수,오큘러스 앱스토어, 삼성전자 기어VR)

[N]WLAN(5G),방송(UHD)

[D]HMD, 360도카메라,디바이스 컨트롤러

[이슈] 부족한 컨텐츠(CDN), 무게/안전, 신체/정신적 부작용, 중독성, VR멀미

 

* VR멀미

몰입도를 높이기 위해 저해상도 영상을 고해상도로 전환하는 과정에서 시간차와 잔영이 생겨 어지럼증과 멀미를 유발하기 때문이다.

(http://m.zdnet.co.kr/news_view.asp?article_id=20180528102137#imadnews)

 

[기술]

1)출력:HMD,Glass,공간 프로젝션, 홀로그램

2)영상:스티칭툴,개발엔진

3)오감:햅틱,텍타일(압축공기),에어리얼(링),Hands omi

4)모션:탑슬라이딩 디바이스(3DOF, 6DOF),HMD

5)입력:멀티모달,3D센싱(스테레오비전, ToF)

6)알고리즘:Shift(얼굴인식),Canny Edge(영상인식),Mog(걸음)

[동향] 구글(데이드림),페이스북(생태계구축투자확대), 애플(선점준비),삼성(헨드폰기기),LG(디스플레이),KT(스포츠)

 

혼합증강현실(MAR)

 

라이브 행동자, 실체(LEA), Entity

 

[기술] 증강현실기술(AR)+증강사상

[구성] LEA 트래킹 인식모듈, LEA 공간매퍼 모듈, MAR 상호작용기술, 콘텐츠

*MAR: Spatial Scene Event Target

 

[목표] 통합상호작용

[표준] ISO/IEC 18040

 

공간증강현실

 

깊이

 

[기술] 프로젝터,깊이 카메라, 깊이 센서, 모션 트래킹, 증강상호작용

 

 

VR분야 비전 및 로드맵

 

중체다산, 게뿔테교다

 

[중점추진전략 및 과제]

1)체험형 모바일 혼합현실 기술 - 객체인식,트래킹,가시화,상황연계,저작기술

2)다중실감 공간 구현기술 - 다중실감공간 커널기술, 서비스모듈, 다중참여자 인터랙션 및 실감제공, 컨텐츠 저작도구

3)산업적응형 가상현실기술 - 지능형 가상설계, 가상제조 기술, 가상검증기술, 전 공정데이터의 디지털화 및 원격 협업기술

[서비스 및 산업] 게임, 플랫폼, 테마파크, 교육, 다면영상

 

[비전] 세계적 가상/혼합현실 기술선도 및 신시장창출

 

가상현실게임

 

몰입도, HMD

HMD, HCI, Head/Body Tracking

실감형,기능성,소셜,인터랙티브

SLAM, NUI(Natural), 3D아바타

 

[개념] VR기술을 이용하여 입체적으로 구성된 화면속에 게임을 하는 사람이 주인공으로 등장해 문제를 풀어나가는 방식의 게임

[게임유형] 실외AR, 위치기반 모바일AR, 소셜AR, 드론AR, 인터랙티브AR게임

[기술] VR HMD, 3D 그래픽, WiFi, BLE, Sensor, Microphone

HMD, 모션인식, HCI, See-Through Display, 랜더링, SLAM, NUI

 

[활용분야]

교육, 운동, 교통, FPS, 스포츠

구글 VR플랫폼 Jump, 카드보드제공

 

메타버스

 

AR, 라이프로깅, 미러월드, 가상세계

아바타

 

[개념] 다감각 3차원 환경에서 사용자가 아바타를 통해 의사소통을 하고 정보화 재화를 교환하고 현실세계와 상호작용 가능한 세계

(메타(meta)와 유니버스(universe)의 합성어)

[메타버스 구성] AR, 라이프로깅, 미러월드, 가상세계

 

TTAK.KO-10.0434 - 모바일 증강현실.QR 코드데이터 표현

TTAK.KO-10.0428 - 혼합현실 콘텐츠 데이터 마크업 표현

 

ARC

 

가상현실, 증강현실, 혼합현실

 

[개념] 실제 현실의 디지털화, 증강/가상/혼합현실 총칭현실 실감에 컴퓨터로 생성한 데이터와의 합성으로 평상의 실제현실에서 존재하는 객체처럼 보이도록 하는 컴퓨터그래픽스 기법을 이용한 증강현실을 중심으로 가상현실, 혼합현실(mixed reality) 을 총칭(증강현실 연속체)

[기술요소] 1)가상현실 : 영상생성장치, 위치추적장치, HMD, Force-back장치

2)증강현실:광학HMD, 비디오HMD 3)혼합현실:카메라보정,포즈평가(비본질적 매개변수 파악),최적화(영상 최적화),컴퓨터 그래픽스(3D모델생성)

 

[구현언어] OpenGL (Open Graphics Library , VRML [virtual reality modeling language]

 

Mobile 증강현실

 

고성능 카메라, 3D처리, LBS, 기본인프라

 

[개념] 스마트폰 내장 카메라로 사람이나 물건을 비추면 이와 관련된 정보를 3D 가상현실 형식으로 겹쳐서 보여주는 기술

[기술요소] 출력기술, 트래킹, 영상입력, 컴퓨팅장치, LTE, 사용자I/F 상호작용, 3D프로세싱

 

 

MR(Mixed Reality)

 

VR의 몰입감과 AR의 현실감 융합

 

[개념] VR의 몰입감과 AR의 현실감 융합, 현실감 있는 가상정보를 결합한 융합 공간 속에서 새롭게 생성된 정보를 실시간으로 혼합해 사용자와 상호작용 기술

[기술] 몰입형 디스플레이, 인터렉션, 콘텐츠 제작, MR 시스템, MR모션 플랫폼, NW

 

[표준화] ISO/IEC JTC1/SC24, Web3D, W3C, IEEE SA, DCI

[발전전망] 매직리프, 홀로렌즈