1. No category

하태진
KAIST CTRI (문화기술 연구소)
Daejeon 305-701, S. Korea
[email protected]
WearableAR.org
 증강현실
◦ 정보/지식의 새로운 표현, 검색, 경험 방식.
◦ 즉시적, 직관적, 몰입적 (3D 정합, 다감각 증강), 다양한 정보 가시화 (빅데이터 활용).
전화기: 1876년
책, 신문
라디오: 1906년
인쇄 매체
음성 매체
흑백 방송: 1936년
컬러 방송: 1951년
3D TV, IP TV
시각 매체
PC:
1971년
구글 글래스: 2012년
아이폰 3G: 2008년 Wear-com.
(안경/콘텍트렌즈, 뇌파,
멀티모달), Ubi-comp. (IoT)
인터넷 매체
New Media
증강현실
HMD: 1967년
MARS: 1996년
UVR: 2001년
 혼합
및 증강 현실에 관한 국제 심포지엄 (The International Symposium
on Mixed and Augmented Reality: ISMAR)
◦ IEEE 컴퓨터 학회와 IEEE VGTC(Visualization and Graphics Technical Committee)에
의해 조직되고 지원.
◦ 증강 현실의 분야에서 가장 선도적인 국제 학술 대회로 올해 13회를 맞음.
◦ 독일 뮌헨에 있는 TUM Garching Campus 에서 5일간 개최되었음.
◦ 2일 동안 워크샵 및 튜토리얼 세션이 진행되었으며, 다음 3일 동안 메인 학회가 진행
되었음. 그 밖에, 닥터럴 콘소시엄, 인더스트리얼 데이, 폭스바겐 트래킹 챌린지, 패널
세션, 포스터/데모 세션 등도 함께 진행되었음.
학회 의장 (Gudrun Klinker, Nassir Navab)
 개최장소:
독일 뮌헨
 기 간: 2014/09/08 – 2014/09/12
 URL: http://ismar.vgtc.org
 주관기관: IEEE, IEEE computer society, IEEE VGTC (Visualization
and Graphics Technical Committee)
학회장 사진 (Garching Campus, Technische Universität München)
Keynote
 Takeo
Kanade, “Smart Headlight: A new active augmented reality
that improves how the reality appears to a human”
◦ Takeo Kanade 는 컴퓨터비전 분야에서 모션 분석에 기본적으로 사용되는 LucasKanade tracking algorithm 을 만든 장본인. 1974년 교토대에서 박사학위를 받았고
1980년 카네기멜론 대학에서 교수직을 역임함.
◦ 카네기 멜론 대학의 로봇 공학 연구소에서 개발하고 있는 스마트 헤드 라이트 시스템
은, 기상 조건이 안 좋은 상황에서도 운전자가 도로를 좀 더 선명하게 볼 수 있도록 하
기 위해서, 빗방울과 눈의 움직임을 예측하여 헤드라이트 빔이 빗방울과 눈 사이로 직
진할 수 있도록 함.
 Terry
Peters, “The Role of Augmented
Reality Displays for Guiding Intra-cardiac
Interventions”
◦ 런던에 있는 Imaging Research Laboratories at the
Robarts Research Institute (RRI)의 과학자.
◦ 증강현실 기술을 의료분야에 적용하는 사례를 설명함. 심
장 중재술에서, x 선 이미지를 이용하여 환자의 상태를 파
악하는 것 대신에 초음파와 증강현실 기술을 활용하여 대
동맥 밸브를 교체하는 사례를 소개함.
 Tom
Furness, “Seeing Anew: Paradigm
Shifting across the Virtuality Continuum,”
◦ HCI 와 VR 연구 분야의 개척자이며 워싱턴 대학의
Human, Interface Technology Laboratory (HIT Lab) 를 설
립함.
◦ 증강현실 기술이 산업, 교육, 의료 분야 등에서 혁신 사례
등을 발표함.
Panels, Poster, Demo, Tutorial, Workshop
 TrakMark
[S&T]
◦ AR에서 정합/트래킹 방법에 대한 성능을 벤치마크 할 수 있는 “TrakMark” 에 대한 토
론을 진행.
◦ Chair: Hirokazu Kato (Nara Institute of Science and Technology, Japan), Fumihisa
Shibata (Ritsumeikan University, Japan)
 Have
We Solved the User Interaction Problem for Augmented
Reality? [S&T]
◦ AR 에서의 UI 개선 방향에 대해서 토론을 진행.
◦ Chair: Bruce H. Thomas (University of South Australia)
 Beyond
the Interface – Artists Panel [MASH’D*]
 Beyond
the Interface – Disrupting the Market [MASH’D]
 Beyond
the Interface – Rethinking Aesthetics [MASH’D]
◦ Chair: Marc Garret (Furtherfield, UK)
◦ Chair: Marc Garret Furtherfield, UK)
◦ Chair: Ruth Catlow
*(Media professionals, Artists, Social Scientists, Humanity scholars and Designers: MASH’D)
http://ismar.vgtc.org/ismar/2014/tutorial-session/all/all
 T1: Fusing Web Technologies and Augmented Reality

◦ 증강현실 시스템을 위한 웹 표준.
◦ Organizer: Ulrich Bockholt (Fraunhofer IGD, Germany) Use of Web-standards (e.g. WebGL/WebRTC).
Distribution of Rendering/Tracking/Interaction algorithms in client/server configurations. Use of RDFs
(Resource Description Framework) and sematic wiki for the formulation of
tracking/processing/visualisation services

T2: AR Development with the Metaio Product Suite – Demonstration of Use
Cases in Industry
◦ 증강현실의 대표적인 회사인 메타이오에서, 증강현실 장면을 제작하는 방법에 대한 설명과 시연.
◦ Organizers: Frank Angermann (metaio, Germany), Maximilian Krushwitz (metaio, Germany). Overview
of the Metaio software suite. Practical AR Use Cases with implementation. Wearable devices in AR

T3: A ‘Look into’ Medical Augmented Reality
◦ 관련자료는 http://campar.in.tum.de/MEDAR/WebHome.
◦ Yuji Oyamada, Ph.D. (Waseda University, Japan), Pascal Fallavollita, Ph.D. (TU Munich, Germany)
System Components of Medical AR technology, Visualization, User Interfaces

T4: Open and Interoperable Augmented Reality
◦ Khronos Group, IEEE Standards Association, Open Geospatial Consortium, MPEG, Web3D Consortium,
Open Source Web-based AR 등에서 AR의 표준화 이슈를 다룸.
◦ Christine Perey (PEREY Research & Consulting and AR Community founder), Rob Manson (BuildAR and
MobAR), Marius Preda (Institut MINES-Telecom), Neil Trevett (NVIDIA and Khronos Group), Martin
Lechner (Wikitude GmbH), George Percivall (OGC), Timo Engelke (Fraunhofer IGD), Peter Lefkin (MIPI
Alliance), Bruce Mahone (SAE International), Mary Lynne Nielsen (IEEE Standards Association)

T5: Diminished Reality

T6: The Glass Class – Designing Wearable Interfaces

T7: Designing Location-Based Experiences,

◦ 현실에 있는 객체를 사라지게 하는 형태의 증강현실 기술에 대한 강연.
◦ Hideyuki Tamura (Ritsumeikan Univeristy, Japan), Hideo Saito (Keio University, Japan), Fumihisa,
Shibata (Ritsumeikan University, Japan), Maki Sugimoto (Keio University, Japan)
◦ 구글 글래스를 개발하는데 필요한 S/W 와 설계 가이드 라인을 소개함. 관련 발표자료들은
http://www.slideshare.net/marknb00 통해 살펴 볼 수 있음.
◦ Mark Billinghurst (The HIT Lab NZ, University of Canterbury, New Zealand)
◦ 위치기반 증강현실 기술을 이용하여 관광에 응용하는 사례를 소개함.
◦ Mark Melnykowycz (idezo, Zurich, Switzerland) Story structure and communication patterns: Design of
AR/MR mobile apps
T8: Google Glass, the META and Co.: How to Calibrate Your Optical SeeThrough HMDs
◦ Optical See-Through HMDs 의 캘리브레이션에 관련된 튜토리얼. 관련자료는
http://stctutorial.icg.tugraz.at
◦ Jens Grubert (TU Graz, Austria), Yuta Itoh (TU Munich, Germany). Hands on session: calibration of
OST HMDs

T9: Training Detectors and Recognizers in Python and Open CV
◦ OpenCV 를 이용하여 사용자의 얼굴을 인식하는 것에 대한 강의. 관련 자료는
http://nummist.com/opencv
◦ Joseph Howse (Nummist Media, Canada) Detecting human faces (and other subjects) using prebuilt
Haar cascades. Recognizing faces of individual humans and individual cats(Local binary pattern
histograms (LBPH) Fisherfaces Eigenfaces)

W1: Tracking Methods & Applications,

W2: Advancing the Art and Science of Manufacturing with AR

W3: Collaboration in Mediated and Augmented Reality

W4: Exploring AR-Glasses and Their Peculiars
◦ TU Munich 의 Daniel Cremers 교수가 키노트를 하였는데, Large-Scale Direct Monocular SLAM 등 매우
흥미로운 연구내용을 발표함.
◦ 인텔사의 perceptual SDK와 메타이오의 발표 및 시연도 매우 인상적. 관련자료는
http://tma14.jventura.net/ 를 통해 살펴볼 수 있음
◦ OrganizersJonathan Ventura (University of Colorado, Colorado Springs, USA), Daniel Wagner
(Qualcomm, Austria), Daniel Kurz (metaio, Germany), Harald Wuest, Fraunhofer IGD, Germany, Selim
Benhimane (Intel, USA)
◦ AR을 이용한 유지보수 작업에 적용하는 사례를 발표함. 관련 자료는
http://www.perey.com/ISMAR2014-Workshop-on-Manufacturing-with-AR/
◦ Organizers: Christine Perey (AR Community and AR for Enterprise Alliance), Fridolin Wild (Open
University), Kaj Helin (VTT Technical Research Centre of Finland), Miroslav Janak (Technical University
of Košice), Paul Davies (Boeing), Patrick Ryan (Newport News Shipbuilding)
◦ 증강현실 기반 원격 협업에 관한 연구들이 발표됨.
◦ Organizers: Stephan Lukosch (TU Delft, The Netherlands), Mark Billinghurst (University of Canterbury,
New Zealand), Kiyoshi Kiyokawa (Osaka University, Japan), Leila Alem (CSIRO, Australia), Case
studies, Interaction models, Collaboration awareness
◦ 다양한 종류의 AR Glasses (see-through/non-see-through, monocular/binocular)에 대한 소개, 응용,
SDK를 설명함.
◦ Organizers: Markus Eder (Wikitude, Austria), Martin Lechner (Wikitude, Austria), Dr. Thomas Stütz, (FH
Salzburg, Austria), Julian Stadon (FH Salzburg, Austria), Introductory lecture on AR Glasses, different
kinds of AR Glasses (see-through/non-see-through, monocular/binocular etc.), applications and SDK
for AR Glasses, Interactive Breakout-Sessions of the participants
 멘토
◦ Steven Feiner (Columbia University, USA), Takeshi Kurata (NAIST, Japan), Dieter
Schmalstieg (TU Graz, Austria)
 발표자
◦ Fabrizio Cutolo, EndoCAS Center, Department of Translational Research and New
Technologies in Medicine and Surgery University of Pisa, Italy: Video See through AR
Head-Mounted Display for Medical Procedures. (Thesis supervisors: Paolo Domenico
Parchi and Vincenzo Ferrari)
◦ Alexander Plopski, Osaka University, Japan; thesis supervisors: Corneal Imaging in
Localization and HMD interaction (Thesis supervisors: Kiyoshi Kiyokawa, Haruo
Takemura, and Christian Nitschke)
◦ Dariusz Rumiński, Poznań University of Economics, Poland: Semantic Contextual
Augmented Reality Environments (Thesis supervisor: Krzysztof Walczak)
◦ Jason Weigel, University of Queensland, Australia: Designing Support for
Collaboration around Physical Artefacts: Using Augmented Reality in Learning
Environments (Thesis supervisors: Stephen Viller and Mark Schulz)
 폭스바겐의
차량을 대상으로 증강현실 기술을 적용
◦ 총 4개의 시나리오를 대상으로 트래킹 기술의 성능을 평가하였고 우승자에게는 각
시나리오 별로 2000~4000유로의 상금이 수여됨.
◦ 참고자료는 http://ismar.vgtc.org/ismar/2014/info/overview/vw-tracking-challenge
 Competitors
◦ Diotasoft, Institute for Infocomm Research, Fraunhofer IGD, metaio, Voxar Labs, “I XTECH” LLC
 Scenarios
◦ Scenario
◦ Scenario
◦ Scenario
◦ Scenario
1:
2:
3:
4:
Tracking
Tracking
Tracking
Tracking
a Rotating Vehicle
and Learning on Different Vehicles
with High Accuracy
Inside an Unknown Area
 40여개의
포스터
 40여개의
데모
◦ 참고: http://ismar.vgtc.org/ismar/2014/poster-session/all/all
◦ 참고: http://ismar.vgtc.org/ismar/2014/poster-session/all/all
 Art
Exhibition 은 시내에 있는 건축학 건물에서 열렸으며 학회 리셉션과
함께 진행됨
◦ Erica Scourti, Jennifer Chan, Nick Briz, Julian Oliver, Mez Breeze, Heath Bunting,
Pierre Proske, Genetic Moo, Zach Blas.
Paper Session: Applications
 AR-IVI
– Implementation of In-Vehicle Augmented Reality
(Short paper)
◦ Qing Rao, Tobias Tropper, Christian Grünler, Markus Hammori, Samarjit Chakraborty
(Daimler AG, Daimler Protics GmbH, Technische Universit ¨ at M¨unchen)
◦ AR 자동차 인포테인먼트(AR-IVI) 시스템을 설계하는데 필요한 요구 사항과 설계
사항들을 설명하였고, 차량의 위치와 방향을 정밀하게 추적하기 위한 기술을 소개함
 Thermal
Touch: Thermography-Enabled Everywhere Touch
Interfaces for Mobile Augmented Reality Applications (Long
paper)
◦ Daniel Kurz (Metaio GmbH)
◦ 모바일 AR 애플리케이션을 위한 터치 인터페이스를 소개함. 적외선 카메라를 이용하
여 저온의 객체에 대해 손끝에서 발생하는 열을 감지하는 방법을 설명함.
 AR-Mentor:
paper)
Augmented Reality Based Mentoring System (Short
◦ Zhiwei Zhu, Vlad Branzoi, Michael Wolverton, Louise Yarnall, Girish Acharya, Supun
Samarasekera, Rakesh Kumar, Glen Murray, Nicholas Vitovitch (SRI International,
USA)
◦ 복잡한 기계의 유지 보수 및 수리 작업을 보조하기 위한 착용형 실시간 증강현실
멘토링 시스템으로, 착용형 광학 표시 안경의 고정밀 자세 추적, 자연 언어 처리, 대화
상호작용을 지원하는 가상 개인 비서(virtual personal assistant: VPA)를 제안함.
 Towards
Augmented Reality User Interfaces in 3D Media
Production (Short paper)
◦ Max Krichenbauer, Goshiro Yamamoto, Takafumi Taketomi, Christian Sandor, Hirokazu
Kato (Interactive Media Design Laboratory, Nara Institute of Science and Technology)
◦ 미디어 전문가, 전문 3D CG 소프트웨어의 분석 및 자습서 등에서 AR UI의 요구
사항을 파악하고 UI 설계 원칙을 도출 함.
Rendering
 Interactive
Near-Field Illumination for Photorealistic Augmented
Reality on Mobile Devices (Long paper)
◦ Kai Rohmer, Wolfgang Büschel, Raimund Dachselt, Thorsten Grosch (University of
Magdeburg, Technical University of Dresden)
◦ 변화하는 조명 조건 하에서 가상 객체에 자연스러운 조명을 표현하기 위한 기술.
◦ 실내 환경에서 복잡한 근접 조명 정보를 획득하기 위해 여러 대의 HDR 캠코더가 다양
한 방향에 배치함. 광원 정보 통신을 통해 광원 가림과 모바일 기기의 제한된 카메라
시야각에서도 조명을 적절히 표현할 수 있도록 함.
 Delta
Voxel Cone Tracing (Short paper)
◦ Tobias Alexander Franke (Fraunhofer IGD & TU Darmstadt)
◦ 직접적인 그림자와 간접적 조명 정보를 동시에 계산할 수 있는 델타 복셀 콘 추적이라
는 새로운 조명 솔루션을 제안함.
◦ 증강 현실에서의 상호 확산 (mutual diffuse) 조명, 광택, 간접 반사 처리를 위한 실시
간 래스터 라이저 기술을 설명함.
 Importance
Weighted Image Enhancement for Prosthetic Vision:
An Augmentation Framework (Short paper)
◦ Chris McCarthy, Nick Barnes (NICTA Canberra Research Laboratory, Australian
National University)
◦ 낮은 해상도와 다이내믹 레인지를 가지는 보철 비전(prosthetic vision. 생체 공학 눈)
을 대상으로 지각적 인지를 향상시키기 위한 적응적 대비 효과 처리 프레임워크를 제
시함.
 P-HRTF:
Efficient Personalized HRTF Computation for HighFidelity Spatial Sound (Long paper)
◦ Alok Meshram, Ravish Mehra, Hongsheng Yang, Enrique Dunn, Jan-michael Frahm,
Dinesh Manocha (University of North Carolina)
◦ 청취자의 머리와 몸통을 촬영한 후, Sparse Structure from Motion (SFM) 기술과 표면
복원 기술을 활용하여 사용자의 귀를 모델링. 이를 기반으로 3D 공간 오디오 렌더링
을 위해 필요한 머리 전달 함수 (head-related transfer function: HRTF)를 개인화.
 Visibility-Based
Blending for Real-Time Applications (Long paper)
◦ Taiki Fukiage, Takeshi Oishi, Katsushi Ikeuchi, The University of Tokyo)
◦ 가상 객체가 반투명으로 배경에 표시될 때 기존의 알파 블렌딩을 기반으로 증강된 객
체는 배경 장면의 색상, 질감, 구조에 따라 시인성이 달라짐. 이러한 현상을 방지하기
위한 블렌딩 프레임워크를 제시함.
Reconstruction and Fusion
 Improved
Registration for Vehicular AR using AutoHarmonization (Long paper)
◦ Eric Foxlin, Thomas Calloway, Hongsheng Zhang (Thales Visionix, Inc.)
◦ 차량 내에서 광학형 HMD를 착용하고 있는 사용자를 대상으로 내비게이션 응용을 선
보임. 본 시스템은 정확한 정합, 낮은 지연시간, 높은 추적 정밀도, 정확한 보정을 목
표로 함.
 Real-Time
Illumination Estimation from Faces for Coherent
Rendering (Long paper)
◦ Sebastian B. Knorr, Daniel Kurz (Metaio GmbH)
◦ 얼굴 영상으로부터 현장의 조명 상태를 추정하는 방법을 소개함. 얼굴을 향하는
모바일 장치의 카메라를 활용하여 사용자의 얼굴에 대한 방사 휘도 전달
함수(radiance transfer functions)를 사전에 계산. 얼굴의 특정 지점에서 입사광 각도
함수를 기반으로 얼굴의 반사 정도를 추정하여 현장의 조명 상태를 복원함.
 Comprehensive
Workspace Calibration for Visuo-Haptic
Augmented Reality (short paper)
◦ Ulrich Eck, Frieder Pankratz, Christian Sandor, Gudrun Klinker, Hamid Laga (Magic
Vision Lab of University of South Australia, TUM, Munich)
◦ 비주얼-촉각 증강현실 시스템을 위한 보정 방법을 제안함.
◦ PHANToM 햅틱 장치의 짐벌 센서 오차를 보정을 통해 높은 정밀도로 촉각
스타일러스의 회전 정보를 획득할 수 있음.
 Recognition
and reconstruction of transparent objects for
Augmented Reality (short paper)
◦ Alan Francisco Torres-Gomez, Walterio Mayol-Cuevas (University of Bristol)
◦ 입력 영상에서 유리와 같은 투명한 객체를 경계-강화 그래프를 활용하여 분리하고
Probabilistic space carving 기법을 통해 3차원으로 복원하는 기술을 제안함
Tracking
 Pixel-Wise
Closed-Loop Registration in Video-Based Augmented
Reality (Long paper)
◦ Feng Zheng, Dieter Schmalstieg, Gregory Welch (The University of North Carolina at
Chapel Hill, Graz University of Technology)
◦ 픽셀 단위의 closed-loop 정합 프레임워크를 제안함.
◦ 이상적인 증강 장면으로 구성된 참조 모델을 사용하여 현재 정합된 영상과의 오차를
자동으로 감지하여 정합 오차를 보정함.
 Semi-Dense
paper)
Visual Odometry for AR on a Smartphone (Short
◦ Thomas Schöps, Jakob Engel, Daniel Cremers (Technische Universit ¨ at M¨unchen)
◦ 스마트폰에서 실시간으로 작동되는 단일 카메라 기반 비주얼 주행거리 측정시스템
(Odometry system)을 제시함.
◦ Direct 방법은 기존의 키포인트와 같은 특징들을 추출하는 것 대신에 이미지의
Intensity 자체를 추적하고 매핑함.
 Sticky
Projections - A New Approach to Interactive Shader Lamp
Tracking (Short paper)
◦ Christoph Resch, Peter Keitler, Gudrun Klinker (EXTEND3D GmbH, TU M¨unchen)
◦ 카메라-프로젝터 시스템에서 대화식으로 임의 형태의 객체를 추적하고 프로젝션하기
위한 방법을 제안함.
◦ 물리적 객체의 Point clouds을 복원한 후 가상 모델이 정밀하게 프로젝션 될 수 있도록
ICP (Iterative Closest Point) 알고리즘을 기반으로 정합함.
 Dense
Planar SLAM (Long paper)
◦ Renato Salas-Moreno, Ben Glocker, Paul Kelly, Andrew Davison (Imperial College
London)
◦ 깊이 이미지에서 추출된 경계 면와 Surfels (국소 평면 영역을 기술하는 작은 디스크
형태의 Entity)를 사용하여 환경을 매핑하는 방법을 제안함.
◦ 공간의 평면 속성을 이용하여 복원된 모델의 평면 영역을 보정하고 실시간 압축하여
확장성을 높일 수 있는 방법.
 Real-time
Deformation, Registration and Tracking of Solids
Based on Physical Simulation (Short paper)
◦ Ibai Leizea, Hugo Álvarez, Iker Aguinaga, Diego Borro (CEIT and Tecnun (University
of Navarra), Spain)
◦ 3D 비강체 오브젝트의 변형을 고려하여 가상객체를 정합하는 방법을 제안함.
◦ Mass-Spring Model(MSM)를 기반으로 모델링된 변형 객체를 인식하고 추적하기 위해
LINEMOD-템플릿 기반 추적을 수행함.
User Interfaces
 Grasp-Shell
vs Gesture-Speech: A comparison of direct and
indirect natural interaction techniques in Augmented Reality
(Long paper)
◦ Thammathip Piumsomboon, David Altimira, Hyungon Kim, Adrian Clark, Gun Lee,
Mark Billinghurst (HIT Lab NZ, University of Canterbury, Christchurch, New Zealand)
◦ 두가지 자연스러운 멀티모달 상호작용 기술을 평가함. 프리 핸드 제스처를 기반으로
한 Grasp-Shell 방법은 직접적인 물리적 조작 기능을 제공하며, 멀티 모달 기반
Gesture-Speech 방법은 간접적 상호작용 방법으로 음성과 제스처를 결합함.
 Improving
Co-presence with Augmented Visual Communication
Cues for Sharing Experience through Video Conference
◦ Seungwon Kim, Gun Lee, Nobuchika SAKATA, Mark Billinghurst
◦ HMD와 휴대용 디스플레이(HHD)가 결합된 원격 협업을 위한 비디오 회의 시스템.
◦ 음성, 증강된 포인터, 메모 등을 사용하는 방법들 간의 사용성을 비교 평가함.
A
Study of Depth Perception in Hand-Held Augmented Reality
using Autostereoscopic Displays (Short paper)
◦ Matthias Berning, Daniel Kleinert, Till Riedel, Michael Beigl (Karlsruhe Institute of
Technology (KIT), TECO, Karlsruhe, Germany)
◦ 스테레오 카메라와 3D 디스플레이를 탑재한 상용 스마트폰을 사용하여 증강현실에서
깊이 인지 효과를 검증함.
 Measurements
(Short paper)
of Live Actor Motion in Mixed Reality Interaction
◦ Gregory Hough, Ian Williams, Cham Athwal (Birmingham City University)
◦ 실시간 인터랙티브 가상 방송국 및 라이브 TV등에서 연기자에 의해 이뤄지는 포퍼먼
스의 자연스러움에 대한 사용성 평가를 수행함.
Layout and Head-Worn Displays - Video
See-Through
 Creating
Automatically Aligned Consensus Realities for AR
Videoconferencing (Short paper)
◦ Nicolas Lehment, Daniel Merget, Gerhard Rigoll (Technische Universit ¨ at M¨unchen)
◦ 하나의 공유 작업 공간에 2개의 원격 공간을 병합할 수 있는 AR 화상회의 방법을 제시
함. 원격 사용자들이 공유 물리적 공간을 최대한으로 확보하기 위한 공간 계산 방법을
설명함.
 FLARE:
paper)
Fast Layout for Augmented Reality Applications (Short
◦ Ran Gal, Lior Shapira, Eyal Ofek, Pushmeet Kohli (Microsoft Research)
◦ AR 애플리케이션을 제작할 때 객체의 위치/회전 등의 레이아웃을 자동으로 결정하기
위한 규칙 기반의 프레임워크를 제안함.
 Presence
and Discernability in Conventional and NonPhotorealistic Immersive Augmented Reality (Short paper)
◦ William Steptoe, Simon Julier, Anthony Steed (University College London)
◦ 광각 HMD 디스플레이에서의 NPR의 몰입감 효과를 평가함. 정신 물리학적 비-조정
(psychophysical non-mediation) 측정 방법을 기반으로 일관성과 몰입감 영향을 측정
함.
기존 방법, stylized (경계 강조), virtualized (경계강조와 색상 제거)
 WeARHand:
Head-Worn, RGB-D Camera-Based, Bare-Hand User
Interface with Visually Enhanced Depth Perception (Long paper)
◦ Taejin Ha, Steven Feiner, Woontack Woo (KAIST)
◦ 공간에 설치된 트래킹 장치 없이, 증강현실 환경에서 맨손으로 가상 3D 객체를
조작할 수 있는 WeARHand 시스템을 소개함.
Head-Worn Displays - Optical SeeThrough
 Performance
and Sensitivity Analysis of INDICA: INteraction-free
DIsplay CAlibration for Optical See-Through Head-Mounted
Displays (Short paper)
◦ Yuta Itoh, Gudrun Klinker (Technische Universit¨ at M¨unchen)
◦ 카메라 기반의 안구 추적 기술을 이용하여 OSTHMD를 위한 자동화된 디스플레이 보
정 방법을 제안함. 디스플레이 모델과 사용자의 안구 모델을 기반으로 매개 변수를 예
측함.
 Analysing
the Effects of a Wide Field of View Augmented Reality
Display on Search Performance in Divided Attention Tasks (Long
paper)
◦ Naohiro Kishishita, Kiyoshi Kiyokawa, Ernst Kruijff, Jason Orlosky, Tomohiro Mashita,
Haruo Takemura (Osaka University, Bonn-Rhein Sieg University of Applied Sciences
from Germany
◦ 특수한 형태의 광각 디스플레이를 기반으로 분할 집중 탐색 작업에서, 두 가지 시점
관리 방법인 in-view 와 in-situ labelling 을 비교 실험함. HMD의 FoV의 효과보다는 표
시 지시선을 효과가 더 큼.
 SmartColor:
Real-Time Color Correction and Contrast for Optical
See-Through Head-Mounted Displays (Long paper)
◦ Juan David Hincapié-Ramos, Levko Ivanchuk, Srikanth Kirshnamachari Sridharan,
Pourang Irani (University of Manitoba, Winnipeg, Canada)
◦ SmartColor 미들웨어는 OHMD에서의 보정(correction), 대비(contrast), show-up-oncontrast에 대한 색상 관리 방법을 제시함.
Medical AR
 Single
View Augmentation of 3D Elastic Objects (Long paper)
◦ Nazim Haouchine, Jeremie Dequidt, Marie-Odile Berger, Stephane Cotin (Inria,
France)
◦ 단일 뷰에서 고탄성의 객체를 획득하고 가상 객체를 효율적으로 정합하는 방법을 제
안함. 평활도(smoothness)와 기하학적인 제약 사항들을 반영하여 비-확장성, 탄성에
대한 변형 특성을 도입함.
 Improved
Interventional X-ray Appearance (Short paper)
◦ Xiang Wang, Christian Schulte zu Berge, Stefanie Demirci, Pascal Fallavollita, Nassir
Navab (Technische Universität München, Germany. Beihang University, China)
◦ X선 화상에서 깊이 인식을 향상시키기 위한 방법을 제안함.
◦ 사전에 획득한 3D 데이터로부터 입사광선의 심도에 따라 색상을 지정하는 “색상 심도
맵”을 계산한 후, X선 영상의 그레이 스케일 강도를 유지하도록 색상을 결합.
 Computer-Assisted
Laparoscopic Myomectomy by Augmenting
the Uterus with Pre-operative MRI Data (Short paper)
◦ Toby Collins, Daniel Pizarro, Adrien Bartoli, Nicolas Bourdel (ALCoV-ISIT, France)
◦ 자궁(uterine)의 근종 위치 확인(myoma localisation)을 위한 증강현실 기반의 이미지
유도 시스템을 제시함. 복강경 자기공명영상(MRI)에 변형 가능한 모델을 반자동으로
정합할 수 있는 방법을 제안함.
후기
 HMD에
대한 연구가 늘어나는 추세
◦ 구글 글래스, 오큘러스 리프트 등의 안경형 디스플레이가 많은 주목을
받으면서혼합/증강현실 연구 분야가 활성화되고 있음.
◦ 본 학회의 워크숍, 튜토리얼, 기술논문들에서도 안경형 디스플레이에 대한 논의가
활발하였음 (HMD에 대한 세션이 2개).
 다양한
카메라를 사용하는 사례가 늘어남
◦ 카메라가 소형화/경량화 됨에 따라, 카메라를 안경형 디스플레이, 타블렛, 모바일 폰
등에 장착하는 사례들이 많아지고 있음.
◦ 구글 탱고, 인텔의RGB-D 카메라 내장형 타블렛 등을 활용하여 데모를 시연하기도
하였음.
◦ 열감지 카메라를 증강현실 사용자 인터페이스로 활용하기도 함.
 특이사항
◦ 독일에서 발표한 논문들의 수가 굉장히 많았으며 기술 수준들도 상당히 높았음.
 내년
학회 일정
◦ 9월 29일부터 10월 3일까지 일본 후쿠오카에서 열릴 예정.
◦ Long paper는 모두 TVCG 저널에 게재될 예정.
◦ 논문 제출 마감일은 3월 15일임.
튜토리얼 (Metaio)
전시 (인텔, 퀄컴)















Gudrun Klinker, TU Munich, [email protected], http://campar.in.tum.de/Main/GudrunKlinker
Takeo Kanade, CMU, USA, [email protected], http://www.cs.cmu.edu/~tk
Terry Peters, Robarts Research Institute, UK, [email protected]
http://www.imaging.robarts.ca/petergrp/
Tom Furness, Human, Interface Technology Laboratory, USA, [email protected],
http://www.hitl.washington.edu/people/tfurness/
Dieter Schmalstieg, TU Graz, Austria, [email protected],
http://www.icg.tugraz.at/Members/schmalstieg
Wolfgang Broll, TU Ilmenau, Germany, [email protected], https://www.tuilmenau.de/vwds/team/wolfgang-broll/
Walterio Mayol-Cuevas, Briston University, UK, [email protected],
http://www.cs.bris.ac.uk/~wmayol/
Steven Feiner, Columbia University, USA, [email protected] , http://www.cs.columbia.edu/~feiner/
Georg Klein, Microsoft Corporation, USA, [email protected], http://www.robots.ox.ac.uk/~gk/
Christian Sandor, Nara Institute of Science and Technology, Japan, [email protected],
http://imd.naist.jp/~sandor/
Julian Stadon, FH Salzburg, Austria, https://crash.curtin.edu.au/research/groups/maps/stadon.cfm
Tobias Höllerer, University of California, Santa Barbara, USA, [email protected],
http://www.cs.ucsb.edu/~holl/
Henry Duh, HITLab AU, University of Tasmania, Australia, [email protected],
http://www.hitlab.utas.edu.au/wiki/Professor_Henry_Duh
Nassir Navab, TU Munich, Germany, [email protected], http://campar.in.tum.de/Main/NassirNavab
Takeshi Kurata, National Institute of Advanced Industrial Science and Technology (AIST), Japan,
[email protected], https://staff.aist.go.jp/t.kurata/
하태진
KAIST CTRI (문화기술 연구소)
Daejeon 305-701, S. Korea
[email protected]
WearableAR.org
 증강현실
◦ 정보/지식의 새로운 표현, 검색, 경험 방식.
◦ 즉시적, 직관적, 몰입적 (3D 정합, 다감각 증강), 다양한 정보 가시화 (빅데이터 활용).
전화기: 1876년
구글 글래스: 2012년
책, 신문
라디오: 1906년
흑백 방송: 1936년
컬러 방송: 1951년
3D TV, IP TV
인쇄 매체
음성 매체
시각 매체
PC: 1971년
아이폰 3G: 2008년
인터넷 매체
Wear-com. (안경/콘텍
트렌즈, 뇌파, 멀티모
달), Ubi-comp. (IoT)
New Media
증강현실
HMD: 1967년
MARS: 1996년
UVR: 2001년
 현실
환경으로부터 얻은 지각 정보에 컴퓨터에 의해 생성된 정보를 융
합하여 현실을 확장, 강화하는 기술.
 반드시
영상 정보에 한정되는 것이 아니라, 청각, 촉각, 평형감각, 미각
과 같은 오감 증강도 증강도 가능.
Augmented Perception of satiety
Meta cookies
TagCandy
3
스마트 폰, 모니터와 TV를 대체.
 현실과 가상의 융합 Metaverse.
 글래스가
 P.
Milgram's Reality-Virtuality Continuum, 1994
혼합현실(Mixed Reality: MR)
현실세계
 R.
증강현실세계
(Augmented Reality)
증강가상세계
(Augmented Virtuality)
가상세계
Azuma's definition on AR, 1997
◦ Combines real and virtual
◦ Interactive in real time
◦ Registered in real 3D world
5
카메라의 움직임 (위치/자세)을 계산하여, 가상세계의 카메라
의 움직임을 동일하게 설정하는 것
 현실세계의
현실세계의 카메라
(사용자의 시점)
기준좌표계에 대한 카메라의
위치·자세를 동일하게 함
(카메라 트래킹)
가상세계의 카메라
(컴퓨터 세계의 카메라 시점)
초점거리나 화각 등의
특성을 현실세계의 카메
라 특성광 동일하게 함
(카메라 보정)
현실세계와 가상세계의
기준좌표를 대응시킴
현실세계
가상세계
현실세계
혼합현실(Mixed Reality: MR)
증강현실세계
(Augmented Reality)
증강가상세계
(Augmented Virtuality)
그래픽스
평면
가상 객체 좌표계
가상세계
Object-to-world
가상 카메라
좌표계
월드좌표계
실제 카메라
좌표계
Camera-toImage Plane
이미지
평면
World-to-Camera: Camera Tracking
일반적인 LCD, 디스플레이, HMD, 프로젝터 등
 Optical see-through HMD
 디스플레이:
 Video
see-through HMD
 “Wearable
computing is the study or practice of inventing, designing,
building, or using miniature body-borne computational and sensory
devices”
 “Wearable computers may be worn under, over, or in clothing, or may also
be themselves clothes”
Self-portraits of Steven Mann from 1980s to 2000s, He is a professor at the University of
Toronto and holds degrees from the MIT (PhD in Media Arts and Sciences '97)
Mann, Steve (1996): Smart Clothing: The Shift to Wearable Computing. In Communications of the ACM, 39 (8) pp. 2324
 Feiner
교수는 증강현실 연구 분야의 초창기 연구자로서, 20년 이상을 증
강 현실 연구를 해왔음.
 1996년부터 실외 증강 현실 응용을 위한 연구를 선도적으로 시작하였으며
, 1997년에 Optical-see through HMD를 사용하여 최초의 실외 모바일
증강현실 시스템인 MARS (Mobile Augmented Reality Systems)을 구
현하였음.
◦ 백팩 컴퓨터, 무선 웹 통신을 할 수 있는 디지털 라디오와 GPS기능을 이용하여 HMD
로 거리의 정보를 획득할 수 있도록 설계된 여행가이드 시스템.
1996년에 연구된 MARS (Mobile Augmented Reality Systems). HMD는 현실 세
계에 그래픽스 정보를 오버레이 하는데 사용되며, 사용자는 모바일 장치를 통해
서 2차원 메뉴를 선택하고 부가 정보를 획득할 수 있음
 Hype
Cycle for Emerging Technologies, Gartner
1
3
 Augmented
Reality Market
◦ “The growth of the augmented reality market is expected to be exponential with the
revenue growth from $181.25 million in 2011 to $5,155.92 million by 2016.”
Augmented Reality Market & Virtual Reality Market - By Technology (Mobile & Spatial AR, Semi & Fully Immersive VR); By
Sensors & Components (Accelerometer, Data Glove, HMD, ICs); By Applications (Medical, Military, Gaming), By Geography
(2013 – 2018), marketsandmarkets.com
 Wearable
Electronics Market
◦ “The market was worth $2.7 billion in revenue in 2012 and is expected to reach $8.3
billion in 2018, growing at an estimated CAGR of 17.71% from 2013 to 2018.”
Wearable Electronics Market and Technology Analysis (2013 – 2018): By Components (Sensors, Battery, Display, Networking);
Applications (Consumer, Healthcare, Enterprise); Products (Smart -Textiles, Glasses, Watches);e-Materials & Geography,
marketsandmarkets.com
1
5
 Bare
Hand Interface for Interaction in the Video See-Through
HMD Based Wearable AR Environment
◦ “ARMemo" can help user to memo in the real environment by using a virtual pen
which is augmented on the user’s finger.
◦ User can see the saved memo on his/her palm by augmenting it while moving around
anywhere.
Input Video Frame
RGB Image
Conversion RGB -> HSV
Initial search window
size and location.
Segmentation
Tracking
Collision Detection
Double thresholds (H, S)
Color probability distribution
in calculation region (ROI)
Calculation region = Palm size
Center search window
at the center of mass
Calculation region > Palm size
Noise smoothing
no
Converge
yes
no
Collision
yes
Feature Extraction
Finding palm (Distance transformation)
Finding hand tips (Defect convexity)
Posture Recognition
Hu moment
Minimum distance
T. Ha and W. Woo, “Bare Hand Interface for Interaction in the Video see-through HMD based Wearable AR Environment,” Springer LNCS (ICEC), pp.354-357, Sep. 2006.
최우수상, 대학생 IT 창업 경진대회, 호스트웨이 코리아(주), 2005.
 Enhancing
Immersiveness in AR-based Product Design
◦ Natural hand appearance in AR; robust hands object segmentation.
◦ Touch sensation, vibratory haptic feedback with page motors, and sound feedback.
T. Ha, Y. Kim, J. Ryu, Woontack Woo, "Enhancing Immersiveness in AR-based Product Design," Artificial Reality and Telexistence (LNCS), 4282, pp. 207 - 216, 2006.
The Paper Presentation Award, The 60th Institute of Electronics Engineers of Korea (IEEK), 2006.
 Digilog
book for temple bell tolling experience
◦ A next-generation publication that combines the analog sensibility of a paper book
with digitized visual, auditory, and haptic feedback by exploiting AR technology.
◦ Descriptions for AR contents, multisensory feedback, and vision-based manual input.
T. Ha, Y. Lee, W. Woo, "Digilog book for temple bell tolling experience based on interactive augmented reality," Virtual Reality, 15(4), pp. 295-309, 2010.
The Publicity Award, GIST CTI, Dec. 2010.
 ARtalet:
TUI based Immersive AR Authoring Tool for Digilog book
◦ ARtalet: AR [augmented reality], Tale [story], and Let [booklet].
◦ Intuitive in-situ visual/audio/haptic authoring method for non-programmer.
Animation
Deformation
Audio authoring
Haptic authoring
T. Ha, Y. Lee, J. Lee, H. Choi, J. Ryu, K. Lee, W. Woo, "ARtalet: Tangible User Interface based Immersive Augmented Reality Authoring Tool for Digilog book," ISUVR 2010,
pp. 40-43, 2010.
 Empirical
Evaluation of Virtual Hand Techniques
◦ Extend the design parameters of the 1D scale Fitts’ law to 3D scale.
◦ Implement and compare standard TAR manipulation techniques.
W
z
r
Target
position
A
A sin(v)
Initial
position
x
v
u
A cos(v)
A cos(v) cos(u )
y
A cos(v) sin(u )
≈
CUP method
CUBE method
PADDLE method
Ex_PADDLE method
ID = log 2 ( f (u ) f (v) f (α ) f ( β ) f (γ) f ( A / W ) )
T. Ha, W. Woo, "An Empirical Evaluation of Virtual Hand Techniques for 3D Object Manipulation in a Tangible Augmented Reality Environment," IEEE 3D User Interfaces, pp.
91-98, 2010.
The Paper Award, The Korean Institute of Next Generation Computing (KINGPC), May. 2009.
 Interactive
3D Movement Path Manipulation Method
◦ Control point allocation test properly generate 3D movement path.
◦ Dynamic selection method effectively selects the small and dense control points.
PCP…
PCP 2
PCP……
PCP 0
PCP 1
PCP i-3
PCP i-2
Highest score
Distance score
Highest score
Direction score
PCP i-1
Highest score
Frequency score
Highest score
Time score
T. Ha, M. Billinghurst, W. Woo, "An Interactive 3D Movement Path Manipulation Method in an Augmented Reality Environment," Interacting with Computers, 24, 1, pp.10-24,
2012.
 Miniature
Alive: Augmented Reality based Interactive DigiLog
Experience in Miniature Exhibition
◦ A next generation interactive miniature exhibition that provides a DigiLog experience
that combines aesthetic/spatial feelings with an analog miniature and dynamic
interaction with digitalized 3D content.
T. Ha, K. Kim, N. Park, S. Seo, and W. Woo, "Miniature Alive: Augmented Reality-based Interactive DigiLog Experience in Miniature Exhibition," ACM CHI Interactivity, pp.
1067-1070, 2012.
 ARWand:
Phone-based 3D Object Manipulation in AR
◦ Exploits internal sensor information of phone to manipulate 3D objects in 3D space.
◦ Transfer functions to map the control space of mobile phones to an AR display
space.
Head
Display space
Control space
𝑉𝑉𝐶𝐶 = 𝑉𝑉𝑡𝑡 𝐑𝐑 𝑮𝑮 , 𝑖𝑖𝑖𝑖 𝑉𝑉𝑡𝑡 ≥ 𝑡𝑡
𝐑𝐑 𝑪𝑪 = 𝐑𝐑 𝑮𝑮 , 𝑖𝑖𝑖𝑖 𝑉𝑉𝑡𝑡 < 𝑡𝑡 or 𝑉𝑉𝑡𝑡 is not existed
T. Ha, W. Woo, "ARWand: Phone-based 3D Object Manipulation in Augmented Reality Environment," ISUVR, pp. 44-47, 2011.
T. Ha and W. Woo, "Poster: A Pilot Study on Stepwise 6-DoF Manipulation of Virtual 3D Objects using Smartphone in Wearable Augmented Reality Environment," IEEE 3DUI,
pp. 137-138, 2013.
 We
apply ARWand to an augmented world builder that enables
users to model the real world and add virtual content to it
◦ Assigns a local reference coordinate to an object of interest (OoI).
◦ ARWand lets the user load, select, and manipulate 3D virtual objects.
T. Ha and W. Woo, "ARWand for an Augmented World Builder," IEEE 3DUI, pp. 207-208, 2013.
The People's Choice Award, The 3DUI Contest, IEEE 3DUI, 2013.
 Enhancing
Social Presence in Augmented Reality-Based
Telecommunication System
◦ AR tele-collaboration technologies can
overcome the spatial limitations of traditional
collaboration.
J. Kim, T. Ha, and W. Woo, C. Shi, "Enhancing Social Presence in Augmented Reality-Based Telecommunication System," LNCS (HCII), 2013.
 WeARHand:
Head-Worn, RGB-D Camera-Based, Bare-Hand User
Interface with Visually Enhanced Depth Perception
◦ WeARHand enables user to select and manipulate a virtual 3D object with their own
bare hand without tethered tracking devices
◦ Depth perception is enhanced through egocentric visual feedback, including a semitransparent proxy hand
Semi-transparent
proxy hand
Distant
object
Virtual hand is rendered in
local reference coordinates
T. Ha, S. Feiner and W. Woo, “WeARHand: Head-Worn, RGB-D Camera-Based, Bare-Hand User, Interface with Visually Enhanced Depth Perception,” ISMAR 2014
(Accepted).
The Best Presentation Award, The 7th Korea-Japan Workshop on Mixed Reality (KJMR), 2014.
 착용형
증강현실 저작을 위한 기하 인식 기반 정합 좌표계 보정
ARsnapping: Interactive Registration of Local Reference
Coordinates for Wearable Augmented Reality Authoring
하태진, 우운택, “착용형 증강현실 저작을 위한 기하 인식 기반 정합 좌표계 보정," 한국그래픽스학회 (KCGS), pp. 57-58, Jul. 2014.
The Paper Presentation Award, The Korea Computer Graphics Society (KCGS).
3
2
스마트 폰, 모니터와 TV를 대체
 현실과 가상의 융합 Metaverse
 글래스가
Atheer Labs
MetaPro
3
7
Augmented Perception of satiety
Meta cookies
TagCandy
3
8
 Augmented
(hyper)Reality: Domestic Robocop
 Sight,
project from Bezaleal academy of arts
 Memory
storage
 Tele-communication
4
1
 Augmented
Reality
 Augmented Virtuality
 Virtual Reality
하태진
KAIST CTRI (문화기술 연구소)
Daejeon 305-701, S. Korea
[email protected]
WearableAR.org
하태진
KAIST CTRI (문화기술 연구소)
Daejeon 305-701, S. Korea
[email protected]
WearableAR.org
카메라의 움직임 (위치/자세)을 계산하여, 가상세계의 카메라
의 움직임을 동일하게 설정하는 것
 현실세계의
현실세계의 카메라
(사용자의 시점)
기준좌표계에 대한 카메라의
위치·자세를 동일하게 함
(카메라 트래킹)
가상세계의 카메라
(컴퓨터 세계의 카메라 시점)
초점거리나 화각 등의
특성을 현실세계의 카메
라 특성광 동일하게 함
(카메라 보정)
현실세계와 가상세계의
기준좌표를 대응시킴
현실세계
가상세계
현실세계
혼합현실(Mixed Reality: MR)
증강현실세계
(Augmented Reality)
증강가상세계
(Augmented Virtuality)
그래픽스
평면
가상 객체 좌표계
가상세계
Object-to-world
가상 카메라
좌표계
월드좌표계
실제 카메라
좌표계
Camera-toImage Plane
이미지
평면
World-to-Camera: Camera Tracking
이미지
평면
정규화된
이미지 평면
카메라 좌표계
𝑌𝑌
𝑦𝑦
𝑥𝑥
𝐱𝐱 img
𝐗𝐗 𝐜𝐜 (또는 𝐗𝐗 𝐰𝐰 )
𝑍𝑍𝑤𝑤
𝑌𝑌𝑤𝑤
월드좌표계
𝑋𝑋𝑤𝑤
이미지 좌표계(픽셀 좌표계)
• 사용한 카메라/카메라 세팅에
따라서 다른 영상을 얻게 됨.
𝐱𝐱 nom img
𝑢𝑢
정규 좌표계
𝑣𝑣
• 카메라의 내부 파라미터(Intrinsic
𝑍𝑍
parameter)의 영향을 제거한 이미지
𝑋𝑋
좌표계.
• 기하학적인 특성을 해석하는데 효과적.
• 카메라 초점과의 거리가 1인 가상의
이미지 평면.
3차원 공간에 있는 물체가 카메라를 통해서 사영되어 얻어짐
 카메라 모델로서는 일반적으로 핀홀(Pinhole) 카메라를 사용
 영상은
◦ 핀홀 카메라에 의한 영상은 중심사영 또는 투시사영 (Perspective Projection).
◦ 카메라는 영상중심과 초점거리 등의 내부 변수 (Intrinsic parameters)을 가지고 있음.
𝐼𝐼
𝐱𝐱
𝑐𝑐
𝑦𝑦
𝑥𝑥
𝑓𝑓
𝐹𝐹
Y
𝐶𝐶
X
3차원 좌표계의 원점은 카메라의 렌즈 중심(c)에 있으며,
영상면은 렌즈 중심의 뒤에 놓임.
X
Z
𝐼𝐼
𝑐𝑐
Y
𝐶𝐶
X
𝑥𝑥
𝐹𝐹
𝑓𝑓
𝑦𝑦
Y
X (𝑋𝑋, Y, Z)
𝐶𝐶
Z
X
𝑓𝑓
𝐼𝐼
𝑥𝑥
𝑐𝑐
𝑦𝑦
X
Z
𝑥𝑥 𝑋𝑋 𝑦𝑦 𝑌𝑌
= , =
𝑓𝑓 𝑍𝑍 𝑓𝑓 𝑍𝑍
𝑋𝑋
𝑌𝑌
𝑥𝑥 = 𝑓𝑓 , 𝑦𝑦 = 𝑓𝑓
𝑍𝑍
𝑍𝑍
𝑥𝑥
𝑓𝑓 0
𝑠𝑠 𝑦𝑦 = 0 𝑓𝑓
1
0 0
𝑠𝑠𝐱𝐱� = 𝑃𝑃X�
0 0
0 0
1 0
P: Projection matrix
가상의 영상평면을 렌즈중심의 앞으로 놓은 핀홀카메라 모델
𝑋𝑋
𝑌𝑌
𝑍𝑍
1
 카메라
렌즈 왜곡(특성)을 없앰
◦ 영상의 중심이 다를 수 있으며 (𝑢𝑢0 , 𝑣𝑣0 ), 두 좌표축의 스케일이 다를 수 있음 (𝑘𝑘𝑢𝑢 , 𝑘𝑘𝑣𝑣 ).
또한 두 좌표축이 직교하지 않을 수 있음 (θ).
 카메라
보정: 특성 파악 (Intrinsic parameters)
◦ 카메라 파라미터는 영상에서 대상의 3차원 위치 자세를 구하는 계산에 영향.
◦ 3D 객체를 정확하게 정합하기 위해 사전에 계산해야 함.
Y
𝑋𝑋
𝐶𝐶
𝑓𝑓
𝐼𝐼
𝑥𝑥
𝑐𝑐
𝑦𝑦
𝑥𝑥
𝑓𝑓𝑘𝑘𝑢𝑢 −𝑓𝑓𝑘𝑘𝑢𝑢 cot 𝜃𝜃
𝑠𝑠 𝑦𝑦 = 0
𝑓𝑓𝑘𝑘𝑣𝑣 / sin 𝜃𝜃
1
0 0
𝑍𝑍
𝑢𝑢0 , 0 𝑋𝑋
𝑣𝑣0 , 0 𝑌𝑌
𝑍𝑍
1 0 1
𝑥𝑥
𝑓𝑓 0
𝑠𝑠 𝑦𝑦 = 0 𝑓𝑓
1
0 0
𝑥𝑥
𝑓𝑓𝑥𝑥
𝑠𝑠 𝑦𝑦 = 0
1
0
0
𝑓𝑓𝑦𝑦
0
𝑐𝑐𝑥𝑥
𝑐𝑐𝑦𝑦
1
0 0
0 0
1 0
0 𝑋𝑋
0 𝑌𝑌
𝑍𝑍
0 1
𝑋𝑋
𝑌𝑌
𝑍𝑍
1
 일반적으로
격자모양이나 체크무늬가 인쇄된 종이를 사용
◦ 카메라로 촬영해, 카메라 좌표계 기준 3차원 점과 프로젝션된 2차원 점들 사이의 에러
를 최소화하는 카메라 파라미터 값을 구함.
𝑥𝑥
𝑓𝑓𝑥𝑥
𝑠𝑠 𝑦𝑦 = 0
1
0
0
𝑓𝑓𝑦𝑦
0
𝑐𝑐𝑥𝑥
𝑐𝑐𝑦𝑦
1
0 𝑋𝑋
0 𝑌𝑌
𝑍𝑍
0 1
월드좌표계 상호간에는 회전 (Rotation)과 이동
(Translation) 변환이 있음
 카메라좌표계와
(𝑅𝑅, 𝑡𝑡)
𝑌𝑌𝑊𝑊
𝑋𝑋𝑊𝑊
𝑂𝑂
Y
𝑍𝑍𝑊𝑊
𝐶𝐶
𝑋𝑋
𝐼𝐼
𝑥𝑥
𝑐𝑐
𝑦𝑦
𝑍𝑍
어떤 점의 카메라 좌표계에 의한 좌표를 𝑀𝑀𝐶𝐶 와 월드좌표계의 좌표 𝑀𝑀𝑊𝑊 와의 관계는
�W + t
�C = RX
�C = DX
�W , D = RT T , 03 = [0,0,0]T
X
X
또는
03 1
𝐷𝐷는 3차원 유클리드 변환으로 강체 변환(Rigid body transformation)이라고 함.
�C = PDX
�W
s�x = PX
이미지
평면
𝐾𝐾
정규화된
이미지 평면
𝐱𝐱 nom img
𝑢𝑢
𝑣𝑣
𝑍𝑍
카메라 좌표계
𝑌𝑌
𝑋𝑋
�C = KDX
�W
s�x = KX
𝑥𝑥
𝑓𝑓𝑥𝑥
s 𝑦𝑦 = 0
1
0
𝑦𝑦
0
𝑓𝑓𝑦𝑦
0
𝑐𝑐𝑥𝑥
𝑐𝑐𝑦𝑦
1
0
0
0
𝑥𝑥
𝐱𝐱 img
𝑋𝑋𝑐𝑐
𝑓𝑓𝑥𝑥
𝑌𝑌𝑐𝑐
= 0
𝑍𝑍𝑐𝑐
0
1
P
𝐗𝐗 𝐜𝐜 (또는 𝐗𝐗 𝐰𝐰 )
𝑍𝑍𝑤𝑤
𝑌𝑌𝑤𝑤
𝑋𝑋𝑤𝑤
월드 좌표계
0
𝑓𝑓𝑦𝑦
0
𝑐𝑐𝑥𝑥
𝑐𝑐𝑦𝑦
1
0
𝑅𝑅
0
0𝑇𝑇3
0
𝑋𝑋𝑤𝑤
𝑇𝑇 𝑌𝑌𝑤𝑤
1 𝑍𝑍𝑤𝑤
1
 SLAM(Simultaneous
Localization and Mapping)
◦ 주로 로보틱스 분야에서 오래동안 연구되어온 분야로서 미지의 공간에서 맵(map)을
생성하면서, 동시에 자신(로봇)의 위치를 파악하는 방법.
◦ Localization: 만일 눈 앞의 하나라도 아는 객체가 있으면 자신의 위치를 쉽게 파악할
수 있음.
◦ Mapping: 자신의 위치를 알고 있다면 눈 앞의 낯선 객체들의 위치를 상대적으로 쉽게
알 수 있음.
 SLAM은
다양한 센서를 이용하여 이루어질 수 있는데, 그 중 카메라 영상
을 이용한 SLAM이 Visual SLAM 임
 특히 단일(single) 카메라를 이용한 경우를 mono SLAM
◦ 영국 임페리얼 칼리지의 Andrew Davison이 대표적인 연구자임
.(http://www.doc.ic.ac.uk/~ajd)
◦ Richard Newcombe 은 그의 제자로 MSR Cambridge와 함께 KinectFusion을 개발함.
 기존
Visual SLAM
◦ 영상에서의 특징점 매칭을 통해 카메라의 위치를 추적하고, 특징점을 이용해 3차원
맵을 생성함.
◦ 그런데 특징점 매칭 및 맵 갱신이 모든 영상 프레임에 대해서 이루어지기 때문에 처리
속도가 느림. 속도 저하로 인해 알고리즘의 정밀도도 낮아짐.
 PTAM
(Parallel Tracking and Mapping)
◦ 키프레임(key frame)을 이용한 Visual SLAM 기술.
◦ 모든 카메라 영상을 저장하면 용량이 너무 커지기 때문에 변화가 큰 장면이나 일정 시
간 간격으로만 영상을 저장.
Paper: J. Klein and D. Murray, "Parallel Tracking and Mapping for
Small AR Workspaces," ISMAR'07. (best paper prize)
Author: http://www.robots.ox.ac.uk/~gk/ (Georg Klein)
Source code: http://www.robots.ox.ac.uk/~gk/PTAM/
Manual:
http://www.robots.ox.ac.uk/~bob/software/ptamm/manual.pdf
Project: http://ewokrampage.wordpress.com/
 Multi
thread
◦ PTAM에서는 카메라의 위치를 추적하는 tracking 부분과 특징맵을 생성하는
mapping 부분을 서로 분리시켜서 별도의 쓰레드(thread)로 parallel하게 실행함.
 Tracking
과 Mapping 사이의 종속성을 없애고 실시간성과 정확도를 동
시에 만족시킬 수 있는 방법
◦ 카메라 tracking은 비교적으로 연산로드가 적기 때문에 모든 영상프레임에 적용
하여 실시간성을 보장.
◦ 맵 갱신은 주요 키프레임에만 적용하되 시간이 오래 걸리더라도 정밀한 알고리
즘을 사용하여 정확도를 높임.
 PTAM
맵 구성
◦ 키프레임 이미지 저장
 4단계 크기의 그레이스케일 이미지 피라미드 (640x480 -> 80x60)
 각 피라미드는 8x8 이미지 패치로 구성
◦ 각 키프레임별로 이미지-월드 좌표계 자세 저장
◦ 키프레임 이미지에서 추출한 특징점들의 3차원 좌표 저장
 특징점은 FAST (Features from accelerated segment test) corner detector로 구성됨
 특징맵
정보와 입력 영상을 매칭하여 카메라의 자세를 실시간으로 추적
◦ 1. 모션 모델(decaying velocity model)로부터 가상 카메라의 초기 자세를 예측
 예비 카메라 자세를 기준으로 특징점/패치를 프로젝션
◦ 2. 가상 카메라와 실제 카메라 이미지간의 패치 유사성 계산
 FAST corner 위치를 기준으로 이미지 패치 사이의 SSD (Sum of Squared Difference) 수행
◦ 3. 초기 가상 카메라 자세를 갱신함
 찾아진 매칭쌍들에 대해 reprojection 오차를 최소화시키도록 가상 카메라의 자세를 갱신
 단계적으로, 적은수 (50개)의 특징점에 대해서 coarsest-scale 매칭
 그 다음 많은 수 (1000개)의 특정점을 reprojection 하여 fine-scale 매칭
 PTAM의
매핑(mapping)
◦ Tracking 모듈에서 제공하는 키프레임 이미지들을 맵에 추가하면서 3차원 특징맵을
생성해 나감.
◦ PTAM의 매핑 단계는 크게 1) 초기맵 생성단계와 2) 맵 확장/갱신 단계로 구분.
 초기맵
생성
◦ 사용자의 직접적인 도움을 통해 이루어지는데, 처음에 카메라를 고정시
킨 상태에서 시작 버튼을 누른 후 카메라를 평행하게 일정거리만큼 이동
시키고, 다시 종료 버튼을 누르면 시작 시점과 종료 시점의 두 이미지를
매칭하여 초기 맵을 생성함.
 시작 시점의 이미지로부터 FAST 코너 특징점을 추출한 후, 사용자가 카메라를
이동시키는 동안 이 특징점들을 계속해서 추적함.
 종료 시점에서 추적된 위치와 시작 시점의 위치에 대해 5-point 알고리즘을 적
용하여 특징점들의 3D 좌표를 계산해 냄.
 초기맵
생성
◦ 복원된 3D 좌표를 기준으로 RANSAC 알고리즘 이용하여 평면 방정식의
해를 구함
 초기 맵의 평면(중심 위치 및 회전)를 생성하고 가상객체를 증강함.
 이렇게 구성한 공간의 스케일(scale)은 결정할 수 없는 문제가 있는데, PTAM에
서는 스케일 문제를 해결하기 위해 사용자가 시작 시점과 종료 시점 사이에 이
동시킨 거리를 10cm라 가정하고 이에 맞추어 공간의 스케일을 결정함.
 Epipolar
geometry (등극선 기하)
◦ 3D 공간상의 한 점 P가 영상 A에서는 p에 투영되고, 영상 B에서는 p'에 투영됐다고 하
면 두 영상 좌표 p와 p' 사이에는 다음 관계를 만족하는 행렬이 항상 존재.
x ′T 𝐸𝐸x = 0
; epipolar constraint (또는 essential constraint)
3×3 행렬 E를 Essential Matrix
𝑋𝑋(또는 𝑋𝑋 ′ )
l = 𝐸𝐸 𝑇𝑇 x ′
c
x
x ≈ PX
𝑒𝑒
등극면
(epipolar plane)
등극선
(epipolar line)
l′ = 𝐸𝐸x
𝑒𝑒 ′
x ′ ≈ P′X ′
E = t xR
등극점
Ex = t × (Rx) (epipole)
c′
x ′T 𝐸𝐸x = 0
X ′T 𝐸𝐸X = X ′T t 𝑥𝑥 𝑅𝑅X ∵ 𝐸𝐸 = t 𝑥𝑥 𝑅𝑅
= X ′T � t × X ′ − t
∵ 𝑅𝑅X = X ′ − t
= X ′T � t × X ′ − t × t
=0
0
a × X = S × X = 𝑎𝑎3
−𝑎𝑎2
−𝑎𝑎3
0
𝑎𝑎1
𝑎𝑎2
−𝑎𝑎1
0
벡터 외적 곱은 skew-symmetric
matrix 와 벡터로 표현될 수 있음
𝑥𝑥
𝑦𝑦
𝑧𝑧
𝑎𝑎
0
−𝑐𝑐
𝑏𝑏 𝑥𝑥
= 𝑥𝑥 𝑦𝑦
𝑐𝑐 𝑦𝑦
0 𝑧𝑧
𝑥𝑥
= −𝑎𝑎𝑎𝑎 − 𝑏𝑏𝑏𝑏 𝑎𝑎𝑎𝑎 − 𝑐𝑐𝑐𝑐 𝑏𝑏𝑏𝑏 + 𝑐𝑐𝑐𝑐 𝑦𝑦
𝑧𝑧
= −𝑎𝑎𝑎𝑎𝑎𝑎 − 𝑏𝑏𝑏𝑏𝑏𝑏 + 𝑎𝑎𝑎𝑎𝑎𝑎 − 𝑐𝑐𝑐𝑐𝑐𝑐 + 𝑏𝑏𝑏𝑏𝑏𝑏 + 𝑐𝑐𝑐𝑐𝑐𝑐 = 0
X T SX
0
𝑧𝑧 −𝑎𝑎
−𝑏𝑏
카메라 좌표를 정규 이미지 좌표로 바꾸면
∴ X ′T 𝐸𝐸X = 0 → (Z ′ x ′ )T 𝐸𝐸Zx = 0 → x ′T 𝐸𝐸x = 0
3×3 행렬 E를 Essential Matrix -> 최소 5쌍의 매칭점이 필요
(회전변환 R이 3 자유도, 스케일을 무시한 평행이동 t가 2 자유도)
 이미지만
가지고는 스케일을 알 수 없음
◦ 물체와 카메라가 존재하는 공간 전체를 확대하거나 축소해도 동일한 이미지.
Z
Z
이미지 평면 사이의 기하학적 관계가 주어지고 (E), 두 이미지 평면상의 매칭
쌍 p, p'이 주어지면 이로부터 원래의 3D 공간좌표 P를 결정할 수 있음.
두
𝐗𝐗 = (𝑋𝑋, 𝑌𝑌, 𝑍𝑍)
x = (𝑥𝑥, 𝑦𝑦)
𝑥𝑥 ′
(𝑥𝑥 ′ , 𝑦𝑦 ′ )
− 𝑟𝑟1
𝐑𝐑 = − 𝑟𝑟2
− 𝑟𝑟3
𝑋𝑋 ′ 𝑟𝑟1 � 𝐗𝐗 − 𝑡𝑡
𝑟𝑟1 � x� − 𝑡𝑡/𝑍𝑍
=
= ′=
𝑍𝑍
𝑟𝑟3 � 𝐗𝐗 − 𝑡𝑡
𝑟𝑟3 � x� − 𝑡𝑡/𝑍𝑍
𝑟𝑟1 − 𝑥𝑥 ′ 𝑟𝑟3 � 𝑡𝑡
𝑍𝑍 =
𝑟𝑟1 − 𝑥𝑥 ′ 𝑟𝑟3 � x�
𝑟𝑟2 − 𝑦𝑦 ′ 𝑟𝑟3 � 𝑡𝑡
𝑍𝑍 =
𝑟𝑟2 − 𝑦𝑦 ′ 𝑟𝑟3 � x�
𝑥𝑥
𝑋𝑋
= 𝑍𝑍 𝑦𝑦
𝑌𝑌
−
−
−
 PTAM의
맵은 위와 같이 초기에는 두 개의 키프레임 이미지로만 구성되지
만 이후 카메라가 이동함에 따라 새로운 키프레임들이 추가됨으로써 맵이
확장/갱신됨
 다음의
3가지 조건을 모두 만족하는 경우, 키프레임을 맵에 추가함
◦ 1. 해당 프레임에서의 tracking 품질이 좋아야 함. Tracking 모듈에서 매칭된 특징점의
비율이 특정 임계값 이상.
◦ 2. 가장 최근에 맵에 추가된 영상프레임과 최소 20프레임 이상 시간 차이가 나야 함
◦ 3. 카메라와 기존 맵과의 최단거리가 특정 임계값 이상이여야 함: 기존 맵 키프레임과
중복성을 피하기 위함.
 새로운
맵 포인트 추가
◦ 현재 입력 이미지와 가장 유사 한(근거리에 있는) 기존 키프레임 간의 삼각화
(Triangulation)를 통해 특징점의 깊이값을 계산하고 맵에 추가함.
키프레임이 추가되면 PTAM의 매핑 모듈에서는 Bundle
adjustment라는 과정을 통해 맵을 갱신하고 최적화함
 새로운
◦ 맵 상의 3차원 특정점들을 키프레임 이미지들에 투영(projection)시킨 위치와, 실제 관
측된 이미지에서의 특징점들 위치의 차이 (reprojection error)를 최소화시키도록 3차
원 특징점의 위치 및 카메라의 자세를 최적화하는 과정.
◦ Local bundle adjustment: 속도 저하를 방지하기 위해서 가장 최근의 키프레임의 자세
와 주변 키프레임, 그리고 이에 해당하는 특징점들을 대상으로 최적화를 수행.
 PTAM은
 빠른
소규모 공간을 대상으로 함
카메라 움직임: 모션 블러
 고정된(not
 텍스처가
deformable) 공간에 적합한 방법
없는 경우, 반복적인 패턴에 대해서 트래킹 실패
 조명
문제
 맵이
기하정보를 반영하지 못함: 조명, 가림효과, 그림자 등
 PTAMM은
PTAM이 나온지 1년 후인 2008년도에 같은 연구실에서 발표
된 기술로 PTAM을 멀티 맵에서 동작할 수 있도록 확장한 버전임
◦ PTAMM은 기존의 PTAM이 소규모 공간에 제한된다는 문제를 해결함
◦ 하나의(single) 맵이 아닌 여러(multiple) 개의 맵을 독립적으로 생성하여 관리하는 방
법을 제안함.
◦ 맵 간의 상호 의존성이 없기 때문에 맵을 새로 추가하거나 삭제, 수정하는 것이 매우
자유로움.
[PTAMM] Parallel Tracking and Multiple Mapping
Paper: R. Castle, G. Klein, and D. Murray, "Video-rate
Localization in Multiple Maps for Wearable
Augmented Reality", ISWC'08. [PDF]
Author: http://www.robots.ox.ac.uk/~bob/
(Robert Castle)
Site:
http://www.robots.ox.ac.uk/~bob/software/index.
html
 J.
Klein and D. Murray, "Parallel Tracking and Mapping for Small
AR Workspaces," ISMAR'07
 http://en.wikipedia.org/wiki/Epipolar_geometry
 http://en.wikipedia.org/wiki/Essential_matrix
 http://darkpgmr.tistory.com
하태진
KAIST CTRI (문화기술 연구소)
Daejeon 305-701, S. Korea
[email protected]
WearableAR.org