Real-time 3D Reconstruction and Interaction Using a Moving...

KinectFusion : Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera

Copyright of figures and other materials in the paper belongs original authors.

Presented by Sanghyeok Lee

2015.10.09

Computer Graphics @ Korea University

Shahram Izadi et al.

Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST’ 11)

Yang, Daebong | 2015. 09.16 | # 2Computer Graphics @ Korea University

Contents

1. Motivation - Augmented Projection

2. Demo

3. Core Components

4. Dynamic Interaction

5. Limitations

6. Conclusion


1. Motivation – Augmented Projection

• Requirements : 카메라 트랙킹에 필요한 전처리(마커, 환경 맵, 사용자 힌트

등)를 하지 않을 것

주위 환경의 물체를 인지(=Recognition)할 것

어떠한 셋업도 안된 상태에서 잘 작동되게 할 것

실시간으로 작동 할 것


2. Demo

• KinectFusion

실시간 3D Reconstruction 시스템


3. Core Components


3. Core Components

a) Depth Map Conversion

• Vertex Map(Point Cloud) 생성

Kinect 카메라로 부터 얻은 Depth 정보와 카메라의 칼리브레이션 매트릭스를 이용하여, 카메라 좌표 계의 3D Vertices 계산

• Normal Map 생성

Vertex Map에서, 각각의 Vertex의 대응하는 Normal Vector 들을 계산

< Point cloud example >


3. Core Components

b) Camera Tracking using ICP

• 6-Dof Camera Pose Transform matrix

ICP 알고리즘을 수행하여, 이전 프레임에서 현재프레임 카메라의 이동과 회전을계산하여 카메라 트랙킹을 수행

카메라의 이동(Translation)과 회전(Rotation)을 바탕으로 전체 좌표 계(World coordinates)로의 변환행렬인 6-DoF Camera Pose(=T) 구성

ICP적용

Ti-1

Ti = ?

Ti-1

Ti

※ i : # of frame


What is ICP?

• Iterative-Closest Point

두 개의 Point Cloud를 정렬(=Align)하는 것이 목적인 알고리즘

Input

• 이전 프레임의 Vertex Map

• 현재 프레임의 Vertex Map 와 Normal Map

Energy Minimization

Output

• Energy Minimization을 통한 최적화 된 6-DoF Camera Pose Transform matrix

i : # of frameT : 6DoF Camera Pose Transform matrixu : pixel vg : vertex in global coordinatesng : normal in global coordinates


What is ICP? (2)

Red Line- 이전 프레임의 Vertex map에 대한 SurfaceGreen Line- 현재 프레임의 Vertex map에 대한 Surface


3. Core Components

c) Volumetric Integration

• Volumetric Representation using truncated signed distance field

6-DOF camera pose 행렬을 이용하여 전체 좌표 계에서의 3D Vertices을 구한 후, Surface에 대한 truncated signed distance field(=tsdf)를 구함

tsdf(vg) =

(0,1] (outside of the surface)

0 (on the surface)

[-1,0) (inside the surfaces)

surface (zero-crossing)

inside

outsidesurface

※ vg : vertex in global coordinates


3. Core Components

d) Raycasting (3D Rendering)

• Raycasting

Image plane(=Output image)의 각 pixel에서 부터, Ray를 쏨

Ray를 따라, Voxel을 통과하다가, 처음으로 tsdf의 부호가 바뀌는 voxel을 찾아, Surface의 intersection point를 계산하여 Rendering 수행

inside

outsidesurface

Intersection point


• Object Segmentation


Object Segmentation


• Geometry-aware Augmented Reality


Geometry-aware Augmented Reality


5. Limitations

• Voxel-grid의 size로 인한 Scene Size의 대한 제한이 있음

• 변형이 일어나는 물체 (말랑말랑한 물체) 의 경우, 변형을 인지하지 못함

• Kinect Camera 로부터 너무 먼 대상의 경우, 표면이제대로 검출 되지 않음

• 태양광으로 인해, 야외에서 작동 하지 않음

• 그래픽 카드의 메모리 사용량이 많음


6. Conclusion

• 실시간 Surface Reconstruction 시스템 구현

• 구멍 없는, 밀도 높은 Surface 생성

• 다양한 실내 Scene에 적용 가능

• GPU 구현을 통해, 실시간의 성능을 달성

Real-time 3D Reconstruction and Interaction Using a Moving...

Documents

Transcript of Real-time 3D Reconstruction and Interaction Using a Moving...