Using Visual and Spatial Cues to Represent Social Contacts...

Using Visual and Spatial Cues to Represent Social Contacts in AR (Augmented Reality)

Alaeddin Nassani et al.Siggraph Asia Symposium on Mobile Graphics & Interactive Application, 2017

Copyright of figures and other materials in the paper belongs original authors.

Presented by Min-Gyu Kim

2019. 01. 03

Computer Graphics @ Korea University

Min-Gyu Kim | 2019. 01. 03 | # 2Computer Graphics @ Korea University

VR? AR?

• VR (Virtual Reality) : experiencing fake world as real world

• HMD (Head Mounted Display)

• AR (Augmented reality)


VR? AR?

• Entertainment

▪ Game

▪ Movie, 360 Video

▪ Travel

▪ Exhibition

• Education

▪ Design, Study

▪ Simulation

• Medicine

▪ Operation

▪ Education

▪ Simulation


Abstract

• AR(Augmented Reality) System 사용성 증가

▪ 일반적인 VR System이 가지는 한계와 복잡성이 주 원인

▪ AR System : Mobile VR, Google Glass, Microsoft HoloLens …


Abstract

• Social System 중심의 연구 부재와 위치 기반 시각화 중심 연구

▪ 체험하는 사용자의 사회적 관계를 고려 X

• 사용자 중심 Social System 설계 및 AR 기반 Social Contacts 제공

▪ Social Contacts : 개인 및 그룹 간의 사회적 상호 작용


1. Introduction (1/4)

• AR(Augmented Reality)을 체험할 수 있는 시스템 개발 및 상용화 준비

▪ Microsoft, Facebook, Apple, Samsung? …

▪ VR 체험하기 위한 HMD 수요, 공간적 문제로 인한 AR 시스템 접근이 편리

• 소셜 네트워크 연결을 통해 사용자간 정보 공유 및 상호작용 연구 진행

Facebook’s Social VR (Oculus Connect 2016)


Facebook’s Social VR



• HMD를 착용하는 것이 아닌 간단한 착용 식 AR 디스플레이를활용해 Social VR을 체험하도록 연구가 진행

• 이전엔 모바일, 휴대용 AR 시스템을 사용하여 소셜 네트워크를 사용

Presslite’s Twitter 360 [Presslite, 2009] Junaio Glue image recognition technology for augmented reality AR [Junaio 2, 2010]



• Live Video Streaming, 원격 협업 시스템 등 AR 시스템 기술 사용

Collaborative Augmented Reality.[Mark Billinghurst(University of Washington) and HirokazuKato. Communication of ths ACM, 2002.]

Augmented reality annotation for Social video sharing.[Alaeddin Nassani (University of Canterbury) et al. SA, 2016.]

모바일을 활용한 AR 시스템의 한계점은단순한 텍스쳐, 이미지 전달 인터페이스와 사용자의 시야를 고려 X



• 실제 공간과 사물을 활용한 Social AR 협업 상호작용 시스템

• 이러한 시스템과 연구들의 한계는 한정된 인원 및 같은 환경(카메라배치, AR 디스플레이) 구성

Holoportation: Virtual 3D Teleportation in Real-Time [Sergio Orts-Escolano (Microsoft Research) et al. UIST, 2016.]


Contribution

• 사용자의 Social Network 정보를 AR 환경에 적용한 새로운 시스템

▪ 사용자의 소셜 네트워크에서 많은 양의 연락처 및 사용자 정보들을시각적으로 표시 및 관리하기 위한 연구가 필요

• Microsoft HoloLens 와 같은 wearable AR 디스플레이를 착용해사용자 Social Network 정보를 항상 표현하고 상호작용 가능

▪ Education, Simulation, Exhibition, Operation … 에 활용


About Microsoft Hololens

• 현실 화면에 실제 객체의 스캔 된 3D 이미지를 출력 및 조작 가능한혼합 현실(Mixed Reality, MR) 시스템 또는 장비

▪ 완전한 가상 화면을 보여주는 가상현실(VR)이나 실제 화면에 덧씌우는증강현실(AR) 과는 다름


About Microsoft Hololens

Related Work


• 가상 회의 및 협업을 위한 Remote Proxemics 연구

▪ 같은 공간이 아닌 사용자와 협업을 위해 Eery Space 사용

▪ 환경 및 사용자 간 상호 작용하기 위해 Social bubbles 시스템을 적용

2. Related Work

2.1 사용자 위치 기반 Social Network 연구

Remote Proxemics. [Mauricio Sousa et al. Collaboration Meets Interactive Spaces, 2016.]


2. Related Work

2.2 3D Avatar를 활용한 Social Network 연구 (1/2)

• 배경 환경 및 사용자를 나타내는 Avatar 표현에 따른 Presence 연구

▪ 현실적인 3D Avatar 표현이 협업 및 공동 작업에 효율을 나타냄을 확인

Effects of Avatar and Background Representation Forms to Co-Presence in Mixed Reality (MR) Tele-conference System.[Dongsik Jo et al. SIGGRAPH ASIA, 2016.]

Effects of Virtual Human Appearance Fidelity on Emotion Contagion in Affective Inter-Personal Simulations.[Matias Volante et al. TVCG, 2016.]


2. Related Work

2.2 3D Avatar를 활용한 Social Network 연구 (2/2)

• 다른 사용자들과의 Social 환경 위한 Face-to-Face 상호작용 연구

▪ 기존의 사용자를 2D 이미지로 표현하는 원격 화상 회의 시스템인Skype, Cisco TelePresence TX9000 와 달리 3D 표현 연구

▪ Kinect를 활용하여 다른 사용자를 3D 표현

• 이외 High Fidelity, Itsme3D 등의 기업들은 사용자들이 3D Virtual Avatar 로 표현되는 Social VR 환경을 구축 중

Immersive 3D telepresence. [Henry Fuchs, at al. Computer, 2014.]


• AR 환경에서 이미지, 객체 등 많은 정보를 관리하는 방법이 필요

Information filtering for mobile augmented reality. [Simon Julier et al. ISAR, 2002.]

2. Related Work

2.3 AR Interface 연구 (1/2)

User interface management techniques for collaborative mobile augmented reality. [Tobias Hollere et al. Computer & Graphics, 2001.]


• AR 환경에서 주로 사용되는 UI 인 Label 정보를 관리하는 연구

▪ L : Label, x : Screen position, α : Weight, P : Penalty factor

Image-driven view management for augmented reality browsers. [Raphael Grassetet al. ISMAR(International Symposium on Mixed and Augmented Reality), 2012.]

2. Related Work

2.3 AR Interface 연구 (2/2)

Filtering Using a Social Continuum & Implementation


3.1 Filtering Using a Social Continuum (1/2)

• 새로운 Social AR Interface는 시각적 및 가까운 단서를 사용해사용자의 Social Network 정보를 표시

• Visual fidelity

▪ 사용자의 친밀한 가족 및 친구는 현실적으로 보여줄 수 있음

• 현실적으로 표현하는 것이 AR, VR 환경에서 몰입, 효율을 높임

• Proximity

▪ 사회적 환경에서 사람 간의 거리는 친밀감 수준에 따라 다름을 활용

• Visual fidelity + Proximity 를 통해 사용자 주변의 실제 세계에사람들의 가상 표현을 배치

Collaboration Meets Interactive Spaces. [Craig Anslow et al. Collaboration Meets Interactive Spaces 1st, 2017.]


3.1 Filtering Using a Social Continuum (2/2)

• 원하는 사람에게 효율적으로 정보 공유와 관심을 기울이기 쉬움

▪ 실시간으로 변화되는 가상의 상황과 협업에 적합

Figure 2 : Proxemic & Visual Fidelity Filtering of Avatars


3.2 Implementation (1/3)

• Social Continuum metaphor 를 적용한 AR 환경에 대한 실험 및분석을 위해 HoloLens의 프로토타입을 개발

▪ Unity 3D, HoloToolkit-Unity 를 활용해 환경 구축,

▪ Avatar는 Morph3D 사용

Unity3D + HoloToolkit SDK Morph3D



• 프로토 타입은 HoloLens Spatial Mapping 기능을 사용해사용자의 초기 위치를 중심으로 동심원 (Circle Manager)을 배치

▪ Circle 에서 사용자의 Social Network 정보가 3D Avatar, 2D Image, Bust image, emoji 로 표시 (Friend Manager)

HoloLens Spatial Mapping



• Social Network 를 정렬하기 위해 사용자는 손동작 (탭, 드래그)를사용해 Avatar 를 조작하여 실시간으로 업데이트 가능하게 함

▪ 이때 각 Circle 에 알맞은 Avatar 의 모습으로 변형

Figure 3 : System Components

Focus Groups & Results


4.1 Focus Groups

• Focus Group

▪ 8~12 명으로 구성된 집단과 깊이 있는 상호작용적인 인터뷰를수반하는 평가 기법

• 해당 조직이나 그룹에 관련되어 있는 사람들이나 논의되는 주제에관심 있는 사람들로 구성

• 본 연구에서 11명의 참가자와 함께 두 개의 포커스 그룹으로 진행

▪ 첫 번째 그룹 : AR / VR 연구를 담당하는 6명 대학원생

▪ 두 번째 그룹 : AR / VR 경험이 없는 그래픽 디자이너 및 UX 디자이너

• 실험은 User participatory design 과 Usability Test 로 2번 진행


4.1 Focus Groups

4.1.1 User Participatory Design (1/2)

• Focus Group은 AR 환경에서 Social Network 를 시각화 하는 방법에대한 토론 및 Brainstorming 세션으로 시작

▪ Brainstorming : 창의적인 아이디어 생산을 위한 학습도구 및 회의 기법

• 프로토 타입 시스템을 시연하지 않고, 다음의 3가지에 대한 질문을통해 피드백을 얻기로 함

▪ T1 : Imagine the future of social networks in AR

▪ T2 : Map social group in terms of physical distance

▪ T3 : Map social groups in terms of visual fidelity


• Task 1 : 참가자들에게 AR 에서 Social Network 를 어떻게 표현할것인지, 설명 및 그림으로 표현 후 그룹에서 발표 및 피드백 교환

• Task 2 : 사용자의 현재 위치에서 물리적인 거리 측면으로 네 개의집단을 놓아보도록 지시

▪ Intimate, Friend, Acquaintance, Stranger

• Task 3 : 참가자들에게 4 가지 다른 종류의 Visual fidelity를 Social groups으로 대체하도록 함

▪ Visual fidelity : 3D avatar, 2D image, Busy image, Emoji

▪ Social Groups : Intimate, Friend, Acquaintance, Stranger

4.1 Focus Groups



• 프토로 타입 구현을 시연하고 참가자들에게 다음 네 가지 설문 진행

▪ Baseline (B)

▪ Proximity (P)

• the Intimate group was the closest, then Friends, then Acquaintance, then Strangers

▪ Visual Fidelity (F)

▪ Combined (C)

4.1 Focus Groups

4.1.2 Usability Test (1/3)

Figure 4 : Four conditions of representing social contacts as seen through HoloLens; Baseline(B): same distance and visual, Proximity(P): different distance, Visual Fidelity(V): different visual, and Combined(C): different distance and visual


• 참가자는 각 조건을 무작위로 체험하고 각 조건에 대하여 System Usability Scale (SUS) 설문 진행

▪ Baseline (B) Proximity (P) Visual Fidelity (F) Combined (C)

▪ SUS : Usability 에 대한 주관적인 평가를 쉽게 확인하기 위해 10가지항목으로 설문지를 구성

• 개별 항목에 대한 점수는 의미 없고 SUS 합계에 의미 부여

4.1 Focus Groups


SUS-A quick and dirty usability scale. [John Brooke. Usability evaluation in industry 189, 1996.]


• 마지막으로 각 참가자에게 주관적 설문 진행

▪ Likert scale of 1 to 7 (1=Not very natural/easy and 7=Very natural/easy )

▪ SQ 1 : How natural was the mapping of proximity to social relationship?

▪ SQ 2 : How natural was the mapping of visual fidelity to social relationship?

▪ SQ 3 : How easy was it to distinguish between the different avatar types?

4.1 Focus Groups



• 11명의 참가자

▪ four female, aged between 16 and 41 years old, M=29, SD=5.89

▪ 대부분 매일 Social Network (페북, 잉스타, Snapchat) 사용 (85%)

▪ 월간 기준으로 AR / VR 헤드셋(HoloLens, HTC Vive) 사용 (60%)

• Task 1번에서 AR 플랫폼에서 Social Network 표현에 대하여 크게반복되는 두 가지의 주제가 존재함

▪ Virtual Avatars : 공간적 단서를 활용해 주변의 친구를 표현

• 사용자는 다른 Avatar와 상호작용을 통해 정보 공유 및Communication 가능

▪ Miniatures : 사용자 중심으로 미니어처 Avatar(구 또는 Bubble)를 표시

4.2 Results



• Task 2번에서 사용자의 현재 위치에서 물리적인 거리 측면으로 네개의 집단을 놓아보도록 지시에 대한 결과

▪ 해당 결과는 사용자들이 친밀감과 Proximity을 연관시켰다는 것을 확인

4.2 Results


Figure 5 : Visual fidelity categorization for social contacts


• Task 3번인 4 가지 다른 종류의 Visual fidelity를 Social groups으로대체한 결과

▪ 친밀도에 비례하여 Visual 적으로 표현하는 사례의 연구와 비교적 같음

4.2 Results


Figure 6 : Proximity categorization for social contacts


• SUS Score 결과 B(69), V(69), C(72)로 “Good”, B(67)로 “OK”

▪ Baseline (B) Proximity (P) Visual Fidelity (F) Combined (C)

▪ Proximity와 Visual Fidelity 조건을 결합한 Combined 조건이 비교적사용하기에 편리함을 확인

4.2 Results

4.2.2 Usability (1/2)


• 주관적 설문지 SQ1, SQ2, SQ3 각각에 대하여 Friedman Test 진행

▪ Friedman Test : 비모수통계기법, 대응되는 두 집단 이상의 순위 비교

▪ 결과적으로 유의미한 차이가 있음을 확인

4.2 Results

4.2.2 Usability (2/2)

Figure 7 : Subjective questions results by condition by question.

a : 행의 수 b : 열의 수 𝑅𝑗 : j 번째 열의 순위 합

SQ 1: 𝑋2 = 18.407, 𝑝 < 0.001SQ 2: 𝑋2 = 21.194, 𝑝 < 0.001SQ 3: 𝑋2 = 20.967, 𝑝 < 0.001

Discussion & Conclusion


5. Discussion (1/2)

• 사용자 연구결과 AR 환경에서 필터가 없는 것 보다 Social 사용자를표현해줄 필터를 선호함을 확인

▪ 순위 결과를 기반으로 가장 선호되는 Visual Fidelity 및 Combined 이후 Proximity, Baseline 순

▪ 참가자들은 Visual Fidelity 가 Avatar를 구별하는데 가장 쉽다고 판단

Figure 8 : Ranking (4=highest, 1=lowest)) Whiskers indicate standard error.


5. Discussion (2/2)

• 실험을 진행한 몇 참가자의 공통된 의견에 대한 User Interface 개선

▪ Avatar를 구별하기 힘들며, 같은 거리에 존재하는 Avatar에 대한정보까지 둘러봐야 되는 문제가 존재

▪ Circle 거리가 너무 좁아 Avatar에 대한 거리감이 오히려 부작용

▪ 표현되는 Avatar에 대한 사용자 정보가 너무 부족

• 전반적으로 사용자가 자신과의 관계에 따라 Social Network 필터링하는 것을 선호


6. Conclusion

• 본 연구는 착용 가능한 AR 인터페이스에서 이전의 시각적 정보와위치 정보만 제공하는 것이 아닌 사용자의 Social Network 를 표현

▪ Social Network 의 사용자 정보들을 Avatar로 표현

▪ 포커스 그룹에서 다양한 방법에 대한 피드백 받아 표현방법을 고려

• HoloLens 디스플레이를 통해 AR Interface 구현 및 실험 분석 진행

• 사용자 Social Network 정보 표현은 향후 상호작용 연구로 발전되어AR과 VR을 결합한 Social VR 환경에 유용하게 사용됨을 확인


7. Limitations

• 본 연구에서 제안하는 AR 환경을 제공하기 위해 HoloLens를 사용

▪ 사용된 모델은 개발자 모델 (335만원 이상)

• 실제 사용자 모델을 사용하는 것이 아닌 가상의 Avatar를 사용

▪ 3D 캐릭터와 실제 캡쳐 된 사용자 모델을 활용한 VR 연구에서 캡쳐 된사용자 모델을 선호


Appendix 1

• Overlap on the importance map

• Overlap on the edge map

• Leader line length


Appendix 2

• 비모수 통계 방법을 사용하는 경우

▪ Transformation으로 해결이 안될 때

▪ 표본수가 너무 적어 분포를 알 수 없는 경우

▪ 집단들의 표본수가 서로 크게 다를 경우

▪ 변수가 명칭 혹은 순서 척도일 때

▪ 중앙값의 비교가 목적

▪ 최소한의 가정. 즉 등분산성, 정규분포 등의 가정을 만족 못할 때


Appendix 3

Using Visual and Spatial Cues to Represent Social Contacts...

Documents

Transcript of Using Visual and Spatial Cues to Represent Social Contacts...