Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and...
Transcript of Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and...
![Page 1: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/1.jpg)
August 2005
Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Michael Rohs
© ETH Zürich | Taskforce Kommunikation
![Page 2: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/2.jpg)
2August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Thema der DissertationVerknüpfung von Informationsdiensten mit physischen Objekten
Konzepte und Techniken zur Interaktionmobile Geräte und manipulativeBenutzungsschnittstellen
Kamera-Handys und -PDAs als mobile Sensoren für zweidimensionale visuelle Marker
Marker als Einstiegspunkte für die InteraktionErkennung von Codewert, Fokuspunkt und Orientierung in Echtzeitgrafisch überlagertes Kamerabild
Kamera-Handys als Interaktionsinstrumente für Objekte der realen Welt
![Page 3: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/3.jpg)
3August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Auswahl des Informationsaspektes durch Rotation
Objektauswahl durch Fokuspunkt
Marker-basierte Interaktion mit Printmedien
Aktueller Wetter- und Schneebericht für die SchweizKombination von anvisiertem Objekt und Rotation
![Page 4: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/4.jpg)
4August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Übersicht
EinführungMarker-basierte Interaktion
Verwandte Arbeiten
Beiträge der DissertationVisual-Code-System
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Fazit
![Page 5: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/5.jpg)
5August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Manipulative Benutzungsschnittstellen (embodied user interfaces)
Quelle: Bartlett: Rock ’n’ Scroll is Here to Stay, 2000
Quelle: Rekimoto: Tilting Operationsfor Small Screen Interfaces, 1996
Physische Manipulationen eines mobilen Gerätes als Eingabemöglichkeit
Gesten: bewegen, neigen, schütteln, klopfen
Sensoren: Beschleunigung, Neigung, Druck
CharakteristikaVerkörperung
Manipulationen haben Analogien in der realen Welt
Koinzidenz von Ein- und Ausgabe
![Page 6: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/6.jpg)
6August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Verwandte ArbeitenFitzmaurize et al. (1993): Chameleon
in der Hand gehaltenes Display als Fenster in dreidimensionalen Informationsraum
„Eye-in-the-hand“ Navigationsmetapher- Ausgabe abhängig von der Position des Displays
Quelle: Fitzmaurice, Zhai, Chignell: Virtual Reality for Palmtop Computers, 1993
![Page 7: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/7.jpg)
7August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Verwandte Arbeiten
Rekimoto (1995): Magnifying Glass Approach
die Sicht auf die reale Welt um Information erweitern
in der Hand gehaltenes Display mit Kamera als Alternative zu HMDs
- kürzere Bearbeitungszeiten für Aufgaben
„NaviCam“ Video-see-through AR- Kamera und Display an UNIX
Workstation angeschlossen- einfache farbcodierte Marker- rein textuelle Ausgabe ohne
Ausrichtung am KamerabildQuelle: Rekimoto: The Magnifying Glass Approach to Augmented Reality Systems, 1995
![Page 8: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/8.jpg)
8August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Verwandte ArbeitenHansen et al. (CHI 2005): Mixed Interaction Spaces
mixed: physischer Raum zur Interaktion in virtuellem Raum
Erkennung eines Kreises als Interaktionspunkt
Erkennung der Position des Gerätes im Interaktionsraum- Position und Grösse des Kreises im Kamerabild
Quelle: Hansen, Eriksson, Lykke-Olesen: Mixed Interaction Space – Designing for Camera Based Interaction with Mobile Devices, CHI 2005
![Page 9: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/9.jpg)
9August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Marker-basierte Interaktion
Benutzung visueller Marker zurIdentifizierung physischer Objekte
Ermittlung des Fokuspunktes und der Orientierung des Gerätes
Kombination von physischer Verknüpfung mit manipulativer Interaktion
Semantik der Interaktion als Funktion von Objekt und einer oder mehrerer Gesten
Mobiles Gerät als „symbolischen Lupe“manipulative Interaktion mit dem mobilen Gerät
optisches Zoomen versus Zoomen im Informationsraum
![Page 10: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/10.jpg)
10August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beiträge der Dissertation
Entry-Points-Konzept
Visual Codes
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Interaktion mit öffentlichen Grossbildschirmen
Annotierungstechniken für physische Objekte
Produktverpackungen als tangible user interfaces und Medien für handheld augmented reality
![Page 11: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/11.jpg)
11August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beiträge der Dissertation
Entry-Points-Konzept
Visual Codes
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Interaktion mit öffentlichen Grossbildschirmen
Annotierungstechniken für physische Objekte
Produktverpackungen als tangible user interfaces und Medien für handheld augmented reality
![Page 12: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/12.jpg)
12August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beiträge der Dissertation
Entry-Points-Konzept
Visual Codes
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Interaktion mit öffentlichen Grossbildschirmen
Annotierungstechniken für physische Objekte
Produktverpackungen als tangible user interfaces und Medien für handheld augmented reality
![Page 13: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/13.jpg)
13August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Für gering-auflösende Kameras160 x 120 Pixel im Suchermoduserfordert grobe Code-Strukturen
Beliebige Orientierung durch Kamera-Mobilität
Effizienter ErkennungsalgorithmusErkennung in Echtzeit im Suchermodus
(10,0)
Orientier-ungsbalken
Code-Elemente(Kapazität: 83 Bits)
(0,0)
(0,10)
Speicherkapazität76, 96 und 284 Bits
Fehlererkennung durch lineare Codes: (83,76,3), (103,96,3) und Reed-Solomon-Code
Erkennung mehrerer Codes in einem einzelnen Bild
Darstellung auf verschiedenen Medien
Druckelektronische BildschirmeProjektion
Visual Codes für Kamera-Handys
![Page 14: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/14.jpg)
14August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Neigung
Visual-Code-ParameterRotation, Neigung und DistanzCode-KoordinatensystemKeine Kamera-Kalibrierung erforderlichEinsetzbar für manipulativeBenutzungsschnittstellen
Distanz Code-Koordinaten-
system
Rotation x
y
(0,0)
(10,0)
(0,10)
![Page 15: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/15.jpg)
15August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Code-KoordinatensystemJeder Visual Code erzeugt ein Koordinatensystem
invariant bezüglich projektiver Verzerrung durch unterschiedliche Orientierung des Codes im Bild
Projektive Abbildung (planare Homographie) Konvertierung von Code-Koordinaten in Bild-KoordinatenPoint2D GetImageCoords(
Point2D codeCoords)
Konvertierung von Bild-Koordinatenin Code-KoordinatenPoint2D GetCodeCoords(
Point2D imageCoords)
(0, 0) (10, 0)
(0, 10)
(17, 18)
x
y
(0,0)(10,0)
(0,10)
![Page 16: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/16.jpg)
16August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
BewegungserkennungOptische Erkennung der Bewegung des Gerätes relativ zum Hintergrund
kontinuierliches Scrollen des Bildschirminhaltsdirekte Manipulation von Grossbildschirmen
new image
old image
∆α
old image
new image
∆x
∆y
![Page 17: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/17.jpg)
17August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beiträge der Dissertation
Entry-Points-Konzept
Visual Codes
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Interaktion mit öffentlichen Grossbildschirmen
Annotierungstechniken für physische Objekte
Produktverpackungen als tangible user interfaces und Medien für handheld augmented reality
![Page 18: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/18.jpg)
18August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Framework für Marker-basierte Interaktion
Interaktionsprimitivephysische Gesten bilden ein Vokabular für manipulative Interaktion
Kombinierbarkeit, um Flexibilität und Ausdrucksstärke zu erhöhen
Interaktionshinweiseweisen auf anwendbare Interaktionsprimitive hin
führen den Benutzer durch Interaktionssequenzen
Interaktionsmodell und Beschreibungssprachedefiniert diskrete Gerätepositionen und -orientierungen
verknüpft diese mit bestimmten Aktionen
![Page 19: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/19.jpg)
19August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Tram-HaltestelleOhne Rotation: Wartezeit für anvisierte Tramlinie
Mit Rotation: Ankunftszeiten an den nächsten Haltestellen
Icons zeigen Interaktionsmöglichkeiten an
Destinations:ETH: 14:35Fluntern: 14:42Zoo: 14:50Next tram in
5 minutes
![Page 20: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/20.jpg)
20August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Interaktionsprimitive
Statische Interaktionsprimitive
Dynamische Sweep-Interaktionsprimitive
Dynamische Relativbewegungs-Interaktionsprimitive
![Page 21: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/21.jpg)
21August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Statische Interaktionsprimitive
(Icon hat hervorgehobene Tastatur)12 (Tastatur) + 5 (Joystick)keystroke
(Icon hat hervorgehobenen Bildschirm)nur zeitlich begrenztstay
8distance
5 (+4 für NW,NE,SW,SE)tilting
7rotation
implizitAnzahl von Infor-mationsflächenpointing
InteraktionshinweisEingabe-kapazität
Interaktions-primitiv
![Page 22: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/22.jpg)
22August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Dynamische Sweep-Interaktionsprimitive
Bewegung der Kamera über den Code (Sweep)für schnelle Eingabe einer einzelnen Aktion
Interaktionshinweise neben dem Code aufgedruckt
4diagonale Bewegung
4horizontale oder vertikale Bewegung
InteraktionshinweisEingabe-kapazität
Dynamisches Interaktionsprimitiv
option 4
option 3
option 1
option 2
option 2
option 1
option 2option 1
option 1 option 2
option 3 option 4
option 1
option 2
option 1
option 2
![Page 23: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/23.jpg)
23August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Dynamische Relativbewegungs-Interaktionsprimitive
Erkennung der Relativbewegung: (x,y,θ)für kontinuierliche Eingabe und direkte Manipulation
Drücken und Halten des Joystickbuttons als „Kupplung“
2 (continuous)relative Rotation
4 (continuous)relative lineare Bewegung
InteraktionshinweisEingabekapazitätDynamisches Interaktionsprimitiv
![Page 24: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/24.jpg)
24August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Kombination von Interaktionsprimitiven
Kombination statischer InteraktionsprimitiveAuswahl der geeigneten Aktion durch den Benutzer
Kombination statischer & dynamischer Interaktionsprimitive„Point & Drag“-Transaktionen
distance & keystrokerotation & distance
distance & stayrotation & tilting
tilting & keystrokerotation & stay
Interakt.-hinweisKombinationInteraktionshinweisKombination
![Page 25: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/25.jpg)
25August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Interaktionsmodell
Definiert, wie Informationen und Aktionen in Visual-Code-Image-Maps betrachtet bzw. ausgelöst werden können
Zustandsloses Modellaktuelle Position und Orientierung bestimmt das Resultatquasi-modes für Relativbewegung
Regeln bilden Position und Orientierung auf Aktionen ab
Bedingungen auf EingabeparameternResultate werden aktiviert, wenn Bedingungen erfüllt sind
BEGIN RuleIF 30º < rotation < 90º THEN
showInformation(“Hello World!”);END
END Rule
![Page 26: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/26.jpg)
26August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Spezifikationssprache
constraints: distance and rotation
iconic interaction cues
textual output
elliptical area, extent in codecoordinate system
<Area name="">
<Ellipse coordinateSystem="0x123128abcabc">
<Point x="14.42" y="5.26"/>
<Point x="28.33" y="11.49"/>
</Ellipse>
...
<Rule name="">
<Distance start="0" end="70"/>
<Rotation start="15" end="90"/>
<Information>
<IconicCue name="RotationCW"/>
<IconicCue name="DistanceFarther"/>
<Line value="close, rotated left"/>
</Information>
</Rule>
</Area>
![Page 27: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/27.jpg)
27August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Benutzbarkeitsstudie
Individuelle Interaktionsprimitivetilting am schwierigsten
pointing, distance, stay am besten bewertet
Kombinationen von Interaktionsprimitiven5 Teilnehmer: einfachere Kombinationen mit weniger Kontrolle
- pointing & stay, pointing & keystroke
3 Teilnehmer: komplexere Kombinationen mit mehr Kontrolle- pointing & distance, pointing & rotation
„Information freezing“ Feature wesentlich
![Page 28: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/28.jpg)
28August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beiträge der Dissertation
Entry-Points-Konzept
Visual Codes
Framework für Marker-basierte Interaktion
Visual-Code-Widgets
Interaktion mit öffentlichen Grossbildschirmen
Annotierungstechniken für physische Objekte
Produktverpackungen als tangible user interfaces und Medien für handheld augmented reality
![Page 29: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/29.jpg)
29August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Visual-Code-Widgets für Marker-basierte Interaktion
Benutzungsschnittstellen-Elemente für Visual Codesvertical menus, pie menus, check boxes, radio buttons, sliders, dials, free-form input widgets
Bausteine für Anwendungen, die Ressourcen in der realen Welt integrieren
Zeitschriften, Türschilder, Plakate, elektronische Displays
Widgetslösen bestimmte Eingabeprobleme
definieren anwendungsübergreifende Interaktionsmechanismen
![Page 30: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/30.jpg)
30August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Beispielszenario: AussendienstSzenario
Aussendienstmitarbeiter trägt Kamera-Handy bei sichRaum bzw. Objekt vor Ort hat ein Visual-Code-Menümögliche Arbeitsschritte als Menüpunkte aufgeführtArbeiter selektiert entsprechenden Menüpunkt, um Arbeitsschritt zu dokumentieren
Durch Menüauswahl generierte DatenIdentifier, Index des MenüpunktesGeräte-ID, Zeitstempel
Automatisch generierte SMSSendemodus: sofortiges SendenSpeichermodus: Sammeln der Eingabe, späteres Senden
MachineCleaningMaintenanceRepairNeed assistance
![Page 31: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/31.jpg)
31August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Visual-Code-Widgets
Hintergrund-Ebeneeingebettet in Umgebung des Benutzersverteilte BenutzungsschnittstelleEinstiegspunkt für Interaktionimpliziert Semantik des Widgets
Overlay-EbeneKamera-Handy als „see-through tool“Typ und Layout im Codewert gespeichert
- unmittelbares Feedback- keine Verzögerung- keine initiale Kommunikation
handheld device
device screen: live camera image of
widget with graphicaloverlay (foreground
layer)
camera
backgroundmedium
visual code widget(background layer)
![Page 32: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/32.jpg)
32August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
CleaningMaintenanceRepairNeed assistance
Widget-Codierung
4 Einheiten im Code-Koordinatensystem
Code-Koordinaten
(12,5)
code value = 0xd141234567890abcdef
12-bit header0103...
3
tatsächlich im Headergespeicherte Werte
![Page 33: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/33.jpg)
33August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Cleaning
Maintenance
Repair
Need assistance
Vertikale Menüs
Menüabfotografieren
![Page 34: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/34.jpg)
34August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Excellent
Boring
Ok
See Ratings
More Info
Pie Menüs
Menüabfotografieren
![Page 35: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/35.jpg)
35August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Sliders und Dials
„Begrenztes“ Dateneingabe-Widgetvereinfachte Eingabe numerischer Daten in einem Bereich
Prozentangaben oder numerische GrenzenKontinuierliche oder diskrete Eingaben
75%50% 100%25%0%
980940960
1000920
(a) horizontal slider (b) dial
![Page 36: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/36.jpg)
36August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Fazit
Marker-basierte manipulative Interaktion für mobile Geräte ist ein vielseitig anwendbares Paradigma, um die physische mit der virtuellen Welt zu verbinden und einen kontextabhängigen Informationszugriff für mobile Benutzer zu ermöglichen.
![Page 37: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/37.jpg)
37August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
ZusammenfassungBeiträge der Dissertation und Publikationen
Visual CodesMichael Rohs. Real-World Interaction with Camera-Phones. UCS 2004.Michael Rohs and Beat Gfeller. Using Camera-Equipped Mobile Phones for Interacting with Real-World Objects. In: Advances in Pervasive Computing, 2004.
Framework für Marker-basierte InteraktionMichael Rohs and Philipp Zweifel. A Conceptual Framework forCamera Phone-Based Interaction Techniques. Pervasive 2005.
Visual-Code-WidgetsMichael Rohs. Visual Code Widgets for Marker-Based Interaction. IWSAWC 2005.
![Page 38: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/38.jpg)
38August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
ZusammenfassungBeiträge der Dissertation und Publikationen
Entry-Points-KonzeptMichael Rohs and Jürgen Bohn. Entry Points into a Smart Campus Environment – Overview of the ETHOC System. IWSAWC 2003.
Interaktion mit öffentlichen GrossbildschirmenRafael Ballagas, Michael Rohs, and Jennifer G. Sheridan. Sweep and Point & Shoot: Phonecam-Based Interactions for Large Public Displays. CHI 2005 extended abstracts.Rafael Ballagas, Michael Rohs, Jennifer G. Sheridan, and Jan Borchers. BYOD: Bring Your Own Device. UbiComp 2004 Workshop on Ubiquitous Display Environments.
Annotierungstechniken für physische ObjekteMichael Rohs and Christof Roduner. Camera Phones with Pen Input as Annotation Devices. PERMID 2005.
![Page 39: Linking Physical and Virtual Worlds with Visual Markers and ...August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices 3 Auswahl des Informationsaspektes](https://reader036.fdocuments.in/reader036/viewer/2022071216/6048964184711f566705dd60/html5/thumbnails/39.jpg)
39August 2005 Linking Physical and Virtual Worlds with Visual Markers and Handheld Devices
Danke für Ihre Aufmerksamkeit!