Projekt XINU eXellent Interface for Nonhaptic Use Gerhard Zucker Stefan Hutter Charlotte Rösener...

Projekt XINU

eXellent Interface for Nonhaptic Use

Gerhard Zucker

Stefan Hutter

Charlotte Rösener

Sparkling Science Projekt SPA/02 – 53/XINU

xinu.ict.tuwien.ac.at 2

Übersicht

XINU Partner Motivation Grundlagen Konzept Demo Zeitplan

XINU Partner


Institut für ComputertechnikTechnische Universität Wien

www.ict.tuwien.ac.at

Projektleitung im Projekt XINU


Institut für Computertechnik, TU Wien

Prof. Dr. Grimm

ASIC Design

SystemC AMS

Mixed Analog Digital Design

Prof. Dr. Dietrich

Computer Technology

Communication for Automation

Psychoanalytic Modeling

Prof. Dr. Kaindl

Software Engineering

Requirements Engineering

User Interface Generation

Institutsvorstand


Institut für Computertechnik, TU Wien

2007 2008 first half 20090

5

10

15

20 1719

67

12

1

fertige Diplomarbeitenfertige Dissertationen

Wissenschaftliche ArbeitenAngestellte

2007 2008 first half 20090

10

20

30

40

50

60

70

11 11 11

47 49 51

Universitätsassistenten Projektassistenten

58 60 62


Schulzentrum Ungargasse (SZU)

Das sind fast 1000 Schülerinnen, 120 Lehrer und mehr als 40 Klassen.

Ist eine HTL, HAK, HASCH, Fachschule und ein Schülerheim.

Ist die einzige Integrations-BHS in Österreich.

Hier werden über 200 besondere Schülerinnen therapiert und ausgebildet.


Integration im Unterricht

Projektrichtlinien Schüler: Mitarbeit auf freiwilliger Basis Verhaltensvereinbarung Ferialjobs Exkursionen Freies Arbeiten Forschender Unterricht Freie Zeiteinteilung Zusatzqualifikation

Motivation


Motivation

Neues Konzept für barrierefreies Leben Wo Experten zusammenkommen

Forscher als Experten der Technologien Schüler als Experten für Handhabung Schüler helfen ihren Mitschülern Lehrer als Brücke zweier Welten (Forschung

und Schule) XINU – Ein anwendungsorientiertes Projekt


Die Herausforderung

Die derzeit üblich Kommunikation mit Computersystemen ist meist textbasierend und einseitig.

Sie setzt gesunde taktile Fähigkeiten der Finger und Arme voraus.

Gerade bei Liften und anderen Automaten sind die Knöpfe schwer erreichbar.

Diese Knöpfe sind eine Schranke für Behinderte.

Die Schranke ist genauso hoch wie die Bordsteinkanten oder die Stufen.


Die natürliche Kommunikation

… ist sehr vielschichtig. … besteht aus Körpersprache, Mimik,

Gestik, und gesprochener Sprache. … ist auch zwischen Behinderten und

Nichtbehinderten in der Regel problemlos möglich.

… setzt aber ein Stück Empathie voraus. … ist zwischen einem Mensch und einem

Computersystem zur Zeit nicht möglich.

Forschungsgrundlagen


Die technischen Voraussetzungen

Rechenleistung und hochauflösende Kameras sind günstig und überall verfügbar.

Mobile Breitbandnetze und andere Funktechnologien sind „state of the art“.

Es gibt Software, die Gesichter und Gesten erkennt.

Es gibt bereits Videoüberwachung überall, sie ist aber noch ohne sichtbaren Nutzen für den User.


Facial Action Coding System

Wurde 1976 von Ekman und Friesen erstellt. Bildet die Grundlage für das Deuten des

mimischen Ausdrucks. Die mimische Muskulatur wird in 43

Bewegungseinheiten (Action Units) eingeteilt. Die Aktivierung dieser Muskeln kann über

Software erkannt werden. Zusätzlich können auch die absoluten

Koordinaten des Kopfs bzw. der Hand erkannt werden.


Der Mimik - Roboter

UC San Diego's California Institute for Telecommunications and Information Technology (Calit2)

UCSD's Einstein Robot Has 'Emotional Intelligence'

MIT Computer Science and Artificial Intelligence Laboratory

MERTZ


Die sechs universellen Mimiken (Cohn-Kanade Datenbank)

Lachen

Wut

Abscheu

Trauer

Überraschung

Angst

Konzept


Grundkonzept XINU

PC-Prototyp

Anwender

3D Face Tracking API

Notebook / Display: Funktionen zur Auswahl

Weitere SoftwarepaketeDatenschnittstelle

Befehlssatz(Markup Language)

Kopfpostion undÄnderung in x,y,z

erfassen

Bewegungstyp(Markup Language)

Bewegung „Kopf nicken“?

Bewegung + Funktion = Anweisung

Bewegung „Kopf schütteln“?

nein

ja

…..

nein

Befehls-generierung und

Übertragung

Vergleich mit gespeicherten Bewegungen

Zuordnung zu möglicherabstrakter Anweisung

Gespeicherte Konfiguration

Steu

erun

g in

der G

ebäu

deau

tom

ation

Ausgewählte Funktion (Bauteil)

ermittelt

Kamera


Mobiler Aufbau


Innovationen und Herausforderungen

Spezifikation und Konfiguration des Face Trackings open source Schnittstelle der Software

anpassen variabler Befehlssatz

(anwendungsspezifisch und anwenderspezifisch)

Vernetzung mit Gebäudeautomation allgemeine Schnittstelle definieren Safety und Security Vernetzung (mobile Anwendung)


Aufgaben der Steuerung

existierende Applikationen für Face Tracking

neue Schnittstelle zu Gebäudeautomation Generierung eines Befehlsatzes /

Metasprache Steuerung von

Aufzügen (Modellaufzug) Licht und andere Aktuatoren (Feldbusknoten) Programmen am PC


Software im Vergleich

faceAPI (seeing machines) Kopfbewegung und 3D Position Mimikerkennung Am Markt

Fraunhofer-Institut für integrierte Schaltungen Gesichtserkennung Forschungsprojekt

Weitere Bibliotheken (Authentifizierung) Proprietäre Software, Open Source, Matlab


Demo-Video


Zeitplan und Ausblick

Nächste Ziele (Schuljahr 2009/2010) Wahl der geeigneten Software Dec 2009 Aufbau einer PC Version Jan 2010 Spezifikation der Handhabung Testen mit den SchülerInnen Aufbau des Modellaufzugs Jun 2010

Kennun

gAufgabenname Anfang Abschluss Dauer

Okt 2009 Nov 2009 Dez 2009 Jän 2010 Feb 2010 Mär 2010 Apr 2010 Mai 2010 Jun 2010

3.1 7.2 7.3 4.4 2.5 9.5 6.6

1 0t01.10.200901.10.2009Projektstart

4 0t27.11.200927.11.2009Sparkling Science Kick Off

22t30.10.200901.10.2009Projektplanung

27t17.11.200912.10.2009Erste Ausschreibungen (Diplomarbeiten)

36t08.01.201020.11.2009Spezifikation Handhabung

2

69t21.01.201019.10.2009Technologien im Test und Prototyp Design

5

3

6

21t08.02.201011.01.2010Design Modellaufzug

7 36t12.03.201022.01.2010Test Prototyp

9

8

78t30.06.201015.03.2010Modellaufzug Prototyp


Das XINU Team sagt Danke!

Dietmar Dietrich Stefan Hutter

Andreas Perner

Charlotte Rösener

Gerhard Zucker

Projekt XINU eXellent Interface for Nonhaptic Use Gerhard Zucker Stefan Hutter Charlotte Rösener...

Documents

Transcript of Projekt XINU eXellent Interface for Nonhaptic Use Gerhard Zucker Stefan Hutter Charlotte Rösener...