Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung...

Post on 05-Apr-2015

107 views 2 download

Transcript of Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung...

<is web> Information Systems & Semantic Web

University of Koblenz ▪ Landau, Germany

VorlesungMultimedia-Datenbanken

Dr. Ansgar Scherp

Dr. Marcin Grzegorzek

Antje Schultz, Stephan Wirth und Stefan Wirtz

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 2

Organisatorisches

Beginn der Übung: 5.5.2009 (Di)

Raum: A 213

Übung ist circa alle zwei Wochen und dauert dann 90 Minuten. An den anderen Dienstagen ist 90 Minuten Vorlesung.

Die Vorlesung entfällt am 1. Juni (Feiertag).

Weiteres wird auf der Webseite/Klips bekannt gegeben.

Ingo Schmitt: Ähnlichkeitssuche in Multimedia-Datenbanken, Oldenbourg, 2006

Vorlesung INSS05 ist Wahlpflicht für den Master – auch als Wahl- oder Wahlpflicht im Bachelor belegbar.

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 3

Prüfungsleistungen

Zulassung zur Klausur:

2er Gruppen

Erreichen von mindestens 2/3 der Gesamtpunkte aus den Übungsaufgaben, um zur Klausur zugelassen zu werden.

Es gibt sehr kurz vor der Klausur ein zusätzliches Übungsblatt – so dass man ‚mehr als 100%‘ der Punkte erreichen kann

Klausur:

Klausur: Di 21.07.2009, 16:15 (A 213, 1 Zeitstunde)

Klausur und Nachklausur verlangen jeweils Anmeldung.

Die Teilnahme an der Nachklausur setzt die Teilnahme an der Klausur voraus.

Erfahrungsgemäß korreliert der Erfolg in der Klausur stark mit der regelmäßigen Teilnahme an Übung und Vorlesung.

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 4

Fahrplan

I. Motivation & Grundlagen (Sub. Kap.1)

Besondere Anforderungen

Abgrenzung zu klassischen Datenbankmanagement

II. Wiederholung (Sub. Kap.2, Kap.3)

Relationale Datenbanken

Objektorientierte Datenbanken

III. Information Retrieval

Information-Retrieval-Modelle (Schm. Kap.2)

Bewertung, Relevance-Feedback (Schm. Kap.2)

Speicherstrukturen (Sub. Kap.6.4)

IV. Multimedia-Retrieval (Schm. Kap.3)Ablauf (Schm. Kap.3.1 - Kap.3.3) Multimedia-Strukturen (Sub. Kap.7.1, Kap.8.2) V. Feature-Transformationsverfahren & Indizierung (Schm. Kap.4)Diskrete Fourier-Transformation/Wavelet-Transformation VI. Distanzfunktionen & Ähnlichkeitsmaße (Schm. Kap.5, Kap.6)VII. Datenstrukturen (Schm. Kap.7)Indizierung von Audio und Video (Sub. Kap.8, Kap.9) Verschiedene Baumstrukturen VIII. MetadatenMPEG-7COMM – Core Ontology of Multimedia

<is web> Information Systems & Semantic Web

University of Koblenz ▪ Landau, Germany

VorlesungMultimedia-Datenbanken

Folien nach Ingo Schmitt, Literatur: Ähnlichkeitssuche in Multimedia-Datenbanken, Oldenbourg, 2006

Prof. Dr. Steffen Staab

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 6

1. Einleitung und Begriffe

Grundlegende Datenbankbegriffe

Aufgaben eines Datenbank-Management-Systems

Benutzergruppen eines Datenbanksystems

Multimedia-Datenbank-Management-Systeme

Multimedia-Anwendungen

Forschungsthemen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 7

1.1 Grundlegende Datenbankbegriffe

Datenbank (DB)

Datenbank-Management-System (DBMS)

Datenbank-System (DBS=DB+DBMS)

Datenbankmodell

Datendefinitionssprache (DDL)

Datenmanipulationssprache (DML)

Anfragesprache

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 8

Grobarchitektur eines DBS

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 9

Datenunabhängigkeit

Physische Datenunabhängigkeit Konzeptionelle Sicht ist unabhängig von der für die Speicherung der Daten gewählten internen Datenstruktur

Logische DatenunabhängigkeitDatenbank wird von Änderungen und Erweiterungen der Anwendungsschnittstelle entkoppelt (und umgekehrt)

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 10 10

Die Abstraktionsebenen eines DBMS

Datenunabhängigkeit:

• physische Unabhängigkeit

• logische Datenunabhängigkeit

Sicht 1 (Verwaltung) Sicht k (Bibliothek)...

Physische Ebene

Logische Ebene

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 11

Drei-Ebenen-Schema-Architektur I

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 12

Drei-Ebenen-Schema-Architektur II

Konzeptuelles SchemaBeschreibt eine von der konkreten internen Realisierung der Datenspeicherung abstrahierte Gesamtsicht auf den gespeicherten Datenbestand

Internes SchemaLegt die konkret zur Implementierung der Datenbank intern genutzten Datenstrukturen fest.

Externe SchemataLegen anwendungsspezifische Sichten auf die Datenbank fest

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 13

Datenmodellierung

Ausschnitt der realen Welt

Konzeptuelles Schema (ER-Modell)

RelationalesSchema

ObjektorientiertesSchema

NetzwerkSchema

IntellektuelleModellierung

Semi-automatischeTransformation

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 14

Modellierung einer Beispielanwendung

reale Welt: HochschuleStudenten, Vorlesungen,

Professoren...

Konzeptuelle Modellierung

Studenten Professoren

lesen

Vorlesungen

MatrNr

Name

PersNr

Name

VorlNr

Titel

hören

SWS

Semester

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 15

Das relationale Datenmodell

StudentenMatrN

rName

2612025403

...

FichteJonas

...

hörenMatrN

rVorlNr

2540326120

...

50225001

...

VorlesungenNr Titel

50015022

...

Grundzüge Glaube und Wissen

...Select NameFrom Studenten, hören, VorlesungenWhere Studenten.MatrNr = hören.MatrNr and

hören.VorlNr = Vorlesungen.Nr andVorlesungen.Titel = `Grundzüge´;

updateVorlesungen set Titel = `Grundzüge der Logik´

where Nr = 5001;

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 16

1.2 Aufgaben eines DBMS

Integration

Operation

Schemakatalog

Benutzersichten

Integritätssicherung

Zugriffskontrolle

Transaktionen

Synchronisation

Datensicherung

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 17

1.3 Benutzergruppen eines Datenbanksystems

DatenbankadministratorDefiniert und verwaltet das konzeptionelle und das interne Schema einer Datenbank → ist für alle datenbanksystemseitigen und anwendungsunabhängigen Aspekte einer speziellen Datenbank verantwortlich

AnwendungsadministratorErstellt und wartet externe Schemata für ein spezielles Anwendungsgebiet.Oft sind Datenbank- und Anwendungsadministrator ein und dieselbe Person

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 18

1.3 Benutzergruppen eines Datenbanksystems

AnwendungsprogrammiererErstellen auf Basis eines externen Schemas Anwendungsprogramme → bilden zwischen Anwendungs- und DB-Semantik ab

AnwenderBenutzer der Anwendungsprogramme → benötigen normalerweise kein Datenbankwissen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 19

1.4 Multimedia-Datenbanksysteme

Medium• Duden: Mittelglied, Mittler oder Mittelsperson• Medium vermittelt zwischen zwei oder mehreren

Kommunikationspartnern• Sender erzeugt Signale auf Medium• Empfänger (Rezeptor) nimmt Signale auf zur

• Interpretation

• Wandlung

• Weiterleitung

• → Medium ist Nachrichtenträger

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 20

1.4 Multimedia-Datenbanksysteme (ii)

Signal

nach Bauer, Goos: „der eine Nachricht übertragene (und damit Information wiedergebende) Verlauf einer physikalischen Größe“

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 21

Physikalisch (konkrete) Medien

z.B. Schall in festen, flüssigen oder gasförmigen Stoffen

z.B. elektromagnetische Wellen

bilden Basis für abstrakte Medien

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 22

Abstrakte Medien

bauen auf anderen Medien auf → Hierarchien

nutzen andere Sender / Medium / Empfänger-Einheiten als Medium

z.B. Folien als Medium (reflektierende Oberfläche / Licht / reflektierende Oberfläche)

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 23

Weitere Eigenschaften von Medien

Darstellungsmächtigkeit z.B. Geruch versus Bild

Medienumsetzung oft möglich

Komposition möglich → Multimedia

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 24

Weitere Einteilungen

nach Sinnesorganen visuell (optisch)

sprachlich Text Piktogramme

nicht-sprachlich Grafiken Photos Rauchzeichen

• akustisch

• Sprache

• Musik

• Maschinengeräusche

• haptisch (tasten)• gustorisch (schmecken)• olfaktorisch (riechen)

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 25

Weitere Einteilungen (2)

nach Zeit• zeitinvariant (statisch): Text, Bild, Photos, ...

→ discrete media• zeitgebunden (dynamisch): gesprochene Sprache, Video

→ continuous media

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 26

Medien auf Computern

Text

Photo, Grafik, Rasterbild, ... (Image)

Tonaufnahmen (Audio)

Bewegtbild (Video)

VITA = Video + Image + Text + Audio

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 27

Multimedia vs. Multimodal

Multimedia Text,

Graphics Animation Video

Multimodale Interaktion Visuell: Bildschirm,

Tastatur, Maus Sprache:

Spracherkennung, Sprachsynthese

Haptisch: Haptische Rückkopplung (manche Drehregler, Force-feedback joystick)

Eine Modalität: Sehen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 28

Weitere Begriffe

Dokument: logisch zusammenhängender, digital kodierter Text (auch Text-Dokument genannt)

Multimedia-Dokument: enthält neben Text Daten anderer Medientypen

Medien-Objekt: computerverwaltete logische Informationseinheit in einem Medium (nicht auf Text beschränkt)

Multimedia-Objekt: computerverwaltete logische Informationseinheit in einem oder mehreren Medien (mindestens ein diskretes und ein kontinuierliches Medium)

Medien-Daten bzw. Multimedia-Daten: heterogene Menge von Medien-Objekten bzw. Multimedia-Objekten

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 29

Weitere Begriffe (2)

Begriff Text Video/Bild/Audio

Dokument + -

Multimedia-Dokument + optional (kombiniert)

Medien-Objekt +(ein Typ)

Multimedia-Objekt +(kombiniert)

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 30

Multimedia-Datenbank-Management-Systeme (MMDBMS)

interdisziplinär: Netzwerkmanagement, Betriebssystem, Speicher und deren Verwaltung, Computergrafik, ...

Positionspapier auf SIGMOD'85 von S. Christodoulakis Aufgaben eines MMDBMS (neben denen eines DBMS):

Verwaltung unformatierter Daten

Verwaltung „neuartiger“ Geräte zur Darstellung und Speicherung unformatierter Daten

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 31

Teilprobleme nach [Chris85]

Software-Architektur: Erweiterung, Neuentwicklung oder Zusammenfassung

Inhaltsadressierung: content based retrieval

Performance

Benutzerschnittstelle: Unterstützung verschiedener Ein-/Ausgabegeräte

Operationen zur Extraktion und Medienumsetzung

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 32

Teilprobleme nach [Chris85] (2)

Mehrbenutzerbetrieb, Recovery, Zugriffskontrolle, Versionen

Speichergeräte mit großer Kapazität inklusive Redundanzkontrolle

Information Retrieval

einsetzbare Prototypen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 33

Multimedia-Datenbank-Management-System

MMDBMS = DBMS +

Multimedia-Datenbankmodell• Medien-Typen (Darstellung + Operationen)• Substitutions- und Synchronisationsbeziehungen

Information Retrieval (inhaltsbasierte Suche)

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 34

Multimedia-Datenbank-Management-System (2)

Datenunabhängigkeit• Medienabstraktion• Unabhängigkeit von Speicherformaten• Unabhängigkeit von Speichergeräten• Präsentationsunabhängigkeit

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 35

Multimedia-Datenbank-Management-System (3)

Speicher- und Ein-/Ausgabegeräte

Zeitaspekt (etwa Echtzeit für dynamische Medien)

Benutzerschnittstellen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 36

1.5 Multimedia-Anwendungen

passive, aktive, statische und dynamische Anwendungen

Anwendungsbeispiele

durchgängige Beispielanwendung

Vorlesung: Interaktive Multimediasysteme

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 37

Passive, aktive, statische und dynamische Anwendungen

passive AnwendungAnwendung wartet auf Benutzerrecherchen

aktive Anwendungstartet von sich aus Ausgabe

statische Anwendungmehr lesen als editieren

dynamische Anwendungmehr editieren als lesen

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 38

Anwendungsbeispiele

statisch/passivArchivierung, movie-on-demand

statisch/aktivUnterrichtung, Werbung und Unterhaltung

dynamisch/passivGestaltung: Entwurf und Publikation, Reiseplanung

dynamisch/aktivÜberwachung: besonderes Problem ist Erkennung gleicher Realwelt-Objekte

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 39

Durchgängige Beispielanwendung

Polizeiaktion: großflächige Drogenoperation• verdächtige Mitglieder eines Drogenrings werden

beobachtet

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 40

Durchgängige Beispielanwendung (2)

• folgende Geräte werden eingesetzt:• Videoüberwachungskameras erzeugen 6 Monate lang

viele Millionen Videoframes (ca. 50-100 Kameras)

• Telefonabhörung

• Photographien

• große Anzahl von Dokumenten, z.B. Notizbücher

• strukturierte relationale Daten z.B. Banktransaktionen, Telefonbücher

• geografisches Informationssystem: Straßennetz, Berge, ...

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 41

Polizei-Informationssystem

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 42

Beispielanfragen

Image-Query Suche alle Bilder, die dieselbe Person zeigen wie auf diesem Bild! entweder über Beschreibungsinformationen oder Bildverarbeitung

Audio-Query Kann Person zu gesprochener Stimme identifiziert werden? Hat die selbe Person andere Gespräche geführt? über Sprachvektoren

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 43

Beispielanfragen (2)

Text-QueryFinde alle Dokumente, bei denen es um Drogenkartell-Finanztransaktionen mit Firma ABC geht!

Semantik berücksichtigen (keine reine Stichwortsuche)

Video-QueryFinde alle Videosegmente, wo das Angriffsopfer erscheint!

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 44

Beispielanfragen (3)

heterogene QueryFinde alle Personen, die des versuchten Mordes in Nordamerika überführt wurden und elektronische Geldüberweisung auf deren Konto von der ABC Corp. kommen!

mehrere heterogene Datenbanken

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 45

Beispielanfragen (4)

heterogene Multimedia-QueryFinde alle Personen, die mit Jose Smith photographiert wurden und als versuchte Mörder in Nordamerika überführt wurden und von ABC Corp. Geld bekommen haben!

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 46

Beispielanfragen (5)

komplexe heterogene Multimedia-QueryFinde alle Personen, die Kontakt zu Jose Smith hatten

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 47

ISWeb Forschungsthemen

Metadatenformate COMM – Core Ontology for Multimedia Events – Repräsentation von Ereignissen der realen Welt

Social Media Analyse und Verstehen von User Generated Content für

das Notfallmanagement

=> Collective Intelligence Wie nutzt man soziale Verbindungen und Tags um

Multimediadaten besser zu finden? http://mytag.uni-koblenz.de

• SAMT-2008 – 3rd Int. Conference on Semantic and Digital Media Technology, Koblenz, Dec 3-5, 2008

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 48

ISWeb Aktivitäten

• Projekt WeKnowIt, http://www.weknowit.eu/• Thema: Kollektive Intelligenz (Nutzungmachung von User

Generated Content)• 10 internationale Partner

HiWis gesucht! Mail an scherp@uni-koblenz.de

• SSMS09 Summer School on Multimedia Semantics• Ende August in Koblenz• http://www.smart-society.net/ssms09/

• Workshop on Events in Multimedia (EiMM) bei derACM Multimedia Konferenz in Peking 2009 • http://www.uni-koblenz.de/confsec/eimm09/

<is web>

ISWeb - Information Systems & Semantic Web

Steffen Staabstaab@uni-koblenz.de 49

Zukünftige Aktivitäten

Studien-/Diplomarbeiten

HiWi-Tätigkeiten

Fragen Sie uns?• mich• Dr. Marcin Gregorzek