Μια προσέγγιση βασισμένη σε Μια προσέγγιση βασισμένη σε κανόνες για τη σημασιολογική κανόνες για τη σημασιολογική

επισημείωση πραγματικού επισημείωση πραγματικού χρόνου σε συστήματα με χρόνου σε συστήματα με επίγνωση περιβάλλοντοςεπίγνωση περιβάλλοντος

Νικόλαος Η. Κωνσταντίνου

1

Εθνικό Μετσόβιο ΠολυτεχνείοΣχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνΤομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής

Περιεχόμενα παρουσίασηςΠεριεχόμενα παρουσίασηςΕισαγωγή στο πρόβλημαΠεριγραφή συστήματος βασισμένου σε

μεσισμικόΠειραματικές μετρήσειςΑνακεφαλαίωση, συμπεράσματα και

μελλοντική έρευνα

2

Ορισμοί (1/2)Ορισμοί (1/2)Επισημείωση (annotation)

◦Προσθήκη μεταδεδομένωνΣημασιολογική επισημείωση

(semantic annotation)◦Τα μεταδεδομένα αυτά είναι κοινά αναγνωρίσιμα

Δεδομένα Πληροφορία ΓνώσηΣυστήματα με επίγνωση περιβάλλοντος

(context-aware)◦Συστήματα τα οποία μέσω αισθητήρων

συγκεντρώνουν και εκμεταλλεύονται πληροφορία σχετική με το περιβάλλον τους

3

Ορισμοί (2/2)Ορισμοί (2/2)Μεσισμικό (middleware)

◦Παροχή υπηρεσιών προς δυο κατευθύνσεις: εφαρμογές και δίκτυα συλλογής πληροφορίας περιβάλλοντος

Επεξεργασία πραγματικού χρόνου◦Σύγχρονη επεξεργασία πληροφορίας: λογική

συνέπεια στα αποτελέσματα και στον χρόνο παραγωγής τους (timeliness)

◦Ασύγχρονη επεξεργασία: daemon◦Χρόνος απόκρισης (latency): ο χρόνος που

μεσολαβεί από την εμφάνιση δεδομένων στο σύστημα μέχρι την ολοκλήρωση της παραγωγής των αντίστοιχων αποτελεσμάτων

4

Κύριοι στόχοιΚύριοι στόχοιΑναζήτηση σε όγκο πολυμεσικών δεδομένωνΣυλλογή δεδομένων από πολλαπλές πηγές και

ενοποίησή τουςΕξαγωγή σημασιολογικών χαρακτηριστικών

υψηλού επιπέδου (σε πραγματικό χρόνο)Συσχέτιση των χαρακτηριστικών

χαμηλότερου επιπέδου με σημασιολογικά μεταδεδομένα

Κατανεμημένη αρχιτεκτονική ώστε να εξασφαλίζεται η επεκτασιμότητα και η κλιμακωσιμότητα του συστήματος

5

Το πρόβλημαΤο πρόβλημαΟλοκλήρωση κατανεμημένων πηγών

δεδομένων◦Σημασιολογική περιγραφή μοντέλου κόσμου

Σημασιολογική επισημείωση◦χρειάζεται επαρκή γνώση του χώρου◦κοστίζει σε πόρους◦μπορεί να είναι πλεονάζουσα, μερική ή σε

διάφορα formats◦δύσκολα επαναχρησιμοποιήσιμη◦εύκολα γίνεται ξεπερασμένη

Συστήματα με επίγνωση περιβάλλοντος◦ραγδαία αύξηση του όγκου πληροφορίας

6

Σημασιολογικός Ιστός (1/2)Σημασιολογικός Ιστός (1/2)Γλώσσες περιγραφής

◦Το σχήμα RDFS: τάξη στα semantics του RDF◦OIL DAML+OIL OWL OWL 2 (27/10/2009)

Γλώσσες ερωτημάτων◦SPARQL: triple pattern, όχι διάσχιση γράφων◦Χωρίς stored procedures, triggers, transactions στον

επίσημο ορισμόΓλώσσες σύνταξης κανόνων: body head

◦RuleML (με XML-only, XML/RDF-combining και RDF-only), SWRL, Jena

◦Δεν έχει προκύψει ακόμη κάποιο επίσημο πρότυπο

7

)3?,1(?)3,2(?)2?,1(? xxhasUnclexxhasBrotherxxhasParent

Σημασιολογικός Ιστός (2/2)Σημασιολογικός Ιστός (2/2)

Προγραμματιστικές διεπαφές◦Jena: πρακτική επιλογή για Java

Υπηρεσίες συλλογιστικής◦Κατηγοριοποίηση εννοιών, έλεγχοι σε συνέπεια

και ικανοποιησιμότητα, εξαγωγή έμμεσης (implicit) γνώσης

◦KAON2, Pellet, FaCT++, Racer, RacerPro◦DIG διασυνδεσιμότητα: Επικοινωνία της

οντολογίας με τον εξυπηρετητή μέσω απλών μηνυμάτων http: αιτήματα ASK και TELL

8

Περιεχόμενα παρουσίασηςΠεριεχόμενα παρουσίασηςΕισαγωγή στο πρόβλημαΠεριγραφή συστήματος βασισμένου σε

μεσισμικόΠειραματικές μετρήσειςΑνακεφαλαίωση, συμπεράσματα και

μελλοντική έρευνα

9

Αρχιτεκτονική συστήματος Αρχιτεκτονική συστήματος μεσισμικούμεσισμικού

10

Αρχιτεκτονική συστήματος Αρχιτεκτονική συστήματος μεσισμικού*μεσισμικού*Τμήματα (modules)

◦ Αισθητήρες (κάμερες, μικρόφωνα)◦ Ανιχνευτές (trackers, πχ αναγνώριση ομιλίας)◦ 2 Σύνολα κανόνων (αντιστοίχισης και σημασιολογικών)◦ Προγραμματιστική διεπαφή (API) μέσω Υπηρεσιών

Διαδικτύου με εφαρμογές και με το σύστημα εξαγωγής χαρακτηριστικών

◦ Οντολογία◦ Υπηρεσίες συλλογιστικής◦ Πρότυπα μηνυμάτων◦ Ενέργειες (alerts)◦ Υποβολή ερωτημάτων σε σημασιολογικό επίπεδο

* Η εν λόγω έρευνα διεξήχθη στα πλαίσια του ερευνητικού έργου ΠΡΙΑΜΟΣ (Προσαρμοστικά συστήματα πραγματΙκού χρόνου για εξόρυξη σημασιολογίας και ευφυείς διεπΑφές – επίδειξη σε εφαρΜΟγές ασφάλειαΣ και επικοινωνίας του πολίτη), το οποίο χρηματοδοτήθηκε από τη Γενική Γραμματεία Έρευνας και Τεχνολογίας (ΓΓΕΤ), Επιχειρησιακό Πρόγραμμα “Κοινωνία της Πληροφορίας”, μέτρο 3.3: “Επεξεργασία εικόνων, ήχου και γλώσσας”.

11

Επεξεργασία Μηνυμάτων: Ροή Επεξεργασία Μηνυμάτων: Ροή ΠληροφορίαςΠληροφορίας

Το γεγονός του περιβάλλοντος γίνεται αντιληπτό από τους αισθητήρες, παράγοντας δεδομένα χαμηλού επιπέδου (πολυμεσικά, πχ ροή video ή/και ήχου)

Οι αλγόριθμοι εξαγωγής χαρακτηριστικών παράγουν επισημείωση σε XML

Η επισημείωση αποστέλλεται μέσω Υπηρεσιών Διαδικτύου στον εξυπηρετητή μεσισμικού

Ο εξυπηρετητής εφαρμόζει προκαθορισμένους κανόνες στο εισερχόμενο μήνυμα

Στην περίπτωση που η απόδοση του μεσισμικού ξεπερνά συγκεκριμένο κατώφλι εκτελούνται διαδικασίες διαχείρισης της απόδοσης

12

Παράδειγμα μηνύματοςΠαράδειγμα μηνύματος

Το μήνυμα αποστέλλεται από έναν αισθητήρα προς το μεσισμικό

<Event id=”5712”>

<Tracker type=”FaceTracker” timestamp=”11:28:34”>

<DataSource id=”3” name=”CeilingCamera”

url=”http://localhost/seq_0077.jpg”/>

<person id=”1” certainty=”100”>

<location2d datasourceId=”3” x=”429” y=”46”/>

<face dbpersonid=”10” name=”John” certainty=”91”/>

</person>

</Tracker>

</Event>

13

Γλώσσα κανόνων Γλώσσα κανόνων αντιστοίχισηςαντιστοίχισης

Παράδειγμα κανόνα αντιστοίχισης

if, xml element has value,/Event/Tracker/@type,”FaceTracker”,and, …then,insert individual in class,Professor,named after,/Event/Tracker/person/face/@name,and set datatype property,hasTime,/Event/Tracker/@timestamp,…

Θα προστεθούν οι εξής τριάδες στη Βάση Γνώσης

default:Professor_John rdf:type default:Professor ; default:hasTime "11:28:34"^^xsd:time .

Πλήρης αυτοματοποίηση της διαδικασίας (τετριμμένη)◦ XML tag ↔ κλάση οντολογίας◦ XML property ↔ datatype property οντολογίας

14

Γλώσσα σημασιολογικών Γλώσσα σημασιολογικών κανόνωνκανόνωνΣύντηξη (fusion) μηνυμάτωνΠρότυπο Event-Condition-ActionΑν συνθήκη τότε ενέργειαΠαράδειγμαif,SPARQL query has results,SELECT ?x ?y WHERE {

?x rdf:type default:Professor .?x :hasTime ?t1.?y rdf:type default:Person .?y hasTime ?t2FILTER (?t1 = ?t2) }

then,alert ("Professor in the room!")

15

Διαδικασίες συντήρησηςΔιαδικασίες συντήρησηςΠαράδειγμα σε SPARQL για μεταφορά του ABox από την

προσωρινή στη μόνιμη Βάση Γνώσεως

Το construct DELETE δεν περιλαμβάνεται στον επίσημο ορισμό της SPARQL

Επίσης, ούτε το construct UPDATE, απαραίτητο για την ανανέωση των ιδιοτήτων των individuals

DELETE FROM <http://example.org/buffer>

{ ?member ?p ?o }WHERE{ GRAPH <http://example.org/buffer> { ?class a owl:Class . ?member a ?class . ?member ?p ?o . }}

INSERT INTO <http://example.org/permanent>{ ?member ?p ?o }WHERE{ GRAPH <http://example.org/buffer> { ?class a owl:Class . ?member a ?class . ?member ?p ?o . }}

16

Αντιμετώπιση σφαλμάτων και Αντιμετώπιση σφαλμάτων και ασυνεπειώνασυνεπειώνΕνσωμάτωση ασάφειας στους κανόνες

◦ Αποδοχή γεγονότων μόνο σε περίπτωση που η βεβαιότητα ξεπερνά κάποιο κατώφλι

Δειγματοληψία (sampling) και προσωρινή αποθήκευση (caching) σε περίπτωση μεγάλου φόρτου

Απόρριψη μηνυμάτων που εμφανίζουν ασυνέπεια◦ με σημασιολογικούς κανόνες◦ με διαδικασίες συντήρησης

17

Παρεχόμενη λειτουργικότητα Παρεχόμενη λειτουργικότητα συγκεκριμένης προσέγγισηςσυγκεκριμένης προσέγγισης

Εισαγωγή και επεξεργασία◦Οντολογιών◦Προτύπων μηνυμάτων◦Σημασιολογικών ερωτημάτων◦Κανόνων (σημασιολογικών και αντιστοίχισης)◦Ενεργειών

Λήψη ειδοποιήσεωνΕκτέλεση σημασιολογικών ερωτημάτων

18

Εφαρμογή διαχείρισης (1/2)Εφαρμογή διαχείρισης (1/2)

19

Εφαρμογή διαχείρισης (2/2)Εφαρμογή διαχείρισης (2/2)

20

Πλεονεκτήματα Πλεονεκτήματα συγκεκριμένης προσέγγισηςσυγκεκριμένης προσέγγισης Πρακτικά απεριόριστη ελευθερία στην περιγραφή των δεδομένων Ομογενοποίηση αποτελεσμάτων διαφορετικών ανιχνευτών Διασύνδεση με εξωτερικές πηγές δεδομένων και αισθητήρων,

μέσω αμοιβαία προκαθορισμένης διεπαφής σύμφωνα με διεθνή πρότυπα

Δυνατότητα εκ των υστέρων επεξεργασίας και εκμετάλλευσης της Βάσης Γνώσης που δημιουργείται

Υποβολή σημασιολογικών ερωτημάτων υψηλότερου επιπέδου◦ Πότε έγινε αντιληπτό για τελευταία φορά το άτομο Χ ή κάποιος από

τους συναδέλφους του;◦ Πότε βρέθηκαν στον ίδιο χώρο τα άτομα κατηγορίας Χ και

κατηγορίας Υ ταυτόχρονα;◦ Υπήρξε στο χώρο παρακολούθησης άτομο εκτός ωρών εργασίας

χωρίς την επίβλεψη υπεύθυνου;

21

Περιεχόμενα παρουσίασηςΠεριεχόμενα παρουσίασηςΕισαγωγή στο πρόβλημαΠεριγραφή συστήματος βασισμένου σε

μεσισμικόΠειραματικές μετρήσειςΑνακεφαλαίωση, συμπεράσματα και

μελλοντική έρευνα

22

Πειραματικό περιβάλλονΠειραματικό περιβάλλον

1. Stergiou, A., Pnevmatikakis, A., Polymenakos, L.: The AIT Multimodal Person Identication System for CLEAR 2007, In: Multimodal Technologies for Perception of Humans, pp. 221-232 (2007)

2. Karame, G., Stergiou, A., Katsarakis, N., Papageorgiou, P., Pnevmatikakis, A.: 2D and 3D Face Localization for Complex Scenes. In: IEEE Conference on Advanced Video and Signal Based Surveillance (AVSS 2007), pp. 371-376 (2007)

• Videos από το Smart room του ΑΙΤ στα πλαίσια του έργου • Ομαλή λειτουργία συστήματος• Offline επεξεργασία μηνυμάτων με τους αλγόριθμους:

• Viola-Jones1 για αναγνώριση και• Camshift2 για παρακολούθηση προσώπων

23

Δεδομένα μετρήσεων Δεδομένα μετρήσεων (1/2)(1/2)

Σε εξωτερικούς χώρους τα αποτελέσματα ήταν απογοητευτικά με τους ανιχνευτές που ήταν διαθέσιμοι

Το μη ελεγχόμενο περιβάλλον συμβάλλει σε εσφαλμένα αποτελέσματα

24

25

Δεδομένα μετρήσεων Δεδομένα μετρήσεων (2/2)(2/2)

Πειραματικά Πειραματικά αποτελέσματααποτελέσματα

Αντιπαράδειγμα κανόνα ως βάση για τις μετρήσεις: Για κάθε μήνυμα που δέχεσαι εισήγαγε ένα individual στην οντολογία

Χρειάζεται προσοχή στη ρύθμιση των κανόνων ώστε να μην αυξάνεται ο όγκος της Βάσης Γνώσης

Χωρίς υπηρεσίες συλλογιστικής, ο χρόνος απόκρισης είναι αμελητέος: απλό SQL INSERT ερώτημα

26

Παράγοντες που επηρεάζουν την Παράγοντες που επηρεάζουν την απόδοσηαπόδοση

Εξυπηρετητής υπηρεσιών συλλογιστικής◦Ο Racer δεν εξετάστηκε

λόγω περιορισμών στη μνήμη

Σύνολο κανόνωνΑριθμός τριάδων στο

προσωρινό μοντέλο της οντολογίας

27

Αριθμός τριάδων στην Αριθμός τριάδων στην οντολογίαοντολογία

Ο χρόνος επεξεργασίας του κάθε μηνύματος είναι ευθέως ανάλογος του αριθμού τριάδων της προσωρινής Βάσης Γνώσεως

Υψηλός χρόνος επεξεργασίας ανά τριάδα της προσωρινής Βάσης Γνώσεως για σχετικά μικρές οντολογίες

Σταθερός για μεγαλύτερες οντολογίες

28

Σενάριο 1: Παρακολούθηση Σενάριο 1: Παρακολούθηση χώρωνχώρωνΜια κάμερα2 ανιχνευτές, για αναγνώριση και

παρακολούθηση προσώπωνΜια οντολογία

◦ default:Professorrdf:type owl:Class ;rdfs:subClassOf default:Staff .

◦ default:hasNamerdf:type owl:DatatypeProperty ;rdfs:domain default:Human ;rdfs:range xsd:string .

Ένα πρότυπο μηνυμάτων

29

Απόδοση του μεσισμικού στο Απόδοση του μεσισμικού στο σενάριο παρακολούθησης σενάριο παρακολούθησης χώρωνχώρων

Οι διαδικασίες συντήρησης απόδοσης είναι απαραίτητες

Τα δεδομένα που χρησιμοποιήθηκαν είναι με πρώιμες εκδόσεις των ανιχνευτών

30

Σενάριο 2: Εφαρμογή Σενάριο 2: Εφαρμογή υποστήριξης συνεδριάσεωνυποστήριξης συνεδριάσεων

Πιο σύνθετο σενάριοΠερισσότεροι σημασιολογικοί κανόνες

31

Απόδοση του μεσισμικού στο σενάριο Απόδοση του μεσισμικού στο σενάριο υποστήριξης συνεδριάσεωνυποστήριξης συνεδριάσεων

Αντίστοιχα με το σενάριο παρακολούθησης χώρων, το σύστημα γρήγορα καθίσταται μη πρακτικό

Οι περισσότεροι κανόνες καθιστούν το σύστημα πιο αργό

32

Περισσότερες πειραματικές Περισσότερες πειραματικές μετρήσειςμετρήσεις

Μεγαλύτερα κατώφλια οδηγούν σε◦Πιο αργή απόκριση◦Πιο αραιές διαδικασίες συντήρησης

33

Ένας πελάτηςΈνας πελάτης

Αμελητέα και σταθερή καθυστέρηση Peaks στην απόδοση καλύτερα οι διαδικασίες συντήρησης να

γίνονται με βάση τον αριθμό τριάδων της προσωρινής Βάσης Γνώσης34

Τρεις πελάτες σε ταυτόχρονη Τρεις πελάτες σε ταυτόχρονη λειτουργίαλειτουργία

Σε κάθε περίπτωση ο χρόνος απόκρισης για τον κάθε πελάτη εξαρτάται από τον αριθμό των τριάδων της προσωρινής Βάσης Γνώσης

35

Εννέα πελάτες σε ταυτόχρονη Εννέα πελάτες σε ταυτόχρονη λειτουργίαλειτουργία

Ο χρόνος απόκρισης για τον κάθε πελάτη είναι πολλαπλάσιος του χρόνου επεξεργασίας ενός μηνύματος από τον εξυπηρετητή

36

Περιεχόμενα παρουσίασηςΠεριεχόμενα παρουσίασηςΕισαγωγή στο πρόβλημαΠεριγραφή συστήματος βασισμένου σε

μεσισμικόΠειραματικές μετρήσειςΑνακεφαλαίωση, συμπεράσματα και

μελλοντική έρευνα

37

Ανακεφαλαίωση - Ανακεφαλαίωση - ΣυμπεράσματαΣυμπεράσματαΗ χρήση οντολογιών επιτρέπει τη μοντελοποίηση

σεναρίωνΔημιουργείται πλούσια Βάση Γνώσης, διαθέσιμη για

offline επεξεργασία και αξιοποίηση (πχ ολοκλήρωση με άλλα συστήματα)Αλλά

Σε κάθε μήνυμα χρειάζεται να γίνεται ανάγνωση του σημασιολογικού μοντέλου περιορισμοί στην απόδοση του συστήματος

Χρειάζεται προσοχή στο σχεδιασμό των κανόνων ώστε η Βάση Γνώσης να αυξάνει μόνο όταν αυτό είναι απαραίτητο

Ο χρόνος επεξεργασίας σε πραγματικό χρόνο είναι της τάξης των μερικών δευτερολέπτων

Αν και τα τμήματα του λογισμικού είναι ανεξάρτητα μεταξύ τους, η διαδικασία σχεδιασμού εφαρμογής βασισμένης στο μεσισμικό είναι μη γραμμική

38

Ανοιχτά ζητήματα για το Ανοιχτά ζητήματα για το σύστημα μεσισμικούσύστημα μεσισμικούΑσφάλεια (στη μετάδοση, την αποθήκευση και στην

πρόσβαση στα δεδομένα)Περαιτέρω βελτίωση απόδοσης σε περίπτωση

αυξημένου φόρτου (sampling και caching)Σημασιολογικές Υπηρεσίες Διαδικτύου (WSDL με

ενσωματωμένη σημασιολογία, OWL-S ή SWSF)Εφαρμογή πιο διαδεδομένων γλωσσών κανόνων όπως

SWRL, ruleML ή Jena rules (δεν υπάρχει πρότυπο)Ιεραρχία στους κανόνεςΕνοποίηση με διαφορετικού τύπου αισθητήρες και

επικοινωνία με προτυποποιημένες γλώσσες (sensorML)

Εφαρμογή σε δίκτυα αισθητήρων

Σχετικές ΔημοσιεύσειςΣχετικές Δημοσιεύσεις1. N. Konstantinou, E. Solidakis, A. Zafeiropoulos, P.

Stathopoulos, N. Mitrou: A Context-aware Middleware for Real-Time Semantic Enrichment of Distributed Multimedia Metadata, In International Journal of Multimedia Tools and Applications, Springer, special issue on Data Semantics for Multimedia Systems, 46(2): 425−461, January 2010

2. A. Zafeiropoulos, N. Konstantinou, S. Arkoulis, D.-E. Spanos, and N. Mitrou. A Semantic-Based Architecture for Sensor Data Fusion. In Second International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies (UBICOMM’08), Valencia, Spain, October 2008.

3. N. Konstantinou, E. Solidakis, S. Zoi, A. Zafeiropoulos, P. Stathopoulos, and N. Mitrou. Priamos: A Middleware Architecture for Real-Time Semantic Annotation of Context Features. In IET International Conference on Intelligent Environments (IE’07), Ulm, Germany, September 2007.

40

Ευχαριστώ πολύ!

41