Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης...

88
Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων Γιάννης Κομπατσιάρης Ερευνητής B’ Ομάδα Πολυμέσων Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών, Εθνικό Κέντρο Έρευνας και Τεχνολογικής Ανάπτυξης

description

Η ομιλία περιλαμβάνει εφαρμογές τεχνικών αναγνώρισης προτύπων και μηχανικής μάθησης σε ανάλυση πολυμέσων και κοινωνικών δικτύων. Πιο συγκεκριμένα, θα παρουσιαστούν τεχνικές και εφαρμογές κατάτμησης εικόνων με χρήση Κ-Μέσων και επεκτάσεων, χρήση Support Vector Ma-chines για μάθηση εννοιών σε εικόνες καθώς και τεχνικές ανάλυσης γράφων από κοινωνικά δίκτυα. Θα παρουσιαστούν σχετικές εφαρμογές που αξιοποιούν τα αποτελέσματα της ανάλυσης, όπως αναζήτηση πολυμέσων και εφαρμογή για τουρισμό και ενημέρωση από κοινωνικά δίκτυα. Θα αναφερθούν τρέχοντα ερευνητικά προβλήματα και περιοχές.

Transcript of Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης...

Page 1: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές

Ανάλυσης Πολυμέσων

Γιάννης Κομπατσιάρης Ερευνητής Brsquo

Ομάδα ΠολυμέσωνΙνστιτούτο Τεχνολογιών Πληροφορικής και

ΕπικοινωνιώνΕθνικό Κέντρο Έρευνας και Τεχνολογικής Ανάπτυξης

2Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιεχόμενα

bull Εισαγωγή

bull Ομαδοποίηση με χρήση Κ-μέσων για Κατάτμηση εικόνων

bull Κατηγοριοποίηση και Αναγνώριση αντικειμένων με

χρήση SVM

bull Επεξεργασία Ομιλίας (Σήματος) + Ομαδοποίηση για

διάγνωση

bull Ομαδοποίηση σε κοινωνικό περιεχόμενο με χρήση

γράφων + Εφαρμογές σε κινητά

bull ΕΚΕΤΑ - ΙΠΤΗΛ

bull Σύνοψη - Προβλήματα και Εφαρμογές

3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

Κατάτμηση εικόνων

Αλγόριθμος Επεκτάσεις Εφαρμογές

4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)

bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)

5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ

bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 2: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

2Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιεχόμενα

bull Εισαγωγή

bull Ομαδοποίηση με χρήση Κ-μέσων για Κατάτμηση εικόνων

bull Κατηγοριοποίηση και Αναγνώριση αντικειμένων με

χρήση SVM

bull Επεξεργασία Ομιλίας (Σήματος) + Ομαδοποίηση για

διάγνωση

bull Ομαδοποίηση σε κοινωνικό περιεχόμενο με χρήση

γράφων + Εφαρμογές σε κινητά

bull ΕΚΕΤΑ - ΙΠΤΗΛ

bull Σύνοψη - Προβλήματα και Εφαρμογές

3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

Κατάτμηση εικόνων

Αλγόριθμος Επεκτάσεις Εφαρμογές

4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)

bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)

5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ

bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 3: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

Κατάτμηση εικόνων

Αλγόριθμος Επεκτάσεις Εφαρμογές

4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)

bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)

5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ

bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 4: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων

bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)

bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)

5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ

bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 5: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ

bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 6: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση σε εικόνες

bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής

bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας

bull Εφαρμογέςbull Ιατρικές εικόνες

bull Ρομποτική

bull Δορυφορικές

bull Φυσικές

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 7: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Παραδείγματα κατάτμησης

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 8: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας

bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους

bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 9: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας

2

2

2

kbbkaakLL IIIIII

Χωρικό κέντρο

Παράμετροι κανονικοποίησης

Component Labeling

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 10: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Εικόνες με Έντονη Υφή

bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 11: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Υπολογισμός Υφής

bull Εφαρμογή φίλτρου

bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)

kD s p 2 kk

Ms

M p S s

ksI p I 1s

ks T p T sksJ p J

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 12: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull Προτεινόμενος αλγόριθμος

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 13: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull Blobworld

bull Προτεινόμενος αλγόριθμος

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 14: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

(KM1 1429 KM2 65) 1053 122 13

(KM1 2058 KM2 153) 1871 400 18

(KM1 662 KM2 396) 106 458 22

(KM1 1475 KM2 709) 1362 347 503

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 15: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

(KM1 857 KM2 112) 575 295 99

(KM1 717 KM2 625) 226 485 78

(KM1 444 KM2 444) 688 893 57

(KM1 613 KM2 63) 863 551 609

Σύγκρισηbull ΚΜ1

bull ΚΜ2

bull MRSST

bull Blobworld

bull Προτεινόμενος αλγόριθμος

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 16: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Πειραματικά αποτελέσματα

Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών

τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση

αρχικών τιμών

bull Βάρος χαρακτηριστικών υφής λ1

bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 17: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση - Συμπεράσματα

bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα

bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών

bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων

bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις

bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)

bull Αξιολόγησηbull Συγκρίσεις

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 18: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)

Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 19: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 20: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου

(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 21: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Support Vector Machines - SVMs

Κατηγοριοποίηση - Αναγνώριση αντικειμένων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 22: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 23: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)

bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)

bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)

bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις

bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)

bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)

bull Διαδικασία μηχανικής μάθησης (machine learning)

bull Εφαρμογέςbull Μηχανική όραση

bull Αναγνώριση φωνής

bull Βιολογία

bull Μηχανές αναζήτησης

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 24: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)

bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης

διάστασης (high-dimensionality problems)

bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)

bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων

bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 25: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Περιγραφή SVMΔιάνυσμα στήριξης

Απόσταση προτύπωναπό το υπερ-επίπεδο

Διαχωριστικό υπερ-επίπεδο

bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα

bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 26: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Video

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 27: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την

εικόνα

bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών

bull Κλιμακούμενο χρώμα (Scalable Color)

bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)

bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)

bull Ομογενής υφή (Homogenous Texture)

bull Local Features (SIFT)

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 28: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

SIFT Local Features

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 29: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος

bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό

bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής

bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου

bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 30: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων

Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035

Σύνολο υποθέσεων περιοχής

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 31: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)

Αρχικήεικόνα

Αποτελέσματααναγνώρισηςαντικειμένων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 32: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

httpmklab-servicesitigrtrec2010indexphplogin=true

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 33: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Forensic Image Retrieval for Nudity Detection

Folder scanning and Imagevideo identification

Automatic indexing and featuremetadata extraction

Search Engine Results presentation and Report generation

bull Police needs to search in unknown hard-drives to identify suspicious digital content

bull Workflow to satisfy the requirements

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 34: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Indexing and Search

Image Dataset

Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB

Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing

Support Vector Machines

Visual Features (MPEG-7 SIFT)

Training Image Dataset

Nudity detection model

Probability of Nudity

New Image

Search Engine with results and reports

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 35: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων

Μορφών Άνοιας

Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu

httpyoutubemGACsdCx6Qc

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 36: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DemCare Project

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 37: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of

motor speech impairments eg dysarthria

Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo

Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech

production

Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances

We can develop a regularity measure of the DDK performance

Is the DDK regularity useful in distinguishing between ControlMCIAD groups

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 38: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Towards DDK Regularity Measure Waveform Envelope

Waveform Instantaneous energy contour

11 12 13 14 15 16 17 18

-04

-02

0

02

04

06

08

PUH TUH

KUH

PUH TUH

KUH

Token n

Token n+1

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 39: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

Towards DDK Regularity Measure Energy Modulation Spectrum

Long-term Fourier Transform of the Envelope

F0=18 Hz ie 18 tokens per second on average

Harmonic structure indicates long-term periodicity of the waveform envelope

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 40: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

DDK Regularity Analysis Examples

0 5 10 15 20 25 300

1

2

3

4

5

6

7

8x 10

10

Modulation frequency Hz

Energy Modulation Spectrum K=318644

1 15 2 25 30

0005

001

0015

002

0025

003

0035

004

0045

Modulation F0 Hz

F0 utility func Max=0042138 K=98176

1 15 2 25 30

0002

0004

0006

0008

001

0012

0014

Modulation F0 Hz

F0 utility func Max=0012036 K=23936

0 5 10 15 20 25 300

05

1

15

2

25

3

35

4x 10

11

Modulation frequency Hz

Energy Modulation Spectrum K=107455

Good performance Poor performance

>
>

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 41: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

001

0015

002

0025

003

0035

004

0045DDK Regularity of Group Participants

Participants

DD

K R

eg

ula

rity

DDK Regularity Mapping for all the Participants

Statistically significant inter-group differenceswith T-test pvalues

Control vs MCI plt145

Control vs AD plt005

MCI vs AD plt165

Control MCI AD

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 42: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ομαδοποίηση σε Κοινωνικά Δίκτυα

Θεωρία Γράφων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 43: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις

(connections)

G = (V E)nodes

edges

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 44: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Vertex amp edges indicate degrees

bull Degree of a graph vertex v the number of graph edges which touch v

bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph

bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph

undirected

directed

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 45: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Degrees amp adjancencies

v1 v2

v3

v4v5

Adjacency matrix on an undirected graph A(ij) ij lt= n

degree of a vertex v (number of edges incident upon it)

wv wvAk )(

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 46: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Webpage wwwxcomhref=ldquowwwycomrdquo

href = ldquowwwzcomrdquo

Webpage wwwycomhref=ldquowwwxcomrdquo

href = ldquowwwacomrdquohref = ldquowwwbcomrdquo

Webpage wwwzcomhref=ldquowwwacomrdquo

y

a

x

z

b

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 47: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Μερικά παραδείγματα

Κόμβοι ndash Πρωτεΐνες

Ακμές ndash Αλληλεπιδράσεις

Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 48: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 49: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 50: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 51: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν

συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε

σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο

inter-community edge

intra-community edge

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 52: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)

all vertices have degree at least k

Each node is connected to all k-1

nodes

N is the length of the path allowed to all other members

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 53: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (12)

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 54: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ανάλυση Γράφων (22)

bull 1st step

(μ ε) ndash core detection

bull 2nd step Local expansion

bull 3rd step Characterization of remaining vertices as hubs or outliers

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 55: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα

ClustTour ThessFest IMC

httpwwwclusttourgr httpthessfestsocialsensoreuapp

httpmklabitigrimc

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 56: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Photo sharing social networks and applications

5000000000 εικόνες (Σεπ 2010)

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 57: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Challenges in Social Media network mining

No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters

on a graph) in advance

ScaleTens of millions of active users frequently contributing loads of

content links + metadata (tags comments ratings)

QualitySpam is very common Only a portion of user contributions is worth

further analysis

Unsupervised

Efficient - scalable

Noise resilient

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 58: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

68

Hybrid photo Clustering

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 59: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

event

landmark

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 60: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

70

Photo clustering results Geographic localization of results was also found to be very high

Most clusters correspond to landmarks or events

baptism

conference

castels

LANDMARKS

EVENTS

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 61: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

71

Sample results [Visual] vs [Tag] vs [Visual + Tag]

VISUAL

TAG

HYBRID

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 62: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

clusttourgr application

tags sagrada familia cathedral barcelona

taken 12 May 2009lat 414036 lon 21743

PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS

COMMUNITY DETECTION

CLASSIFICATION TO LANDMARKSEVENTS

VISUAL

TAGHYBRID

[2 years 50 users 120 photos]

users photos

duration[1 day 2 users 10 photos]

S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 63: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 64: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Διαθέσιμο στο AppStorehttpclusttourgritunes

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 65: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 66: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 67: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 68: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 69: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 70: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 71: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 72: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Συμπεράσματα ndash Περιοχές - Προβλήματα

bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε

εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων

bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών

bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα

bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -

Data Mining ndash realndashtime ndash scalability

bull Semantic Gap ndash Visual Similarity

bull eHealth ndash Personalized Health

bull Security ndash Forensics

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 73: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions

Currently used by Thermi Municipality Thessaloniki Greece

httpmklabitigrimc

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 74: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Why do we need an app for that

bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming

and costlyndash Regional authorities want to listen (or at least show they are

listening) what their citizens are saying bull Citizens want to participate

ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they

receive timely feedback)

bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 75: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Features at a Glance

bull Login ndash authenticationndash Synchronization with web

versionbull Map and list-based view of

issuesndash Close to current location

bull Customized filters per category and distance

bull New issuendash Location + image

bull Issue comment and votingbull Greek and English

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 76: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Report an Issue

Category Title Description Image

GPS PositionReverse geocoding

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 77: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Features List View of

issues with current progress

Local cache (SQLite)

Filter by distance from current position (km)

Efficient bandwidth usage

Filter by Category

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 78: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

bull Full integration with web-based app backend and database

bull Easily customizable for other municipalities ndash regions ndash cases

bull Authorities must provide feedback and adapt their processes

Features

Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 79: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Future Plans

bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going

projectsndash Library for Android 3D objects support OpenGL

bull Automatic image (and issue ndash topic - category) annotation using visual-based processing

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 80: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr

Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki

Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr

ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 81: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)

bull 4 Ινστιτούτα

bull ~500 άτομα ερευνητικό και λοιπό προσωπικό

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 82: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH ndash wwwcerthgr

bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση

bull Εφαρμοσμένη έρευνα και εφαρμογές

bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα

bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία

bull Καινοτομία νέες εταιρείες (startup spin-off)

bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 83: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ερευνητική διαδικασία - Καινοτομία

Βασική Έρευνα

GraphsK-means

Εφαρμοσμένη Έρευνα

Επεκτάσεις Εφαρμογές

Κατάτμηση - Social media Mining -

Τουρισμός - Αναζήτηση

Μεταφορά γνώσης

ΥπηρεσίεςΝέες

ΕταιρείεςSpin-offStartups

Επιχειρηματικές Ιδέες Business Plan

Venture Capital Angel Funding

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 84: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)

bull 6 κύριοι Ερευνητές ndash Ομάδες

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 85: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 86: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

CERTH-ITI Multimedia Groupbull Personnel

bull 25 people (researchers developers administration)

bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)

WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video

K-Space PATExpert ELU etc

bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi

Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book

chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09

WWW09 tutorial WIAMIS 2007 etc

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 87: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo

ldquoYou know it Think of a world that you want Just imagine it

bull What would be the distribution

bull what would be the user interface

bull What would be the processes

bull What third parties would be involved

Go out and build it Talk to the people here

Install an apache server and just go geek

and make it happenrdquo

httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D

Programming Implementation

Demos - Apps

Forums ndash Social Networks - Teamwork

Data - Users

Libraries ndash Frameworks

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99
Page 88: Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών

Ευχαριστώ

Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr

Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr

Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr

Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr

  • Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
  • Περιεχόμενα
  • Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
  • Αλγόριθμος Κ-Μέσων
  • Αλγόριθμος Κ-Μέσων (2)
  • Κατάτμηση σε εικόνες
  • Παραδείγματα κατάτμησης
  • Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
  • Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
  • Εικόνες με Έντονη Υφή
  • Υπολογισμός Υφής
  • Πειραματικά αποτελέσματα
  • Πειραματικά αποτελέσματα (2)
  • Πειραματικά αποτελέσματα (3)
  • Πειραματικά αποτελέσματα (4)
  • Πειραματικά αποτελέσματα (5)
  • Ομαδοποίηση - Συμπεράσματα
  • Slide 21
  • Slide 22
  • Slide 23
  • Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
  • Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
  • Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
  • Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
  • Περιγραφή SVM
  • Video
  • Προ-επεξεργασία εικόνας
  • SIFT Local Features
  • Αναγνώριση αντικειμένων με SVMs
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
  • Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
  • Slide 39
  • Forensic Image Retrieval for Nudity Detection
  • Indexing and Search
  • Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
  • DemCare Project
  • Diadohokinetic (DDK) Test
  • Towards DDK Regularity Measure Waveform Envelope
  • Towards DDK Regularity Measure Energy Modulation Spectrum
  • DDK Regularity Analysis Examples
  • DDK Regularity Mapping for all the Participants
  • Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
  • Γραφήματα
  • Vertex amp edges indicate degrees
  • Degrees amp adjancencies
  • Μερικά παραδείγματα
  • Μερικά παραδείγματα (2)
  • Slide 56
  • Slide 57
  • Slide 58
  • Ανάλυση Γράφων
  • Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
  • Ανάλυση Γράφων (12)
  • Ανάλυση Γράφων (22)
  • Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
  • Photo sharing social networks and applications
  • Challenges in Social Media network mining
  • Hybrid photo Clustering
  • Slide 69
  • Photo clustering results
  • Sample results [Visual] vs [Tag] vs [Visual + Tag]
  • Slide 72
  • Slide 73
  • Διαθέσιμο στο AppStore
  • Slide 75
  • Slide 77
  • Slide 78
  • Slide 79
  • Slide 80
  • Slide 81
  • Slide 82
  • Συμπεράσματα ndash Περιοχές - Προβλήματα
  • Slide 84
  • Why do we need an app for that
  • Features at a Glance
  • Report an Issue
  • Features
  • Slide 89
  • Future Plans
  • Slide 91
  • Slide 92
  • Slide 93
  • Slide 94
  • Slide 95
  • Slide 96
  • Slide 97
  • Slide 98
  • Slide 99