Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης...
-
Upload
yiannis-kompatsiaris -
Category
Technology
-
view
74 -
download
2
description
Transcript of Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης...
Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές
Ανάλυσης Πολυμέσων
Γιάννης Κομπατσιάρης Ερευνητής Brsquo
Ομάδα ΠολυμέσωνΙνστιτούτο Τεχνολογιών Πληροφορικής και
ΕπικοινωνιώνΕθνικό Κέντρο Έρευνας και Τεχνολογικής Ανάπτυξης
2Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιεχόμενα
bull Εισαγωγή
bull Ομαδοποίηση με χρήση Κ-μέσων για Κατάτμηση εικόνων
bull Κατηγοριοποίηση και Αναγνώριση αντικειμένων με
χρήση SVM
bull Επεξεργασία Ομιλίας (Σήματος) + Ομαδοποίηση για
διάγνωση
bull Ομαδοποίηση σε κοινωνικό περιεχόμενο με χρήση
γράφων + Εφαρμογές σε κινητά
bull ΕΚΕΤΑ - ΙΠΤΗΛ
bull Σύνοψη - Προβλήματα και Εφαρμογές
3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
Κατάτμηση εικόνων
Αλγόριθμος Επεκτάσεις Εφαρμογές
4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)
bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)
5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ
bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
2Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιεχόμενα
bull Εισαγωγή
bull Ομαδοποίηση με χρήση Κ-μέσων για Κατάτμηση εικόνων
bull Κατηγοριοποίηση και Αναγνώριση αντικειμένων με
χρήση SVM
bull Επεξεργασία Ομιλίας (Σήματος) + Ομαδοποίηση για
διάγνωση
bull Ομαδοποίηση σε κοινωνικό περιεχόμενο με χρήση
γράφων + Εφαρμογές σε κινητά
bull ΕΚΕΤΑ - ΙΠΤΗΛ
bull Σύνοψη - Προβλήματα και Εφαρμογές
3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
Κατάτμηση εικόνων
Αλγόριθμος Επεκτάσεις Εφαρμογές
4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)
bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)
5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ
bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
3Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
Κατάτμηση εικόνων
Αλγόριθμος Επεκτάσεις Εφαρμογές
4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)
bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)
5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ
bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
4Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων
bull Κλασικός αλγόριθμος μη επιβλέψιμης (unsupervised) ομαδοποίησης (clustering)
bull Βασικός στόχος η ανακάλυψη δομής (structure) σε μη οργανωμένα δεδομένα (unlabeled data)
5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ
bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
5Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων bull Εφαρμογές σε πάρα πολλούς τομείς ιατρική marketing βιολογία κτλ
bull Πχ Χ = τιμή πίεσης Υ = καρδιακός ρυθμός 3 κατηγορίες ασθενών = ΥΓΙΕΙΣ ΝΟΣΟΥΝΤΕΣ ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
6Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση σε εικόνες
bull Οι εικόνες αποτελούν (για τον υπολογιστή) ένα από τα πιο δύσκολα προβλήματα ανακάλυψης δομής
bull Η κατάτμηση σε περιοχές (segmentation) αποτελεί βασικό τμήμα της επεξεργασίας
bull Εφαρμογέςbull Ιατρικές εικόνες
bull Ρομποτική
bull Δορυφορικές
bull Φυσικές
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
7Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Παραδείγματα κατάτμησης
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
8Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
bull Χώρος δεδομένων είναι οι φωτεινότητες των pixels και όχι οι θέσεις τους
bull Ο αλγόριθμος Κ-Μέσων δε λαμβάνει υπόψη του τη χωρική πληροφορία
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
9Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
2
2
2
kbbkaakLL IIIIII
Χωρικό κέντρο
Παράμετροι κανονικοποίησης
Component Labeling
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
10Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Εικόνες με Έντονη Υφή
bull Νέα παραλλαγή του αλγορίθμου Κ-μέσων με περιορισμό συνεκτικότητας συνδυάζει χαρακτηριστικά έντασης θέσης και υφής
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
11Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Υπολογισμός Υφής
bull Εφαρμογή φίλτρου
bull Για υπολογισμό υφής Discrete Wavelet Frames (DWF)
kD s p 2 kk
Ms
M p S s
ksI p I 1s
ks T p T sksJ p J
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
12Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull Προτεινόμενος αλγόριθμος
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
13Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull Blobworld
bull Προτεινόμενος αλγόριθμος
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
14Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
(KM1 1429 KM2 65) 1053 122 13
(KM1 2058 KM2 153) 1871 400 18
(KM1 662 KM2 396) 106 458 22
(KM1 1475 KM2 709) 1362 347 503
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
15Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
(KM1 857 KM2 112) 575 295 99
(KM1 717 KM2 625) 226 485 78
(KM1 444 KM2 444) 688 893 57
(KM1 613 KM2 63) 863 551 609
Σύγκρισηbull ΚΜ1
bull ΚΜ2
bull MRSST
bull Blobworld
bull Προτεινόμενος αλγόριθμος
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
16Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Πειραματικά αποτελέσματα
Ευαισθησία της μεθόδου σε αλλαγές των τιμών των κατωφλίωνbull Παράμετρος εκτίμησης αρχικών
τιμών γ=04 (03 05) bull Κατώφλι τ φίλτρου υπό συνθήκηbull Κατώφλια μεγέθους περιοχής ξ ψbull Κατώφλι συνενώσεων μbull Πλήθος L μπλοκ για εκτίμηση
αρχικών τιμών
bull Βάρος χαρακτηριστικών υφής λ1
bull Κατώφλια σύγκλισης τροποποιημένου αλγορίθμου KMCC
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
20Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση - Συμπεράσματα
bull Άμεση εφαρμογή δε δίνει πάντα τα επιθυμητά αποτελέσματα
bull Σχεδίαση ανάλογα με το πρόβλημαbull Δεδομένα ndash Χώρος χαρακτηριστικών
bull Φωτεινότητα χρωματικός χώρος υφή κίνησηbull Προ-επεξεργασία δεδομένων
bull Component Labelingbull Φίλτρο υπό συνθήκηbull Κανονικοποιήσεις
bull Υπολογισμός παραμέτρωνbull Συνάρτηση απόστασηςbull Αριθμός κέντρων (αλγόριθμος maxmin)
bull Αξιολόγησηbull Συγκρίσεις
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
Δορυφορικά τηλεπισκοπικά δεδομένα MODIS από το Dataset του Γνώραση μετά την πυρκαγιά του 2007 Φυσικό έγχρωμο σύνθετο 3-2-1 (αριστερά) και ψευδέγχρωμο 5-4-3 σύνθετο (δεξιά)
Υπολογισμός δεικτών NDVI στα δορυφορικά δεδομένα πριν (αριστερά) και μετά (δεξιά) την πυρκαγιά του 2007
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
Αποτελέσματα από την εφαρμογή αλγορίθμων κατάτμησης (αριστερά) με χρήση προσαρμοσμένου κατωφλίου και αποτέλεσμα της μορφολογικής επεξεργασίας (μορφολογικό opening με δομικό στοιχείο μεγέθους ενός εικονοστοιχείου δεξιά)
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
Κατάτμηση τηλεπισκοπικών δεδομένων TERASAR-X με τη μέθοδο των επιπεδοσυνόλων για την ανίχνευση του υδρογραφικού δικτύου
(Συνεργασία με ΕΜΠ η ανάπτυξη αλγορίθμων κατάτμησης έγινε από το EΜΠ εργαστήριο τηλεπισκόπισης στα πλαίσια του έργου ΓΝΩΡΑΣΗ wwwgnorasigr)
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
24Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Support Vector Machines - SVMs
Κατηγοριοποίηση - Αναγνώριση αντικειμένων
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
25Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assign labels)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
26Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Classification ndash Κατηγοριοποίηση(Κατάταξη ndash Ταξινόμηση)
bull Κατηγοριοποίηση των δεδομένων μας σε κατηγορίες (classes)
bull Αναπαράσταση δεδομένων διανύσματα χαρακτηριστικών (μετασχηματισμός)
bull Συνήθως επιβλεπόμενη (supervised) διαδικασίαbull Γνωστές κλάσεις
bull Παραδείγματα με γνωστές κλάσεις που χρησιμοποιούνται στη διαδικασία εκμάθησης (learning ndash training set)
bull Εφαρμογή σε δεδομένα με άγνωστες κλάσεις (testing)
bull Διαδικασία μηχανικής μάθησης (machine learning)
bull Εφαρμογέςbull Μηχανική όραση
bull Αναγνώριση φωνής
bull Βιολογία
bull Μηχανές αναζήτησης
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
27Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μηχανές Διανυσμάτων Στήριξης(Support Vector Machines - SVMs)
bull Ευρέως διαδεδομένη μέθοδος επιβλεπομένης (supervised) μηχανικής εκμάθησης (machine learning) για κατηγοριοποίηση (classification)bull Χειρίζεται αποτελεσματικά προβλήματα πολύ μεγάλης
διάστασης (high-dimensionality problems)
bull Αυξημένη δυνατότητα γενίκευσης (generalization ability)
bull Αποτελεσματική ανίχνευση και μοντελοποίηση σύνθετων σχέσεων και συσχετίσεων μεταξύ των δεδομένων
bull Στη βασική του έκδοση είναι δυαδικός ταξινομητής (Binary classifier)
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
28Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Περιγραφή SVMΔιάνυσμα στήριξης
Απόσταση προτύπωναπό το υπερ-επίπεδο
Διαχωριστικό υπερ-επίπεδο
bull Προσδιορισμός στο χώρο διαχωριστικού υπερ-επιπέδου (separating hyper-plane) που μεγιστοποιεί την ελάχιστη απόστασή του από τα 2 υπό εξέταση πρότυπα
bull Τα δείγματα των προτύπων που βρίσκονται κοντύτερα στο διαχωριστικό υπερ-επίπεδο αποτελούν τα διανύσματα στήριξης (support vectors)
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
29Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Video
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
33Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Προ-επεξεργασία εικόναςbull Κατάτμηση ή και εφαρμογή σε ολόκληρη την
εικόνα
bull Εξαγωγή οπτικών περιγραφέων ndash διάνυσμα χαρακτηριστικών
bull Κλιμακούμενο χρώμα (Scalable Color)
bull Ιστόγραμμα ακμών φωτεινότητας (Luminance Edge Histogram)
bull Περιγραφέας σχήματος περιοχής (Region-Based Shape)
bull Ομογενής υφή (Homogenous Texture)
bull Local Features (SIFT)
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
34Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
SIFT Local Features
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
35Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Αναγνώριση αντικειμένων με SVMsbull Αντικείμενα ενδιαφέροντος
bull Ουρανός βλάστηση βράχια έδαφος κτίριο νερό
bull Εκπαίδευση ενός SVM για κάθε κατηγορία αντικειμένωνbull Χρήση χαρακτηριστικού διανύσματος περιοχής
bull Κάθε SVM υπολογίζει μία εκ των υστέρων πιθανότητα για την ποσοτική περιγραφή της συσχέτιση περιοχής-αντικειμένου
bull Κάθε περιοχή αξιολογείται από όλα τα εκπαιδευμένα SVMsbull Χρήση πολυωνυμικής συνάρτησης πυρήναbull Διάσταση αρχικού δειγματικού χώρου 433
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
36Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
Ουρανός 011Νερό 009Κτίριο 089Βράχια 051Έδαφος 031Βλάστηση 035
Σύνολο υποθέσεων περιοχής
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
37Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
Αρχικήεικόνα
Αποτελέσματααναγνώρισηςαντικειμένων
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
39Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
httpmklab-servicesitigrtrec2010indexphplogin=true
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
Forensic Image Retrieval for Nudity Detection
Folder scanning and Imagevideo identification
Automatic indexing and featuremetadata extraction
Search Engine Results presentation and Report generation
bull Police needs to search in unknown hard-drives to identify suspicious digital content
bull Workflow to satisfy the requirements
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
Indexing and Search
Image Dataset
Visual Feature extractionbull MPEG-7 color amp texture descriptorsbull Dense SIFT GRAY amp Dense SIFT RGB
Nudity Concept detection based on SVM classificationQuery by visual examplebull MPEG-7 descriptors bull R-tree structure for indexing
Support Vector Machines
Visual Features (MPEG-7 SIFT)
Training Image Dataset
Nudity detection model
Probability of Nudity
New Image
Search Engine with results and reports
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
42Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων
Μορφών Άνοιας
Συνεργασία με IBM Israel στα πλαίσια του έργου DemCare httpwwwdemcareeu
httpyoutubemGACsdCx6Qc
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
43Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DemCare Project
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
44Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Diadohokinetic (DDK) TestDDK tests are used by speech-language pathologists for assessment of
motor speech impairments eg dysarthria
Quick and accurate production of rapid alternating sound tokens involving different parts of mouse eg ldquopuh-tuk-kuhmdashpuh-tuh-kuhmdashhelliprdquo
Usually measurements are done manually and include the DDK rate statistics
Our hypothesis and research direction The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between ControlMCIAD groups
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
45Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Towards DDK Regularity Measure Waveform Envelope
Waveform Instantaneous energy contour
11 12 13 14 15 16 17 18
-04
-02
0
02
04
06
08
PUH TUH
KUH
PUH TUH
KUH
Token n
Token n+1
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
46Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
Towards DDK Regularity Measure Energy Modulation Spectrum
Long-term Fourier Transform of the Envelope
F0=18 Hz ie 18 tokens per second on average
Harmonic structure indicates long-term periodicity of the waveform envelope
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
48Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
DDK Regularity Analysis Examples
0 5 10 15 20 25 300
1
2
3
4
5
6
7
8x 10
10
Modulation frequency Hz
Energy Modulation Spectrum K=318644
1 15 2 25 30
0005
001
0015
002
0025
003
0035
004
0045
Modulation F0 Hz
F0 utility func Max=0042138 K=98176
1 15 2 25 30
0002
0004
0006
0008
001
0012
0014
Modulation F0 Hz
F0 utility func Max=0012036 K=23936
0 5 10 15 20 25 300
05
1
15
2
25
3
35
4x 10
11
Modulation frequency Hz
Energy Modulation Spectrum K=107455
Good performance Poor performance
49Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
001
0015
002
0025
003
0035
004
0045DDK Regularity of Group Participants
Participants
DD
K R
eg
ula
rity
DDK Regularity Mapping for all the Participants
Statistically significant inter-group differenceswith T-test pvalues
Control vs MCI plt145
Control vs AD plt005
MCI vs AD plt165
Control MCI AD
50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση σε Κοινωνικά Δίκτυα
Θεωρία Γράφων
51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις
(connections)
G = (V E)nodes
edges
52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Vertex amp edges indicate degrees
bull Degree of a graph vertex v the number of graph edges which touch v
bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph
bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph
undirected
directed
53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Degrees amp adjancencies
v1 v2
v3
v4v5
Adjacency matrix on an undirected graph A(ij) ij lt= n
degree of a vertex v (number of edges incident upon it)
wv wvAk )(
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
50Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ομαδοποίηση σε Κοινωνικά Δίκτυα
Θεωρία Γράφων
51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις
(connections)
G = (V E)nodes
edges
52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Vertex amp edges indicate degrees
bull Degree of a graph vertex v the number of graph edges which touch v
bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph
bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph
undirected
directed
53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Degrees amp adjancencies
v1 v2
v3
v4v5
Adjacency matrix on an undirected graph A(ij) ij lt= n
degree of a vertex v (number of edges incident upon it)
wv wvAk )(
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
51Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Γραφήματαbull Δομές που μοντελοποιούν σχέσεις και διασυνδέσεις
(connections)
G = (V E)nodes
edges
52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Vertex amp edges indicate degrees
bull Degree of a graph vertex v the number of graph edges which touch v
bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph
bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph
undirected
directed
53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Degrees amp adjancencies
v1 v2
v3
v4v5
Adjacency matrix on an undirected graph A(ij) ij lt= n
degree of a vertex v (number of edges incident upon it)
wv wvAk )(
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
52Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Vertex amp edges indicate degrees
bull Degree of a graph vertex v the number of graph edges which touch v
bull Indegree of a graph vertex v the number of inward directed graph edges from a given graph vertex in a directed graph
bull Outdegree of a graph vertex v The number of outward directed graph edges from a given graph vertex in a directed graph
undirected
directed
53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Degrees amp adjancencies
v1 v2
v3
v4v5
Adjacency matrix on an undirected graph A(ij) ij lt= n
degree of a vertex v (number of edges incident upon it)
wv wvAk )(
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
53Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Degrees amp adjancencies
v1 v2
v3
v4v5
Adjacency matrix on an undirected graph A(ij) ij lt= n
degree of a vertex v (number of edges incident upon it)
wv wvAk )(
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
54Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Webpage wwwxcomhref=ldquowwwycomrdquo
href = ldquowwwzcomrdquo
Webpage wwwycomhref=ldquowwwxcomrdquo
href = ldquowwwacomrdquohref = ldquowwwbcomrdquo
Webpage wwwzcomhref=ldquowwwacomrdquo
y
a
x
z
b
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
55Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Μερικά παραδείγματα
Κόμβοι ndash Πρωτεΐνες
Ακμές ndash Αλληλεπιδράσεις
Σημαντικό ρόλο παίζει ο τρόπος παρουσίασης (visualization)
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
56Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
57Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
58Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
59Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφωνbull Σε πολλές εφαρμογές τα γραφήματα εμφανίζουν
συγκεκριμένες δομέςbull Σύνολα κόμβων που εμφανίζουν πιο έντονες συσχετίσεις σε
σχέση με τους γειτονικούς τουςbull Graph clusteringbull Ρόλος συγκεκριμένων κόμβων στο γράφο
inter-community edge
intra-community edge
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
62Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
all vertices have degree at least k
Each node is connected to all k-1
nodes
N is the length of the path allowed to all other members
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
63Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (12)
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
64Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ανάλυση Γράφων (22)
bull 1st step
(μ ε) ndash core detection
bull 2nd step Local expansion
bull 3rd step Characterization of remaining vertices as hubs or outliers
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
65Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα
ClustTour ThessFest IMC
httpwwwclusttourgr httpthessfestsocialsensoreuapp
httpmklabitigrimc
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
66Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Photo sharing social networks and applications
5000000000 εικόνες (Σεπ 2010)
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
67Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Challenges in Social Media network mining
No prior assumptions about structureComplex amp evolving structureNo possibility for knowing structural features (eg number of clusters
on a graph) in advance
ScaleTens of millions of active users frequently contributing loads of
content links + metadata (tags comments ratings)
QualitySpam is very common Only a portion of user contributions is worth
further analysis
Unsupervised
Efficient - scalable
Noise resilient
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
68Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
68
Hybrid photo Clustering
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
69Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
event
landmark
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
70Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
70
Photo clustering results Geographic localization of results was also found to be very high
Most clusters correspond to landmarks or events
baptism
conference
castels
LANDMARKS
EVENTS
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
71Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
71
Sample results [Visual] vs [Tag] vs [Visual + Tag]
VISUAL
TAG
HYBRID
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
72Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
clusttourgr application
tags sagrada familia cathedral barcelona
taken 12 May 2009lat 414036 lon 21743
PHOTOS amp METADATASPATIAL CLUSTERING + TEMPORAL ANALYSIS
COMMUNITY DETECTION
CLASSIFICATION TO LANDMARKSEVENTS
VISUAL
TAGHYBRID
[2 years 50 users 120 photos]
users photos
duration[1 day 2 users 10 photos]
S Papadopoulos C Zigkolis Y Kompatsiaris A Vakali ldquoCluster-based Landmark and Event Detection on Tagged Photo Collectionsrdquo In IEEE Multimedia Magazine 18(1) pp 52-63 2011
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
73Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
74Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Διαθέσιμο στο AppStorehttpclusttourgritunes
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
75Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Η Θεσσαλονίκη μέσα από το ClustTourldquoEverything is automatic and when we say everything we mean everythingrdquo
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
77Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
78Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
79Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
80Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
81Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
82Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
83Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Συμπεράσματα ndash Περιοχές - Προβλήματα
bull Αναγνώριση προτύπωνbull Ευρεία χρήση τεχνικών αναγνώρισης προτύπων σε
εφαρμογές ανάλυσης πολυμέσων και κοινωνικών δικτύων
bull Απαιτούνται εξειδικευμένες λύσεις και συνδυασμός τεχνικών
bull Η αυτόματη επεξεργασία είναι απαιτητικό πρόβλημα
bull Προβλήματα - Εφαρμογέςbull Μεγάλος όγκος δεδομένων ndash Big Data - Social Media -
Data Mining ndash realndashtime ndash scalability
bull Semantic Gap ndash Visual Similarity
bull eHealth ndash Personalized Health
bull Security ndash Forensics
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Improve My CityApp for Citizens Reporting Issues in Municipalities ndash Regions
Currently used by Thermi Municipality Thessaloniki Greece
httpmklabitigrimc
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Why do we need an app for that
bull Municipalities and Regions cover large areasndash Issues collection prioritization and addressing is time consuming
and costlyndash Regional authorities want to listen (or at least show they are
listening) what their citizens are saying bull Citizens want to participate
ndash Social Networks create new culture and technical possibilitiesndash They are interested in their everyday problems (especially if they
receive timely feedback)
bull Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Features at a Glance
bull Login ndash authenticationndash Synchronization with web
versionbull Map and list-based view of
issuesndash Close to current location
bull Customized filters per category and distance
bull New issuendash Location + image
bull Issue comment and votingbull Greek and English
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Report an Issue
Category Title Description Image
GPS PositionReverse geocoding
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Features List View of
issues with current progress
Local cache (SQLite)
Filter by distance from current position (km)
Efficient bandwidth usage
Filter by Category
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
bull Full integration with web-based app backend and database
bull Easily customizable for other municipalities ndash regions ndash cases
bull Authorities must provide feedback and adapt their processes
Features
Web based app and backend developed by URENIO Research Unit Aristotle University of Thessaloniki
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Future Plans
bull Open source distribution (under discussion)bull Augmented Reality Visualization for future and on-going
projectsndash Library for Android 3D objects support OpenGL
bull Automatic image (and issue ndash topic - category) annotation using visual-based processing
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
Multimedia GrouphttpmklabitigrInformation Technologies Institutehttpwwwitigr
Urban and Regional Innovation ResearchhttpwwwurenioorgAristotle University of Thessaloniki
Smart City ServicesMunicipality of Thermi - Greecehttpssmartcitythermigovgr
ldquoGoogle playbdquo search Multimedia Group - CERTH-ITI httpmklabitigrimc
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
92Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull ΓΓΕΤ ndash Υπ Παιδείας (10-20 (2012) lt 10 (2013) συμμετοχή στον προϋπολογισμό)
bull 4 Ινστιτούτα
bull ~500 άτομα ερευνητικό και λοιπό προσωπικό
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
93Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH ndash wwwcerthgr
bull Eνέργεια περιβάλλον προηγμένα λειτουργικά υλικά βιομηχανία πολυμέσα τεχνολογίες διαδικτύου επιστήμες υγείας ηλεκτρονικό εμπόριο μεταφορές αγροβιοτεχνολογία και τρόφιμα εκπαίδευση
bull Εφαρμοσμένη έρευνα και εφαρμογές
bull Εθνικά και Ευρωπαϊκά Ερευνητικά προγράμματα
bull Υπηρεσίες μεταφορά γνώσης προς εταιρείες και βιομηχανία
bull Καινοτομία νέες εταιρείες (startup spin-off)
bull Συνεργασία με περισσότερους από 1000 εταίρους από την Ελλάδα και το εξωτερικό
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
94Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ερευνητική διαδικασία - Καινοτομία
Βασική Έρευνα
GraphsK-means
Εφαρμοσμένη Έρευνα
Επεκτάσεις Εφαρμογές
Κατάτμηση - Social media Mining -
Τουρισμός - Αναζήτηση
Μεταφορά γνώσης
ΥπηρεσίεςΝέες
ΕταιρείεςSpin-offStartups
Επιχειρηματικές Ιδέες Business Plan
Venture Capital Angel Funding
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
95Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
bull ~ 150 άτομα (με εξωτερικούς συνεργάτες)
bull 6 κύριοι Ερευνητές ndash Ομάδες
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
96Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών - wwwitigr
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
97Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
CERTH-ITI Multimedia Groupbull Personnel
bull 25 people (researchers developers administration)
bull Participation in European and national research projectsbull FP7 SocialSensor (coordination) DemCare (coordination)
WeKnowIt (coordination) Pescado JUMAS CHORUS+ etcbull FP6 AceMedia X-Media MESH BOEMIE VIDI-Video
K-Space PATExpert ELU etc
bull Contracts with Industry (Motorola US)bull Local collaborations (Thessaloniki Film Festival Thermi
Municipality Alzheimer Society Police TEDx) bull 55 Journal publications 170+ conference publications 30 book
chapters 7 patents (2012)bull Numerous events SSMS212 EVENT2010 ACM CIVR09
WWW09 tutorial WIAMIS 2007 etc
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
98Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
How Tim Berners Lee told me in front of thousand people ldquoGo geek and do itrdquo
ldquoYou know it Think of a world that you want Just imagine it
bull What would be the distribution
bull what would be the user interface
bull What would be the processes
bull What third parties would be involved
Go out and build it Talk to the people here
Install an apache server and just go geek
and make it happenrdquo
httpwwwrene-pickhardtdehow-tim-berners-lee-told-me-in-front-of-thousand-people-E2809Cgo-geek-and-do-itE2809D
Programming Implementation
Demos - Apps
Forums ndash Social Networks - Teamwork
Data - Users
Libraries ndash Frameworks
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-
99Oμάδα ΠολυμέσωνΕΚΕΤΑ - Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών
Ευχαριστώ
Ομάδα Πολυμέσων httpmklabitigrΓιάννης Κομπατσιάρης ikomitigr
Δρ Βασίλης Μεζάρης Ερευνητής Γrsquo Κατάτμηση Πολυμέσων bmezarisitigr
Δρ Συμεών Παπαδόπουλος Γράφοι - Ανάλυση Κοινωνικών Δικτύων papadopitigr
Δρ Δημήτριος Βερβερίδης Εφαρμογή IMC ververiditigr
- Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογ
- Περιεχόμενα
- Αλγόριθμος Κ-Μέσων Κατάτμηση εικόνων Αλγόριθμος Επεκτάσεις
- Αλγόριθμος Κ-Μέσων
- Αλγόριθμος Κ-Μέσων (2)
- Κατάτμηση σε εικόνες
- Παραδείγματα κατάτμησης
- Εφαρμογή Κ-Μέσων σε επεξεργασία εικόνας
- Αλγόριθμος Κ-Μέσων με περιορισμό συνεκτικότητας
- Εικόνες με Έντονη Υφή
- Υπολογισμός Υφής
- Πειραματικά αποτελέσματα
- Πειραματικά αποτελέσματα (2)
- Πειραματικά αποτελέσματα (3)
- Πειραματικά αποτελέσματα (4)
- Πειραματικά αποτελέσματα (5)
- Ομαδοποίηση - Συμπεράσματα
- Slide 21
- Slide 22
- Slide 23
- Support Vector Machines - SVMs Κατηγοριοποίηση - Αναγνώριση αν
- Κατάτμηση αναγνώριση αντικειμένων (object recognition ndash assig
- Classification ndash Κατηγοριοποίηση (Κατάταξη ndash Ταξινόμηση)
- Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines - SVMs)
- Περιγραφή SVM
- Video
- Προ-επεξεργασία εικόνας
- SIFT Local Features
- Αναγνώριση αντικειμένων με SVMs
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων
- Ενδεικτικά αποτελέσματα αναγνώρισης αντικειμένων (συνέχεια)
- Slide 39
- Forensic Image Retrieval for Nudity Detection
- Indexing and Search
- Επεξεργασία Φωνής για Κατηγοριοποίηση ndash Διάγνωση Ήπιων Μορφών Ά
- DemCare Project
- Diadohokinetic (DDK) Test
- Towards DDK Regularity Measure Waveform Envelope
- Towards DDK Regularity Measure Energy Modulation Spectrum
- DDK Regularity Analysis Examples
- DDK Regularity Mapping for all the Participants
- Ομαδοποίηση σε Κοινωνικά Δίκτυα Θεωρία Γράφων
- Γραφήματα
- Vertex amp edges indicate degrees
- Degrees amp adjancencies
- Μερικά παραδείγματα
- Μερικά παραδείγματα (2)
- Slide 56
- Slide 57
- Slide 58
- Ανάλυση Γράφων
- Ανάλυση Υπο ndash Γράφων Υπο - Δομών (subgraphs)
- Ανάλυση Γράφων (12)
- Ανάλυση Γράφων (22)
- Eφαρμογές σε Περιεχόμενο από Κοινωνικά Δίκτυα ClustTour Thess
- Photo sharing social networks and applications
- Challenges in Social Media network mining
- Hybrid photo Clustering
- Slide 69
- Photo clustering results
- Sample results [Visual] vs [Tag] vs [Visual + Tag]
- Slide 72
- Slide 73
- Διαθέσιμο στο AppStore
- Slide 75
- Slide 77
- Slide 78
- Slide 79
- Slide 80
- Slide 81
- Slide 82
- Συμπεράσματα ndash Περιοχές - Προβλήματα
- Slide 84
- Why do we need an app for that
- Features at a Glance
- Report an Issue
- Features
- Slide 89
- Future Plans
- Slide 91
- Slide 92
- Slide 93
- Slide 94
- Slide 95
- Slide 96
- Slide 97
- Slide 98
- Slide 99
-