Συμπίεση Πολυμεσικών Δεδομένωνtsantas/DownLoadFiles/Data_Compre… ·...

Συμπίεση Πολυμεσικών Δεδομένων

Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές

Κώστας Μπερμπερίδης

Εργαστήριο Σημάτων & ΤηλεπικοινωνιώνΤμήμα Μηχανικών Η/Υ & Πληροφορικής

ΔΠΜΣ ΜΥΑ, Ιούνιος 2011

2ΔΠΜΣ ΜΥΑ, Ιούνιος 2011

Ψηφιακή Αναπαράσταση Συμπίεση για Αποθήκευση ή/και Μετάδοση

Η ψηφιακή αναπαράσταση των δεδομένων έχει σαφή πλεονεκτήματα:

– μεγαλύτερη ανοσία σε «θόρυβο»– ευελιξία στην ανταλλαγή εύρους ζώνης και ισχύος– τεχνικές κρυπτογράφησης και προστασίας – ευκολία υλοποίησης σε υλικό (VLSI)

Αν τα δεδομένα είναι Αναλογικά, θα πρέπει να μετατραπούν σε Ψηφιακά (πώς ;)

Ερώτηση: Χάνεται πληροφορία κατά τη μετατροπή A/D;

Τα πολυμεσικά δεδομένα είναι κατά βάση αναλογικά.

3

Θεωρία Πληροφορίας

Βασικός στόχος της Συμπίεσης:

– η αποδοτική αναπαράσταση των δεδομένων που παράγει μια πηγή πληροφορίας

Το πρόβλημα της συμπίεσης είναι επίσης γνωστό ως κωδικοποίηση πηγής (source coding)

Το αντικείμενο της συμπίεσης δεδομένων ανήκει στον ευρύτερο χώρο της θεωρίας πληροφορίας (information theory)

ΔΠΜΣ ΜΥΑ, Ιούνιος 2011


Κωδικοποίηση Πηγής Στόχος: η αποδοτική αναπαράσταση/κωδικοποίηση/συμπίεση

της πληροφορίας/σήματος/εξόδου μιας πηγής

Ερωτήματα που προκύπτουν:

– πώς ορίζεται η πληροφορία μιας πηγής;– πότε μια πηγή εξάγει περισσότερη πληροφορία;– μπορώ να τη μετρήσω μαθηματικά;– τι παθαίνει η πληροφορία μιας πηγής όταν εφαρμόζω

κάποια επεξεργασία (π.χ. μετατροπή A/D);– πόσο πολύ μπορώ να συμπιέσω τα δεδομένα μιας πηγής;

Απαντήσεις– δίνονται μέσα από τη θεωρία πληροφορίας και τις

τεχνικές κωδικοποίησης πηγής


Πηγές Πληροφορίας Η έξοδος της πηγής είναι

– κάτι τυχαίο και άγνωστο, μια τυχαία διαδικασία (αν είναι κάτι σταθερό ή γενικότερα ντετερμινιστικό, δεν υπάρχει λόγος να το μεταδώσουμε ή να το αποθηκεύσουμε)

Παραδείγματα πηγών πληροφορίας:– ακολουθία από bits– χαρακτήρες ASCII– ήχος (ομιλία)– εικόνα– video

Διάκριση ως προς το χρόνο:– συνεχούς χρόνου (π.χ. αναλογικό ηχητικό σήμα)– διακριτού χρόνου (δειγματοληπτημένο σήμα ή σύμβολα)

Διάκριση ως προς τις δυνατές τιμές (αλφάβητο):– συνεχείς τιμές (π.χ. αναλογικό σήμα)– διακριτές τιμές (π.χ. ASCII)


Πηγές Πληροφορίας (2) Αν η πηγή είναι αναλογική τότε απαιτείται: Μετατροπή της πηγής από

συνεχούς σε διακριτού χρόνου

– δειγματοληψία– το σήμα πρέπει να έχει πεπερασμένο εύρος ζώνης– αν είναι κατωπερατό με μέγιστη συχνότητα fmax, τότε η συνθήκη

Nyquist μας λέει ότι αρκεί να το δειγματοληπτήσω με

– και μπορώ να ανακατασκευάσω το αναλογικό σήμα από τα δείγματα του χωρίς απώλειες

Οι πηγές που μας ενδιαφέρουν,– έχουν περιορισμένο εύρος ζώνης– ή μπορούμε να το περιορίσουμε εμείς με φιλτράρισμα– Περίπτωση στοχαστικών σημάτων: ανακατασκευή με μηδενικό MSE

Συμπέρασμα: αρκεί να μελετήσω τις πηγές διακριτού χρόνου

max2sf f≥


Πληροφορία Η θεωρητική ανάλυση παρουσιάζεται για πηγές πληροφορίας

με διακριτό αλφάβητο λόγω ευκολίας(μπορεί να γενικευτεί σε πηγές με συνεχές αλφάβητο)

Αλφάβητο Διακριτής Πηγής:

Παράδειγμα: ο καιρός στην Ελλάδα κάθε 15 Αυγούστου– s1: χιόνι– s2: βροχή– s3: λιακάδα

Πότε δίνεται περισσότερη πληροφορία;

– όταν τυχαίνει το σύμβολο s1 ή το s3;– με τι σχετίζεται η πληροφορία που φέρει κάθε σύμβολο;

{ }1 2, Ns s sΦ =


Μέτρο Πληροφορίας (1)Ιδιότητες του μέτρου της πληροφορίας:

1.

2.

3.

4.

5. Μικρή αλλαγή στην πιθανότητα μικρή αλλαγή στην πληροφορία (συνεχής συνάρτηση)

( ) 0 ( ) 1k kI s for p s= =

( ) 0 0 ( ) 1k kI s for p s≥ ≤ ≤

( ) ( ) ( ) ( )k l k lI s I s fo r p s p s> <

( ) ( ) ( ) , ά άk l k l k lI s s I s I s s sεαν στατιστικ ανεξ ρτητα= +


Μέτρο Πληροφορίας (2) Η Πληροφορία ενός συμβόλου (Information) si με

πιθανότητα εμφάνισης p(si) ορίζεται ως

Βάση του λογαρίθμου– συνήθως χρησιμοποιείται το 2 με μονάδα μέτρησης bit– δεν ταυτίζεται με το bit που γνωρίζουμε ως δυαδικό

ψηφίο

Σύνθετη πηγή:

( ) ( ) ( )1log logi ii

I s p sp s

= = −

( ) ( ) ( ),i j i jI s a I s I a= +


Μέτρο Πληροφορίας (3)

Παρατηρήσεις:1. Φθίνουσα2. Πεδίο ορισμού

(που ορίζεται;)3. Όρια (τι

συμβαίνει στα άκρα;)

4. Είναι συνεχής;


Διακριτή Πηγή Χωρίς Μνήμη Discrete Memoryless Source (DMS):

– διακριτού χρόνου– διακριτού αλφαβήτου– τα σύμβολα στην έξοδό της είναι ανεξάρτητα– ακολουθούν την ίδια κατανομή πιθανότητας

Περιγράφεται πλήρως από:– το αλφάβητο

– και τις πιθανότητες εμφάνισης

Ειδικές Περιπτώσεις:– Δυαδική Πηγή Χωρίς Μνήμη:

– Για p=0.5, Δυαδική Συμμετρική Πηγή Χωρίς Μνήμη

{ }1, , Ns sΦ =

{ }1, , Np p

{ }0,1Φ = { },1p p−


Εντροπία

Η εντροπία μιας DMS ορίζεται ως

Φυσική Σημασία:– εκφράζει τη μέση αβεβαιότητα που έχω για την πηγή– είναι ο μέσος όρος της πληροφορίας των συμβόλων

Όσο μεγαλύτερη εντροπία έχει μια πηγή,– τόσο περισσότερη πληροφορία φέρει, και– τόσο περισσότερα bits χρειάζονται για την κωδικοποίησή

της

( ) ( ) 21 1

logN N

i i i ii i

H p I s p p= =

Φ = = −∑ ∑


Συνάρτηση Δυαδικής Εντροπίας Αν έχω δυαδική DMS Φ={0,1}, με πιθανότητες εμφάνισης

{p,1-p}, τότε ορίζεται η συνάρτηση δυαδικής εντροπίας

( ) ( ) ( )2 2log 1 log 1bH p p p p p= − − − −

Παρατηρήσεις:1. ελαχιστοποιείται όταν

p=0 ή 1,Η(0)=Η(1)=0

2. μεγιστοποιείται όταν τα σύμβολα είναι ισοπίθανα, Η(0.5)=1


Εντροπία Ομοιόμορφης Πηγής Είδαμε ότι η εντροπία της δυαδικής DMS μεγιστοποιείται για

ισοπίθανα σύμβολα

Συμπέρασμα: Η εντροπία φράσσεται ως

– όπου N το πλήθος του αλφαβήτου– και το άνω όριο επιτυγχάνεται για ομοιόμορφη πηγή

( ) 20 logH N≤ Φ ≤

Γενίκευση: Η εντροπία μιας Ν-αδικής DMS μεγιστοποιείται όταν τασύμβολά της ακολουθούν ομοιόμορφη κατανομή, δηλαδή pi=1/N γιαi=1,…,N


Κωδικοποίηση Πηγής

Στόχος: Η αποδοτική αναπαράσταση μιας Μιαδικής πηγής

Κώδικες μεταβλητού μήκους: Αξιοποιεί τη γνώση των στατιστικών ιδιοτήτων της πηγής

Λειτουργικές απαιτήσεις:

– Οι κωδικές λέξεις είναι δυαδικές

– Ο κώδικας είναι μοναδικά αποκωδικοποιήσιμος

Μέσο μήκος κώδικα

( ) ( )1

N

i ii

L p s l s=

=∑


Θεώρημα Κωδικοποίησης Πηγής ή «Το Πρώτο Θεώρημα του Shannon» (1948) Χρησιμότητα: πόσο μπορούμε να συμπιέσουμε μια πηγή χωρίς

να εισάγουμε σφάλματα;

Σχόλια:– Όπου R μπορείτε να θεωρήσετε το μέσο μήκος κώδικα (\bar{L})– ο Shannon δίνει την ικανή και αναγκαία συνθήκη– όμως δεν προτείνει κάποιο αλγόριθμο/μεθοδολογία για να

φτιάξουμε έναν κωδικοποιητή όταν R>H– R<H : Data compression, Rate-Distortion Theory

Θεώρημα: Έστω πηγή με εντροπία H που κωδικοποιείται ώστε ναπαρέχει ρυθμό R (bits/έξοδο πηγής).

–Αν R>H, η πηγή μπορεί να κωδικοποιηθεί με οσοδήποτε μικρήπιθανότητα σφάλματος–Αν R<H, όσο πολύπλοκος κι αν είναι ο κωδικοποιητής πηγής, ηπιθανότητα σφάλματος θα είναι μακριά από το 0


Ειδικές Περιπτώσεις Ομοιόμορφη Πηγή:

– H(X)=log2N– δε μπορεί να συμπιεστεί– κάθε ακολουθία εξόδου είναι δυνατή (τυπική) και

ισοπίθανη

Πηγές με μνήμη:– ο ρυθμός εντροπίας παίζει τον ίδιο ρόλο με την εντροπία

για στατικές πηγές– ο ρυθμός εντροπίας συγκλίνει γρήγορα στην τελική τιμή

Παράδειγμα πηγής με μνήμη: αγγλικό κείμενο– για n=1 (αγνοώντας τη μνήμη), H(X)=4.03 bits/letter– για μπλοκ γραμμάτων (π.χ. n=10) συγκλίνει στην τιμή

H(X)=1.3 bits/letter

Μη απωλεστική κωδικοποίησηδεδομένων

- Προθεματικοί κώδικες

- Αλγόριθμος Huffman


Προθεματικοί κώδικες Αλγόριθμοι κωδικοποίησης (συμπίεσης) πηγής Επιτυγχάνουν ρυθμούς κωδικοποίησης κοντά στην εντροπία

(στο όριο συμπίεσης χωρίς απώλειες)

Κωδικοποίηση από σταθερό σε μεταβλητό μήκος:– είσοδος: μπλοκ συμβόλων σταθερού μήκους

(μήκος μπλοκ 1 )– έξοδος: μπλοκ bits μεταβλητού μήκους (κωδική λέξη)

Πρόβλημα: Συγχρονισμός– πώς μπορώ να βρω τα όρια των μπλοκ στην έξοδο για να

γίνει η αποκωδικοποίηση

Λύση: Προθεματικός– Καμμία κωδική λέξη δεν αποτελεί πρόθεμα κάποιας άλλης

» μοναδικά αποκωδικοποιήσιμος (κάθε έξοδος αντιστοιχεί σε μοναδική είσοδο)

» άμεσος (επιτρέπει απευθείας αποκωδικοποίηση)


Μέσο Μήκος Κώδικα Έστω DMS με πιθανότητες εμφάνισης p(si) και έναςκωδικοποιητής πηγής που αναθέτει l(si) bits στο σύμβολο si

Εάν ένας κώδικας είναι προθεματικός έχει τις εξής ιδιότητες:

Kraft-McMillan inequality (αναγκαία και ικανή)

Φράγματα στο μέσο μήκος.Μπορεί να κατασκευαστεί προθεματικός για τον οποίο:

( )

1

2 1i

Nl s

i

−

=

≤∑

( ) ( ) 1H X L H X≤ < +


Αποδοτικότητα Κώδικα

Η αποδοτικότητα ενός κώδικα ορίζεται ως

– και δείχνει πόσο κοντά βρίσκεται ο κωδικοποιητής στο όριο συμπίεσης της πηγής (εντροπία)

Ένας κώδικας είναι αποδοτικός, όσο το η πλησιάζει στο 1

( ) 1η = ≤H X

L


Ν-οστής Τάξης Επέκταση Πηγής Ο προθεματικός κώδικας (π.χ. ο αλγόριθμος Huffman)

θεωρεί ένα μπλοκ από σύμβολα ως επεκτεταμένη είσοδο και τα κωδικοποιεί ως ένα σύνθετο σύμβολο, δηλαδή

– έστω si και sj

– θέτει σκ=(si,sj)– με πιθανότητα εμφάνισης p(σκ)=p(si)p(sj) για πηγή χωρίς

μνήμη Γενικεύεται σε n-οστή επέκταση της πηγής και ισχύει

Μέσο μήκος κώδικα της επεκταμένης ακολουθίας πηγής

( ) ( ) 1n nnH X L H X≤ < +

nL L n=


Ν-οστής Τάξης Επέκταση Πηγής (2)

Για πηγή χωρίς μνήμη, αποδεικνύεται

Προκύπτει

Συμπέρασμα: Η n-οστής τάξης επέκταση μιας πηγής αποφέρει κώδικες που είναι ολοένα και πιο κοντά στο όριο συμπίεσης (εντροπία) της πηγής

Ερώτηση: Γιατί δε χρησιμοποιώ ένα πολύ μεγάλο n, ώστε να πετύχω συμπίεση κοντά στο όριο της εντροπίας;

( ) ( )nH X nH X=

( ) ( ) 1H X L H Xn

≤ < +

( )limn

L H X→∞

=


Βήματα Αλγορίθμου Huffman (1)

Δημιουργία Δυαδικού Δέντρου:

1. Διάταξε τις εισόδους κατά φθίνουσα σειρά πιθανοτήτων2. Συγχώνευσε τα δύο σύμβολα με τις μικρότερες πιθανότητες

και δημιούργησε νέο «σύμβολο»3. Ανάθεσε στα δύο σύμβολα «0» και «1»4. Ταξινόμησε εκ νέου τη λίστα των συμβόλων5. Επανέλαβε τα παραπάνω μέχρι όλα τα σύμβολα

συγχωνευτούν σε ένα τελικό σύμβολο

Δημιουργήθηκε ένα δυαδικό δέντρο:– ρίζα: το τελικό σύνθετο σύμβολο– φύλλα: τα αρχικά σύμβολα– ενδιάμεσοι κόμβοι: σύνθετα σύμβολα


Βήματα Αλγορίθμου (2)

Ανάθεση Bits σε Σύμβολα Εισόδου

1. Ξεκίνα από τη ρίζα και κινήσου προς ένα φύλλο

2. Η ακολουθία των bits που συναντώνται είναι η ακολουθία κωδικοποίησης

3. Επανέλαβε για όλα τα σύμβολα (φύλλα)


Παράδειγμα Huffman

Προθεματική αντιστοίχηση:– s0: 1– s1: 00– s2: 01

Μονοσήμαντη και άμεση αποκωδικοποίηση

0 02 1 2 1s ss s s s

1 0100011 00


Χαρακτηριστικά Huffman

Μειονέκτημα:– απαιτεί να γνωρίζει εκ των προτέρων τις πιθανότητες

εμφάνισης των συμβόλων της πηγής– δε μπορεί να χρησιμοποιηθεί σε εφαρμογές πραγματικού

χρόνου

Βέλτιστος:– ανάμεσα σε όλους τους προθεματικούς κώδικες

(άρα μονοσήμαντα αποκωδικοποιήσιμους και άμεσους)πετυχαίνει το ελάχιστο μέσο μήκος κώδικα

Συμβάσεις:– Ο τρόπος ανάθεσης 0 και 1– Η ταξινόμηση σε φθίνουσα σειρά (σχετίζεται με τη

διασπορά του κώδικα)

Απωλεστική Κωδικοποίηση

Θεωρία Ρυθμού - Παραμόρφωσης


Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο

μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα:

> διακριτή πηγή:– η πηγή να έχει πολύ μεγάλη εντροπία (πολλά bits/symbol)– αλλά οι πόροι (αποθήκευσης, μετάδοσης) να είναι περιορισμένοι> αναλογική πηγή: - χάνεται πληροφορία κατά την κβάντιση- άπειρο πλήθος bits για ιδανική αναπαράσταση

Συμπέρασμα:– Πολλές φορές κατά την κωδικοποίηση πηγής δε μπορώ να

φτάσω στην εντροπία– Εισάγεται κάποια παραμόρφωση– Πώς σχετίζεται η παραμόρφωση με τη συμπίεση;– Η απάντηση προαπαιτεί να οριστούν κάποια μεγέθη


Ρυθμός vs Παραμόρφωση

Αν δε μπορώ να διαθέσω H(X) bits/έξοδο,– τα σφάλματα είναι αναπόφευκτα

Ερώτηση: – Για δεδομένο ρυθμό bits/έξοδο, ποιος είναι ο ελάχιστος

ρυθμός σφαλμάτων;

Αντίστροφο Ερώτημα:– Για δεδομένη παραμόρφωση, ποιος είναι ο ελάχιστος

ρυθμός bits/έξοδο;

Αλλά, πώς ορίζεται η παραμόρφωση;


Παραμόρφωση

Κατά την κωδικοποίηση/αποκωδικοποίηση μιας πηγής, πόσο «κοντά» είναι το αναπαραχθέν σήμα στο αρχικό;

Επιθυμητές ιδιότητες μέτρου παραμόρφωσης– αντιστρόφως ανάλογο της εγγύτητας/πιστότητας (μεγάλη

εγγύτητα μικρή παραμόρφωση)– απλό και μαθηματικά εύχρηστο– να ενσωματώνει στοιχεία από τη διαδικασία αντίληψης

Παράδειγμα αντίληψης:– ηχητικό σήμα: το αυτί δεν αντιλαμβάνεται τη φάση– σήμα εικόνας: το μάτι είναι ευαίσθητο στη φάση


Παραμόρφωση (2) Παραμόρφωση Hamming (πηγές με διακριτό αλφάβητο)

Παραμόρφωση Τετραγωνικού Σφάλματος (πηγές συνεχούς αλφαβήτου)

Αν έχω ένα μπλοκ από n δείγματα πηγής, ορίζω

– είναι ο μέσος όρος των παραμορφώσεων– ανεξάρτητο της θέσης του σφάλματος μέσα στο μπλοκ

( )ˆ1,

ˆ,ˆ0,H

x xd x x

x x≠

= =

( ) ( )2ˆ ˆ,d x x x x= −

( ) ( )1

1ˆ ˆ, ,n

n ni i

id d x x

n =

= ∑x x


Παραμόρφωση (3) Η έξοδος της πηγής είναι τυχαία διαδικασία

– Η απόσταση αρχικού σήματος και αναπαραγωγής είναι επίσης τυχαία διαδικασία

Η μέση τιμή της είναι η παραμόρφωση του κωδικοποιητή

– η δεύτερη ισότητα υποθέτει στασιμότητα της πηγής– δηλαδή ότι τα δείγματα της τυχαίας διαδικασίας κάθε

χρονική στιγμή ακολουθούν την ίδια κατανομή

( ) ( )ˆ ˆ, ,n nD E d E d X X = = X X


Θεώρημα Ρυθμού-Παραμόρφωσης

Θεώρημα: Ο ελάχιστος αριθμός bits/έξοδο που απαιτείται για νααναπαραχθεί μια πηγή χωρίς μνήμη με παραμόρφωση μικρότερη ή ίσητου D ονομάζεται συνάρτηση ρυθμού-παραμόρφωσης, R(D), και είναι

( )( ) ( )

( )ˆˆ : ,

ˆmin ; ≤

=p x x E d X X D

R D I X X

Η ποσότητα I(X;Y) καλείται αμοιβαία πληροφορία– Φυσική Σημασία: τι πληροφορία μαθαίνω για την τυχαία

μεταβλητή Χ αν γνωρίζω την τυχαία μεταβλητή Υ

( ) ( ) ( );I X Y H X H X Y= −

Κβάντιση δειγμάτων

αναλογικών πηγών


Εισαγωγή Αναλογική πηγή:

– μετά από δειγματοληψία γίνεται διακριτού χρόνου– άπειρος αριθμός bits/έξοδο για τέλεια αναπαράσταση

Θεωρία Ρυθμού-Παραμόρφωσης: θεμελιώδης σχέση ανάμεσα– σε ρυθμό bits/έξοδο του κωδικοποιητή– παραμόρφωση που εισάγεται

Διάκριση Κβαντιστών

Βαθμωτός Κβαντιστής: κάθε δείγμα της πηγής κβαντίζεται (κωδικοποιείται) ξεχωριστά

Διανυσματικός Κβαντιστής: τα δείγματα κβαντίζονται κατά μπλοκ


Βαθμωτή Κβάντιση Κάθε δείγμα (έξοδος της πηγής) κβαντίζεται χωριστά

Γενικά x(n) πραγματικός αριθμός

Απαιτεί άπειρο αριθμό bits για τέλεια αναπαράσταση

Χωρίζω το σύνολο των πραγματικών σε N μη επικαλυπτόμενες περιοχές, Rk, k=1,…,N, με όρια ακ-1 και ακ

Για κάθε περιοχή επιλέγεται μια αντιπροσωπευτική τιμή

Αν η έξοδος x ανήκει στην Rk, κβαντίζεται στο

Στέλνουμε τη δυαδική αναπαράσταση της περιοχής k,

Απαιτούνται R=log2N bits/έξοδο

Παρατήρηση:

– τα bits αναπαράστασης μειώθηκαν από άπειρα σε log2N

– αλλά εισήχθηκε παραμόρφωση

ˆkxˆkx


Παράδειγμα Βαθμωτής Κβάντισης

Περιοχές:– R1=(-∞,α1]– R2=(α1, α2]– ...– R8=(α7,∞)

Τιμές κβάντισης:

1 8ˆ ˆ, ,x x


Συνάρτηση Κβάντισης Συνάρτηση Κβάντισης

Μη γραμμική Μη αναστρέψιμη

– όλα τα σημεία της Rk απεικονίζονται στο ίδιο σημείο– ένα ποσό πληροφορίας χάνεται ανεπιστρεπτί

Μέτρο στιγμιαίας παραμόρφωσης: τετραγωνικό σφάλμα

Παραμόρφωση

( ) = ∀ ∈i iQ x x x R

( ) ( )( )2 2ˆ,d x x x Q x x= − =

( ) ( )( )2 2ˆ,D E d X X E X Q X E x = = − =


Θόρυβος Κβάντισης Το τελικό (κβαντισμένο) σήμα μπορεί να εκφραστεί ως

Η δεύτερη ποσότητα (\tilde{x}) καλείται θόρυβος κβάντισης Στόχος: ο θόρυβος κβάντισης να έχει μικρή ισχύ

Πιο σημαντικός στόχος: η ισχύς του θορύβου να είναι μικρή σε σχέση με την ισχύ του αρχικού σήματος (κανονικοποίηση)

Ορισμός: Λόγος Σήματος προς Θόρυβο Κβάντισης (Signal to Quantization Noise Ratio, SQNR)

( )ˆ = = − x Q x x x

2XP E X =

2

2X

X

E X PSQNRPE X

= =


Ομοιόμορφη και Μη Ομοιόμορφη Κβάντιση

Ομοιόμορφη κβάντιση: Περιοχές ίδιου εύρους και τιμές εξόδου τα κέντρα των περιοχών

Μη Ομοιόμορφη κβάντιση: Χαλαρώνουμε τις παραπάνω συνθήκες

Αποτέλεσμα:– αν η πηγή δεν είναι ομοιόμορφη, δεν υπάρχει λόγος για

ομοιόμορφο κβαντιστή– λιγότεροι περιορισμοί κατά την ελαχιστοποίηση– ο κβαντιστής έχει καλύτερες επιδόσεις

Σχεδιασμός Κβαντιστή:– ελαχιστοποιώ την παραμόρφωση ως προς xi, αi,– δηλαδή ως προς (2Ν-1) παραμέτρους


Συνθήκες Lloyd-Max

Οι συνθήκες:

1. τα άκρα των περιοχών κβάντισης δίνονται από τον αριθμητικό μέσο των γειτονικών τιμών κβάντισης

2. οι τιμές κβάντισης είναι τα κέντρα μάζας των περιοχών κβάντισης

είναι αναγκαίες για να είναι βέλτιστος ένας βαθμωτός κβαντιστής

Ερώτημα:

– Αν ξέρω την pdf της πηγής και με βάση τις παραπάνω συνθήκες,

– μπορώ να σχεδιάσω το βέλτιστο κβαντιστή;


Αλγόριθμος Lloyd-Max Πρακτική λύση:

– ένας επαναληπτικός αλγόριθμος– οι δύο συνθήκες ικανοποιούνται εναλλάξ

Αλγόριθμος:

1. Επέλεξε τυχαία ή ομοιόμορφα τις περιοχές κβάντισης

2. Υπολόγισε τις τιμές κβάντισης ως τα κέντρα μάζας των περιοχών

3. Υπολόγισε τα άκρα των περιοχών ως το μέσο όρο των γειτονικών τιμών κβάντισης

4. Επανέλαβε τα βήματα 2 και 3 έως ότου συγκλίνει η διαδικασία

Αποτέλεσμα: με αυτόν τον τρόπο μπορώ να σχεδιάσω το βέλτιστο μη ομοιόμορφο κβαντιστή για οποιαδήποτε πηγή


Βαθμωτός vs Διανυσματικός Βαθμωτή κβάντιση: κάθε έξοδος κβαντίζεται ξεχωριστά Παράδειγμα: κβάντιση με 2bits/έξοδο


Βαθμωτός vs Διανυσματικός Διανυσματική κβάντιση: μπλοκ εξόδων κβαντίζονται

ταυτόχρονα Παράδειγμα:

– θεωρούμε δύο δείγματα εξόδου μαζί– απεικονίζονται στο επίπεδο– χωρίζω το επίπεδο σε 16 περιοχές– απαιτούνται 4 bits/ζεύγος εξόδων– δηλαδή 2bits/έξοδο– ίδιος ρυθμός με τη βαθμωτή

Ερώτηση: ποιο είναι το κέρδος;


Διανυσματική Κβάντιση Απάντηση:

– οι περιοχές μπορεί να μην είναι ορθογώνιες– έτσι μπορώ να πετύχω μικρότερη παραμόρφωση κατά την

κβάντιση– με τον ίδιο ρυθμό R


Διανυσματική Κβάντιση (2) Γενίκευση:

– μπορώ να πάρω n δείγματα εξόδου ταυτόχρονα– αυτά αναπαρίστανται στον n-διάστατο Ευκλείδιο χώρο– ο βέλτιστος κβαντιστής σχεδιάζεται στο συγκεκριμένο

χώρο

Ρυθμός:– Χωρίζω τον n-διάστατο χώρο σε K περιοχές– απαιτούνται log2K bits για να τις δεικτοδοτήσω

2log bits/έξοδο=KR

n


Βέλτιστος Διανυσματικός Κβαντιστής Κριτήρια σχεδίασης

– Γενικεύσεις του βαθμωτού1. Η περιοχή Ri είναι το σύνολο των σημείων που ικανοποιεί

2. Οι τιμές κβάντιστης είναι τα κέντρα μάζας των περιοχών

Ο σχεδιασμός του κβαντιστή γίνεται με γενίκευση του επαναληπτικού αλγορίθμου που είδαμε

{ }ˆ ˆ: ,= ∈ − < − ∀ ≠

ni i jR j ix x x x x

( ) ( )1ˆ =∈ ∫

ii R

i

f dP R Xx x x x

X


Σχόλια Η διανυσματική κβάντιση έχει πολλές εφαρμογές, π.χ.

– κωδικοποίηση ομιλίας– κωδικοποίηση video

Η διανυσματική κβάντιση για να είναι αποδοτική προϋποθέτει– συσχέτιση μεταξύ των δειγμάτων εξόδου της πηγής

(δηλαδή να έχουμε πηγή με μνήμη)– γιατί;

Αποδεικνύεται ότι – για στατικές και εργοδικές πηγές, – ο βέλτιστος διανυσματικός κβαντιστής – προσεγγίζει τα όρια της συνάρτησης ρυθμού

παραμόρφωσης για n→∞

Παράδειγμα 1:

Συμπίεση Φωνής

Τεχνικές Κωδικοποίησης Φωνής Κωδικοποίηση Φωνής: Ιδιαίτερα χρήσιμη διαδικασία αν αναλογιστούμε ότι μεγάλο μέρος της διακινούμενης πληροφορίας είναι φωνή και ότι μέσω της συμπίεσης της μπορεί να επιτευχθεί σημαντική μείωση του απαιτούμενου εύρους ζώνης (μέχρι και 4-5 φορές, χωρίς αισθητή υποβάθμιση της ποιότητας).

Γενική κατηγοριοποίηση των τεχνικών

1) Waveform Coding- Temporal - Spectral (Transform)

2) Model-based Coding

Παρόμοια κατηγοριοποίηση ισχύει και σε άλλου τύπου αναλογικές πηγές, π.χ. εικόνα ή video (η φυσική σκηνή είναι σχεδόν πάντα αναλογική)

Τεχνικές Κωδικοποίησης Φωνής


Ιεραρχική κατηγοριοποίηση των διαφόρων τεχνικών κωδικοποίησης


Ένα βασικό μοντέλο παραγωγής φωνής

Απαιτείται η εκτίμηση των εξής: Οι παράμετροι της βασικής φωνητικής οδού Το αν το φώνημα είναι εύφωνο (voiced) ή άφωνο (unvoiced) Η θεμελιώδης συχνότητα (pitch) Η μέση ισχύς του φωνήματος


Κωδικοποιητές φωνής (Vocoders) τύπου LPC (Linear Predictive Coding)

Ένας LPC Vocoder μοντελοποιεί τη φωνητική οδό ως ένα γραμμικό σύστημα τύπου all-pole με συνάρτηση μεταφοράς:

Προσδιορισμός των συντελεστών του LPC Vocoder :

min{Σ e2n} w.r.t. αk → R α = r (R = Toeplitz) (Levinson-Durbin Alg.)

To τρέχον δείγμα γράφεται ως γραμμικός συνδυασμός προηγουμένων δειγμάτων :


Διάγραμμα βαθμίδων ενός κωδικοποιητή LPC

Απαιτούμενη πληροφορία στον δέκτη:- Συντελεστές LPC (κβαντισμένοι)- Voiced/unvoiced decision- Pitch period- Gain

Τεχνικές Κωδικοποίησης ΦωνήςΔιάφορες εναλλακτικές μέθοδοι δημιουργίας του σήματος διέγερσης

στον αποκωδικοποιητή LPC

LPC Vocoder

MPE-LPC(Multipulse Excitation)

Χρήση πολλών παλμών ανά περίοδο με μεταβαλλόμενα πλάτη και θέσεις

CELP(Code Excited LP)Χρήση ενός προκαθορισμένου codebook με σήματα διέγερσης

Τεχνικές Κωδικοποίησης ΦωνήςΔιάγραμμα βαθμίδων της διαδικασίας code book search του συστήματος

κωδικοποίησης CELP (Code Excited Linear Predictive)

Οι βασικές διαδικασίες στον κωδικοποιητή CELP:

- Υπολογισμός των δύο προβλεπτών (LTP, STP) από το εκάστοτε τμήμα φωνής (Long Term & Short Term Prediction)

- Εύρεση της βέλτιστης διέγερσης (από το codebook). Το αντικειμενικό σφάλμα ανακατασκευής (error) υφίσταται περαιτέρω μετασχηματισμό σύμφωνα με τον αντιληπτικό μηχανισμό μας (perceptual masking)

Τεχνικές Κωδικοποίησης ΦωνήςΤεχνικές κωδικοποίησης που χρησιμοποιούνται σε διάφορα συστήματα

κινητών επικοινωνιών

Συστήματα 3ης γενιάς: Adaptive Multirate (AMR) speech codecΤο σύστημα επιτρέπει συμπίεση σε διαφορετικούς ρυθμούς ανάλογα με τις συνθήκες. Στον πυρήνα του συστήματος είναι η τεχνική ACELP (Algebraic CELP) που είναι κατά βάση η CELP με διαφορετικό coodbook design and search.

Πρότυπο Τύπος Υπηρεσίας

Κωδικοποιητής Φωνής

Bit Rate(kbps)

GSM Cellular RPE-LTP 13

CD-900 Cellular SBC 16

USDC (IS-54) Cellular VSELP 8

IS-95 Cellular CELP 1.2, 2.4, 4.8, 9.6

IS-95 PCS PCS CELP 14.4

PDC Cellular VSELP 4.5, 6.7, 11.2

CT2 Cordless ADPCM 32

DECT Cordless ADPCM 32

PHS Cordless ADPCM 32

DCS-1800 PCS RPE-LTP 13

PACS PCS ADPCM 32

Τεχνικές Κωδικοποίησης ΦωνήςΑξιολόγηση της απόδοσης διαφόρων τεχνικών κωδικοποίησης

με βάση τον δείκτη MOS (Mean Opinion Score)

Συμπίεση Πολυμεσικών Δεδομένωνtsantas/DownLoadFiles/Data_Compre… ·...

Documents

Transcript of Συμπίεση Πολυμεσικών Δεδομένωνtsantas/DownLoadFiles/Data_Compre… ·...