Χρήστου Νικολαΐδη - Christos Nikolaidis · 2017-07-22 · ινδιάνοι του...

∆εκέµβριος 2004

ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Εισαγωγή στη

Θεωρία της Πληροφορίας

Θεωρία & Ασκήσεις

Χρήστου Νικολαΐδη

000111000111000111000111000111000111

111111000000111111000000111111000000

000000111111000000111111000000111111

111000111000111000111000111000111000

000111000111000111000111000111000111

111111000000111111000000111111000000

000000111111000000111111000000111111

111000111000111000111000111000111000

Χρήστος Νικολαΐδης

∆ιδάκτωρ του Πανεπιστηµίου της Οξφόρδης

ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Εισαγωγή στη Θεωρία της Πληροφορίας

Θεωρία & Ασκήσεις

email: [email protected]


ΠΡΟΛΟΓΟΣ

Ως ανεξάρτητη επιστήµη, η Θεωρία της Πληροφορίας εµφανίζεται µετά το 1948, µε

τις µελέτες του Μαθηµατικού C.E. Shannon οι οποίες παρουσιάζονται σε δύο

δηµοσιεύσεις µε τίτλο “A Mathematical Theory of Telecommunications”. Θεωρία

και εφαρµογές αναπτύσσονται παράλληλα µε µια αµφίδροµη σχέση και έναν

“ξέφρενο” ρυθµό που θα δικαιολογούσε τον όρο “επανάσταση” καθώς άλλαξε τον

κόσµο των τηλεπικοινωνιών ριζικά στο δεύτερο µισό του 20ου αιώνα. Μέχρι τότε,

υπήρχε η αίσθηση ότι η βελτίωση των τηλεπικοινωνιών αφορούσε κυρίως τα

φυσικά µέσα του τηλεπικοινωνιακού συστήµατος (κεραίες, κανάλια κλπ). Ο

Shannon υπέδειξε ότι η παρέµβαση στην κωδικοποίηση µπορεί να φέρει τα

επιθυµητά αποτελέσµατα.

Η συνεργασία Τηλεπικοινωνιακών Μηχανικών και Μαθηµατικών σε ερευνητικό

επίπεδο υπήρξε στενή και µια παρουσίαση της Θεωρίας της Πληροφορίας σε

προπτυχιακό πρόγραµµα δεν µπορεί να αποφύγει στοιχεία και των δύο κλάδων.

Ωστόσο, το σύγγραµµα αυτό έχει εισαγωγικό χαρακτήρα και δεν προχωράει στη

σχολαστική ανάπτυξη του θέµατος. Απευθύνεται στον αναγνώστη που ψάχνει το

ερέθισµα, που επιθυµεί να καταλάβει τι συµβαίνει στο παρασκήνιο των

τηλεπικοινωνιών από την άποψη της Θεωρίας της Πληροφορίας, χωρίς να

περιπλανηθεί στα «βαριά µαθηµατικά» που αποτελούν το θεωρητικό υπόβαθρο του

αντικειµένου. Αποφεύγονται οι µακροσκελείς και οι δυσνόητες αποδείξεις και όπου

κρίνεται σκόπιµο αυτές αναπτύσσονται περιγραφικά.

Αν και Μαθηµατικός, προσπαθώ να περιορίσω το µαθηµατικό περιβάλλον της

παρουσίασης αυτής, στο βαθµό βέβαια που αυτό είναι δυνατό, και αυτό γίνεται

συνειδητά – νιώθω απαλλαγµένος από το σύµπλεγµα της “επιστηµονικοφανούς”

ανάπτυξης ενός θέµατος µε την προσθήκη δυσνόητων εννοιών και εκφράσεων και

λαµβάνω µόνο υπόψη τον εισαγωγικό χαρακτήρα του συγγράµµατος. ∆εν αποτελεί

πράξη αγνωµοσύνης προς τα Μαθηµατικά, αλλά αντίθετα, ένδειξη σεβασµού και

προσπάθεια “θωράκισης” της επιστήµης αυτής. Συµβαίνει πολύ συχνά να

χανόµαστε στο δρόµο περίπλοκων µαθηµατικών πράξεων χωρίς να βλέπουµε το

τελικό επίτευγµα. Είναι άδικο να στήνεται στο απόσπασµα µια αδιαµφισβήτητη

επιστήµη – επιτρέψτε µου την αλαζονεία! – µόνο και µόνο επειδή ο φορµαλισµός

της δεν τη βοηθάει.

Ο απαιτητικός λοιπόν µελετητής, µπορεί να δει το συγκεκριµένο σύγγραµµα ως

ερέθισµα και από εκεί και πέρα να προχωρήσει, αν το επιθυµεί, σε πιο

εξειδικευµένη βιβλιογραφία στη Θεωρία της Πληροφορίας ή ακόµη και στους

Κώδικες ∆ιόρθωσης Σφαλµάτων. Υπάρχει εξάλλου πλούσια.

Το σύγγραµµα αφιερώνεται στους πρώτους αποδέκτες του, τους σπουδαστές του

τµήµατος Τεχνολογίας Πληροφορικής & Τηλεπικοινωνιών του ΤΕΙ Λάρισας. Μέσα

από τα µαθήµατά µου, τις παρατηρήσεις τους, τις συζητήσεις µας και την υποµονή

τους διαµορφώθηκε το παρόν υλικό. Τους ευχαριστώ.

∆ρ Χρήστος Νικολαΐδης


i

ΠΕΡΙΕΧΟΜΕΝΑ

• ΚΕΦΑΛΑΙΟ 1: ΕΙΣΑΓΩΓΗ

1.1 Μια ιδέα για το αντικείµενο 1

1.2 Η Θεωρία της Πληροφορίας 4

Ασκήσεις 11

Σύντοµες Απαντήσεις των Ασκήσεων 12

• ΚΕΦΑΛΑΙΟ 2: ΜΕΤΡΟ ΠΛΗΡΟΦΟΡΙΑΣ – ΕΝΤΡΟΠΙΑ

2.1 Τι είναι Πληροφορία – Πως τη µετράµε 13

2.2 Η Αυτοπληροφορία 14

2.3 Η Εντροπία 16

2.4 Το νόηµα της εντροπίας 19

2.5 Συνδετική Εντροπία 19

2.6 Υπό Συνθήκη Εντροπία 22

2.7 Επέκταση της Πηγής Πληροφορίας 24

Ασκήσεις 26


• ΚΕΦΑΛΑΙΟ 3: ΚΑΝΑΛΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

3.1 Τι είναι Κανάλι Πληροφορίας 29

3.2 Βασικά Χαρακτηριστικά ενός Καναλιού 29

3.3 Έννοιες Εντροπίας σε ένα Σύστηµα Επικοινωνίας 35

3.4 Χωρητικότητα του Καναλιού 36

3.5 Χωρητικότητες Απλών Καναλιών 38

Ασκήσεις 42


ii

• ΚΕΦΑΛΑΙΟ 4: ΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ

4.1 Τι σηµαίνει κατάλληλη Κωδικοποίηση 49

4.2 Κώδικας Shannon-Fano 53

4.3 Αποκωδικοποίηση 57

4.4 ∆υαδικά δέντρα για Προθεµατικούς Κώδικες 59

4.5 Το πρώτο Θεώρηµα του Shannon 61

4.6 Κώδικας Huffman 63

Ασκήσεις 67


• ΚΕΦΑΛΑΙΟ 5: ΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ

5.1 Το δεύτερο Θεώρηµα του Shannon 76

5.2 Ανίχνευση Σφαλµάτων – ∆ιόρθωση Σφαλµάτων 78

5.3 Bit Ελέγχου Ισοτιµίας 80

5.4 Γραµµικοί Κώδικες ∆ιόρθωσης Σφαλµάτων 81

5.5 Ελάχιστη Απόσταση, Ανίχνευση και ∆ιόρθωση Σφαλµάτων 84

5.6 Επαναληπτικοί Κώδικες 88

5.7 Κώδικες Hamming, H(3) 89

Ασκήσεις 92


• ΠΑΡΑΡΤΗΜΑΤΑ

ΠΑΡΑΡΤΗΜΑ Α’ : ΛΟΓΑΡΙΘΜΟΙ 99

ΠΑΡΑΡΤΗΜΑ B’ : ΠΙΝΑΚΕΣ 101

ΠΑΡΑΡΤΗΜΑ Γ’ : ΠΙΘΑΝΟΤΗΤΕΣ 103

iii

• ΑΝΑΛΥΤΙΚΕΣ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ

Λύσεις Κεφαλαίου 1 107





• ΒΙΒΛΙΟΓΡΑΦΙΑ 153

ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΧΡΗΣΤΟΣ ΝΙΚΟΛΑΪΔΗΣ

1

1. ΕΙΣΑΓΩΓΗ

1.1 ΜΙΑ Ι∆ΕΑ ΓΙΑ ΤΟ ΑΝΤΙΚΕΙΜΕΝΟ

Ένα χωριό ινδιάνων Α δέχεται συχνά εχθρικές επιθέσεις. Συνεννοούνται λοιπόν οι

ινδιάνοι του χωριού µε το γειτονικό σύµµαχο χωριό να καλούν βοήθεια – ή να

ειδοποιούν ότι δεν την χρειάζονται - µε τη χρήση καπνού. Σχηµατίζουν κάθε πρωί

στον ουρανό δύο σύννεφα καπνού, µεγάλα ή µικρά, για να εκφράσουν το µήνυµά

τους. Το δεύτερο σύννεφο απέχει από το πρώτο γύρω στα 10 λεπτά (έχουν τον

τρόπο να µετράνε το χρόνο!). Τα µηνύµατα τα εκφράζουν ως εξής:

ΣΥΝΝΕΦΑ ΚΑΠΝΟΥ ΜΗΝΥΜΑ

µικρό µικρό ΜΕΓΑΛΟΣ ΚΙΝ∆ΥΝΟΣ – ΑΜΕΣΗ ΒΟΗΘΕΙΑ

µικρό µεγάλο ΚΙΝ∆ΥΝΟΣ – ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ

µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ∆ΥΝΟΣ – ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ

µεγάλο µεγάλο ΚΑΝΕΝΑΣ ΚΙΝ∆ΥΝΟΣ

Έλα όµως που χρειάζονται βοήθεια σχεδόν 200 από τις 365 ηµέρες του χρόνου,

οπότε η καθυστέρηση των 10 λεπτών είναι σηµαντική! Την επόµενη χρονιά ο

«τηλεπικοινωνιακός µάγος» της φυλής σκέφτεται πως την ΑΜΕΣΗ ΒΟΗΘΕΙΑ, την

οποία χρειάζονται πιο συχνά, θα είναι προτιµότερο να την καλούν µε ένα µόνο

σύννεφο ώστε να αποφεύγουν την καθυστέρηση των 10 λεπτών. Έτσι τροποποιεί

τον «κώδικα επικοινωνίας» ως εξής.


µικρό ΚΙΝ∆ΥΝΟΣ – ΑΜΕΣΗ ΒΟΗΘΕΙΑ

µεγάλο µικρό ΚΙΝ∆ΥΝΟΣ – ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ

µεγάλο µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ∆ΥΝΟΣ – ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ

µεγάλο µεγάλο µεγάλο µικρό ΚΑΝΕΝΑΣ ΚΙΝ∆ΥΝΟΣ

Το σκεπτικό είναι να τελειώνει το µήνυµα όταν εµφανίζεται το µικρό σύννεφο.

Αµέσως µετά ο µάγος σκέφτεται ότι στο τέταρτο µήνυµα το µικρό σύννεφο είναι

περιττό, διότι µε τρία µεγάλα σύννεφα θα καταλάβουν οι σύµµαχοι ότι το µήνυµα

είναι «ΚΑΝΕΝΑΣ ΚΙΝ∆ΥΝΟΣ». Βελτιώνει λοιπόν ακόµη περισσότερο τον κώδικα

επικοινωνίας ως εξής:


2


µικρό ΚΙΝ∆ΥΝΟΣ – ΑΜΕΣΗ ΒΟΗΘΕΙΑ

µεγάλο µικρό ΚΙΝ∆ΥΝΟΣ – ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ

µεγάλο µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ∆ΥΝΟΣ – ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ

µεγάλο µεγάλο µεγάλο ΚΑΝΕΝΑΣ ΚΙΝ∆ΥΝΟΣ

Έτσι λοιπόν στις περίπου 200 ηµέρες «ξεκαθαρίζουν» το µήνυµά τους µε ένα µόνο

σύννεφο και έχουν πράγµατι άµεση βοήθεια. Ουσιαστικά οι ινδιάνοι κατασκεύασαν

ένα δυαδικό σύστηµα επικοινωνίας όπου

µικρό σύννεφο = 0 µεγάλο σύννεφο = 1

και µε αντίστοιχους κώδικες

ΚΩ∆ΙΚΑΣ 1 ΚΩ∆ΙΚΑΣ 2

00 0

01 10

10 110

11 111

Αφού παρατήρησαν ότι ο κώδικας 1 δεν ήταν αποδοτικός - σπαταλούσαν άσκοπα

τον ίδιο χρόνο για όλα τα µηνύµατα ενώ αυτά δεν ήταν ισοπίθανα - βελτίωσαν τον

κώδικά τους, στέλνοντας ένα σήµα για το πιο συχνό µήνυµα και τρία για τα πιο

απίθανα. Έτσι, κατά µέσο όρο, µείωσαν το χρόνο αποστολής του µηνύµατος.

Πρόκειται, όπως θα δούµε, για ένα τηλεπικοινωνιακό σύστηµα χωρίς θόρυβο,

όπου ο κύριος στόχος είναι η ταχύτητα µετάδοσης του µηνύµατος. Λέµε χωρίς

θόρυβο καθώς δεν εξετάζουµε το ενδεχόµενο να αλλοιωθεί το µήνυµά µας, να

µετατραπεί δηλαδή κάποιο σύννεφο από µικρό σε µεγάλο ή το αντίστροφο.

ΕΡΩΤΗΜΑ 1. Μπορούµε πάντοτε να βελτιώνουµε τον κώδικά µας; Πως και µέχρι

πού φτάνει η βελτίωση;

Σε ένα άλλο χωριό ινδιάνων Β τα πράγµατα είναι πιο απλά. Εδώ τα µηνύµατα είναι

µόνο δύο οπότε χρησιµοποιούν µόνο ένα σύννεφο


µικρό ΚΙΝ∆ΥΝΟΣ – ΒΟΗΘΕΙΑ

µεγάλο ΚΑΝΕΝΑΣ ΚΙΝ∆ΥΝΟΣ


3

Οι πιθανότητες να δεχτούν επίθεση ή όχι είναι περίπου ίδιες οπότε δεν υπάρχει

παρόµοιο ζήτηµα µε αυτό του χωριού Α. Το πρόβληµα όµως είναι αλλού. Λόγω

των ισχυρών ανέµων και της οµίχλης συµβαίνει πολλές φορές το µικρό σύννεφο

να σκορπίζεται και να φαίνεται µεγάλο καθώς και το αντίστροφο. Υπάρχει, θα

λέγαµε, αλλοίωση του µηνύµατος. Βλέπουν λοιπόν βοήθεια εκεί που δεν την

περιµένουν ενώ συχνά όταν έχουν ανάγκη οι σύµµαχοί τους χορεύουν το χορό της

ειρήνης αµέριµνοι! Εδώ ο «µάγος» σκέφτεται ότι θα ήταν πιο λογικό την

πραγµατική πληροφορία να την επαναλαµβάνει 5 φορές ώστε να είναι πιο

σίγουρος ότι το µήνυµα θα φτάσει σωστά. Με τον τρόπο αυτό, ακόµη και δύο

φορές να συµβεί λάθος στο σύννεφο καπνού, οι σύµµαχοι θα καταλάβουν ποιο

ήταν το αρχικό µήνυµα.

Εδώ οι ινδιάνοι χρησιµοποίησαν τους δυαδικούς κώδικες

ΚΩ∆ΙΚΑΣ 1 ΚΩ∆ΙΚΑΣ 2

0 0 0 0 0 0

1 1 1 1 1 1

Στον δεύτερο απλά πρόσθεσαν πλεονάζουσα πληροφορία.

Πρόκειται για ένα τηλεπικοινωνιακό σύστηµα µε θόρυβο καθώς υπάρχει

αλλοίωση του µηνύµατος κατά τη µετάδοση. Μπορεί βέβαια να καθυστερεί το

µήνυµα λόγω της πλεονάζουσας πληροφορίας που στέλνουµε, αλλά αυτό είναι το

αντίτιµο για τη δυνατότητα διόρθωσης του µηνύµατος, που αποτελεί και τον κύριο

στόχο του συστήµατος αυτού. Αν η πιθανότητα να συµβεί λάθος από τους ανέµους

ήταν ακόµη µεγαλύτερη ίσως θα έπρεπε να µεγαλώσουµε ακόµη περισσότερο τις

κωδικές µας λέξεις.

ΕΡΩΤΗΜΑ 2. Πόσο µπορούµε να µεγαλώσουµε το µήνυµά µας ώστε να έχουµε από

τη µια ικανοποιητικό χρόνο µετάδοσης και από την άλλη αξιοπιστία όσον αφορά

την ορθή µετάδοση του µηνύµατος; Ποια είναι δηλαδή η χρυσή τοµή; Αυτό

εξαρτάται βέβαια από τους ανέµους και την πιθανότητα να συµβεί παραµόρφωση

στο µήνυµα, από τις δυνατότητες δηλαδή του «καναλιού» επικοινωνίας.

Χρησιµοποιώ αυτό το «πρωτόγονο» παράδειγµα επικοινωνίας για να δείξω ότι στο

σύγγραµµα αυτό δεν µας απασχολούν τα φυσικά χαρακτηριστικά ενός

τηλεπικοινωνιακού συστήµατος. ∆εν εξετάζουµε ούτε το είδος της πηγής που

στέλνει τα µηνύµατα, ούτε τον τύπο του καναλιού, ούτε τις συσκευές που


4

αποτελούν µέρος του συστήµατος. Μας απασχολεί µόνο η µετάδοση της

ΠΛΗΡΟΦΟΡΙΑΣ, η κωδικοποίησή της σε µια σειρά από σύµβολα που

αναγνωρίζονται από το σύστηµά µας, η αποκωδικοποίησή της, η πιθανή αλλοίωση

της κωδικοποιηµένης πληροφορίας και η παρέµβασή µας στην κωδικοποίηση ώστε

να αποκαταστήσουµε πιθανά σφάλµατα κατά τη µετάδοση, διατηρώντας µια

ικανοποιητική ταχύτητα µετάδοσης. Τόσο οι δορυφορικές επικοινωνίες όσο και η

αποστολή µηνυµάτων µε σύννεφα καπνού αντιµετωπίζονται ενιαία από τη ΘΕΩΡΙΑ

ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ. Επιµέρους ζητήµατα που αφορούν συγκεκριµένα τηλεπι-

κοινωνιακά συστήµατα θα αναλυθούν ξεχωριστά, σε αντίστοιχα µαθήµατα. Εδώ

εξάλλου µιλάµε για Αρχές Τηλεπικοινωνιών.

Για να απαντήσουµε στα ερωτήµατα 1 και 2, χρειαζόµαστε κάποια εργαλεία. Πρέπει

να µπορούµε να µετράµε, µε κάποιο τρόπο, τον όγκο της πληροφορίας που

µεταδίδεται (αυτό αργότερα θα το ονοµάσουµε ΠΛΗΡΟΦΟΡΙΑΚΟ ΠΕΡΙΕΧΟΜΕΝΟ ή

ΑΥΤΟΠΛΗΡΟΦΟΡΙΑ). Πρέπει να µπορούµε να µετράµε τη βεβαιότητα ή την

αβεβαιότητα που έχουν τα µηνύµατα της πηγής (θυµηθείτε πόσο πιο βέβαια είναι

κάποια µηνύµατα σε σχέση µε κάποια άλλα στο χωριό Α και πώς αυτό επηρέασε

την κωδικοποίηση). Η µέση αβεβαιότητα για τα µηνύµατα της πηγής εκφράζει τη

δυναµική της, τη δυνατότητα της πηγής να εκφράσει πληροφορία, κατά κάποιο

τρόπο τη δυνατότητα να παράγει ένα είδος έργου (το µέγεθος της δυναµικής

αυτής παραπέµπει στην ΕΝΤΡΟΠΙΑ της πηγής). Τέλος, πρέπει να µπορούµε να

µετράµε τις ιδιότητες του καναλιού, όσον αφορά την ορθή ή όχι µετάδοση των

µηνυµάτων και πώς µπορούµε να εκµεταλλευτούµε τις ιδιότητες αυτές ώστε να

στέλνουµε όσο το δυνατό περισσότερη πληροφορία µέσα από το κανάλι (θα

εισαγάγουµε για το σκοπό αυτό τη ΧΩΡΗΤΙΚΟΤΗΤΑ του καναλιού).

Την απάντηση στα ερωτήµατα 1 και 2 θα τη δώσει ο Shannon, o οποίος,

χρησιµοποιώντας τα παραπάνω εργαλεία, απέδειξε ότι έχουµε απεριόριστες

δυνατότητες να βελτιώνουµε τον κώδικά µας (λαµβάνοντας υπόψη βέβαια

κάποιους περιορισµούς).

1.2 Η ΘΕΩΡΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ

Ένα σύστηµα επικοινωνίας έχει τη µορφή

ΠΟΜΠΟΣ ΔΕΚΤΗΣ

ΜΕΣΟ


5

Μιλάµε για µετάδοση πληροφορίας που στέλνεται από κάποιον ποµπό, περνάει από

κάποιο µέσο και φτάνει τελικά στο δέκτη. Όταν λέµε µετάδοση πληροφορίας

µπορεί να εννοούµε

• µετάδοση ήχου µέσω ενσύρµατης τηλεφωνικής γραµµής

• µετάδοση ραδιοφωνικού σήµατος

• µετάδοση εικόνας µέσω δορυφόρου

• µετάδοση δεδοµένων από την κεντρική µνήµη του υπολογιστή σε µια

δισκέτα

• ή, γιατί όχι, µετάδοση σηµάτων καπνού!

Ανάλογα µε τη σκοπιά από την οποία εξετάζουµε ένα σύστηµα επικοινωνίας,

µπορούµε να αναλύσουµε ακόµη περισσότερο το παραπάνω βασικό σχήµα. Να

προσθέσουµε πχ. µεταλλάκτες που µετατρέπουν το µήνυµα σε σήµα ηλεκτρικών

παλµών, να εκφράσουµε τη διαµόρφωση του σήµατος, να περιγράψουµε τα

τεχνικά χαρακτηριστικά µιας κεραίας κλπ. Για τους σκοπούς της Θεωρίας της

Πληροφορίας µας ικανοποιεί η επόµενη ανάλυση:

Η πηγή του συστήµατος παρέχει πληροφορία µε τη µορφή συµβόλων. Το σύνολο

των συµβόλων αυτών αποτελούν το αλφάβητο της πηγής.

Ο κωδικοποιητής µετατρέπει τα σύµβολα της πληροφορίας σε κωδικά σύµβολα που

αναγνωρίζονται από το σύστηµα. Τα σύµβολα αυτά αποτελούν το αλφάβητο της

κωδικοποίησης. Πχ. ένα µήνυµα µπορεί να µετατραπεί σε µια σειρά δυαδικών

ψηφίων µε αλφάβητο κωδικοποίησης 0,1 ή σε µια σειρά από τελείες και παύλες

µε ενδιάµεσα κενά, όπως γίνεται στα σήµατα Morse µε αλφάβητο κωδικοποίησης

• , , κενό. Έτσι το κάθε σύµβολο που εκπέµπεται αρχικά από την πηγή

αντιστοιχεί σε µία κωδική λέξη. Το σύνολο των κωδικών λέξεων αποτελεί τον

κώδικα. Ο κώδικας λοιπόν είναι κατά κάποιο τρόπο το λεξικό της επικοινωνίας

ΚΑΝΑΛΙ ΠΗΓΗ

ΚΩΔΙΚΟ

ΠΟΙΗΤΗΣ

ΘΟΡΥΒΟΣ

Κωδικό

µήνυµα

Παραµορφωµένο

Κωδικό µήνυµα

ΑΠΟΚΩΔΙΚΟ

ΠΟΙΗΤΗΣ

ΤΕΛΙΚΟΣ

ΑΠΟΔΕΚΤΗΣ


6

καθώς περιέχει όλα τα δυνατά µηνύµατα που µεταδίδονται στο σύστηµά µας µε τη

µορφή κωδικών λέξεων.

Το κανάλι αποτελείται από τα µέσα και τις συσκευές που µεταδίδουν το σήµα από

τον ποµπό στον δέκτη. Είναι πολύ πιθανό το κωδικοποιηµένο µήνυµα που

διοχετεύεται στο κανάλι να αλλοιωθεί, δηλαδή κάποια από τα κωδικά σύµβολα να

τροποποιηθούν για διάφορους λόγους (κακή ποιότητα καναλιού, καιρικές

συνθήκες, παρεµβολές κλπ). Το σύνολο των αλλοιώσεων αυτών θα ονοµάζεται

θόρυβος. Το µήνυµα που θα φτάσει στην έξοδο του καναλιού, παραµορφωµένο ή

µη, θα περάσει από τον αποκωδικοποιητή, ο οποίος θα το αποκαταστήσει στην

αρχική του µορφή, και θα καταλήξει στον τελικό αποδέκτη.

ΠΑΡΑ∆ΕΙΓΜΑ 1 : Κώδικας Morse

Αλφάβητο Πηγής

(λατινικό) Κωδική Λέξη


(ελληνικό) A • Α

B • • • Β C • • Θ D • • ∆ E • Ε

F • • • Φ G • Γ H • • • • Η I • • Ι

J • K • Κ L • • • Λ M Μ

N • Ν O Ο P • • Π Q • Ψ

R • • Ρ S • • • Σ T Τ U • •

V • • • W • Ω X • • Ξ Y • Υ

Z • • Ζ Χ

Πρόκειται για ένα συµβατικό αλφάβητο το οποίο χρησιµοποιεί αντί των

συνηθισµένων γραµµάτων, συνδυασµούς από τελείες ( • ) και παύλες ( ),


7

ουσιαστικά σειρά ηλεκτρικών ρευµατικών παλµών µικρής ή µεγάλης διάρκειας. Η

χρονική διάρκεια της παύλας είναι τριπλάσια από αυτήν της τελείας.

Η χρονική απόσταση ανάµεσα στις τελείες ή παύλες του ίδιου γράµµατος είναι ίση

µε µια τελεία, ανάµεσα στα γράµµατα είναι ίση µε τρεις τελείες, ενώ ανάµεσα σε

λέξεις είναι ίση µε επτά τελείες. Αν και εδώ δεν σηµειώνουµε µε κάποιον

συγκεκριµένο τρόπο τα κενά ανάµεσα στις τελείες και τις παύλες, θα λέγαµε ότι το

αλφάβητο της κωδικοποίησης είναι το • , , κενό.

Για παράδειγµα, όταν µια πηγή στέλνει το µήνυµα του κινδύνου SOS, ο

κωδικοποιητής το µετατρέπει σε (δείχνουµε µε το “/” το διαχωρισµό γραµµάτων)

• • • / / • • •

Εδώ θεωρούµε ότι δεν υπάρχει θόρυβος, οπότε στην αποκωδικοποίηση το

παραπάνω µήνυµα θα µετατραπεί ξανά σε SOS για να φτάσει η πληροφορία στον

τελικό αποδέκτη.

Παρατηρήστε ότι τα γράµµατα Ε και Τ που εµφανίζονται πιο συχνά στην αγγλική

γλώσσα κωδικοποιούνται µε µικρές κωδικές λέξεις. Αντίθετα γράµµατα όπως το Q

ή το Y που εµφανίζονται σπάνια κωδικοποιούνται µε µεγαλύτερες κωδικές λέξεις.

Βέβαια στο ελληνικό αλφάβητο η αντιστοίχιση δεν γίνεται µε το ίδιο ακριβώς

σκεπτικό (αν και θα έπρεπε ώστε να έχουµε καλύτερη απόδοση) για λόγους

ευκολότερης µετάβασης από το ένα αλφάβητο στο άλλο.

Ας δούµε και ένα παράδειγµα µε θόρυβο.

ΠΑΡΑ∆ΕΙΓΜΑ 2

Έστω ότι θέλουµε να στείλουµε τις λέξεις ΝΑΙ ή ΟΧΙ από µια πηγή σε έναν δέκτη,

αλλά είναι πολύ πιθανό να συµβεί λάθος στη µετάδοση. Η πηγή στέλνει δύο

σύµβολα

1 = ΝΑΙ 0 = ΟΧΙ

Αν συµβεί σφάλµα, το µήνυµα θα αλλάξει και θα λάβουµε λάθος πληροφορία. Έτσι

χρησιµοποιούµε τον κώδικα που επαναλαµβάνει το σύµβολο 5 φορές


8

000000 →

111111 →

Οπότε, π.χ.

Η πηγή στέλνει: ΝΑΙ

Ο κωδικοποιητής το µετατρέπει σε: 11111 (κωδική λέξη)

Ο θόρυβος το αλλοιώνει πχ σε: 11101

Ο αποκωδικοποιητής το επαναφέρει: 11111

Και το παραδίδει στον τελικό αποδέκτη: ΝΑΙ

Τέλος, αναφέρουµε ένα παράδειγµα κωδικοποίησης από το χώρο των Η/Υ

ΠΑΡΑ∆ΕΙΓΜΑ 3 : Κώδικας ASCII

Για τη δυαδική αναπαράσταση των αγγλικών γραµµάτων καθώς και άλλων

συµβόλων στους Η/Υ χρησιµοποιείται από το 1968 ο κώδικας ASCII (American

Standard Code for Information Interchange) ο οποίος αντιστοιχεί σε κάθε γράµµα

µια κωδική λέξη από 7 bits. Ο κώδικας περιέχει 128 κωδικές λέξεις. Για

παράδειγµα, ένα τµήµα του κώδικα είναι:


Κωδική Λέξη





A 1000001 a 1100001 ! 0100001 B 1000010 b 1100010 $ 0100100 C 1000011 c 1100011 @ 1000000 D 1000100 d 1100100 1 0110001 E 1000101 e 1100101 2 0110010 F 1000110 f 1100110 3 0110011

… … …

Αργότερα προστέθηκε και ένα όγδοο bit. Μπροστά από τις παραπάνω κωδικές

λέξεις προστέθηκε το ψηφίο 0, ενώ δηµιουργήθηκε η δυνατότητα αναπαράστασης

128 επιπλέον συµβόλων που αρχίζουν από το ψηφίο 1 (η επέκταση αυτή είναι

γνωστή ως extended ASCII). Βέβαια η επέκταση δεν είναι µοναδική, αλλάζει

ανάλογα µε την εφαρµογή. Μια επέκταση ASCII που αναπαριστά και τα γράµµατα

του ελληνικού αλφαβήτου δίνεται στον πίνακα της επόµενης σελίδας. Άλλες

επεκτάσεις συµφωνούν βέβαια στα πρώτα 128 σύµβολα αλλά µπορεί να διαφέρουν

στα 128 πρόσθετα σύµβολα.


9

Εδώ πρέπει να σηµειώσουµε ότι ο κώδικας ASCII δεν ακολουθεί ούτε τη λογική

του Παραδείγµατος 1 (όπου στα πιο συχνοεµφανιζόµενα γράµµατα αντιστοιχίζουµε

µικρότερες κωδικές λέξεις) ούτε εκείνη του Παραδείγµατος 2 (όπου

επισυνάπτουµε πλεονάζοντα bits µε σκοπό τον εντοπισµό λαθών κατά τη

µετάδοση). Πρόκειται για µια απλοϊκή κωδικοποίηση όπου το µόνο που µας

ενδιαφέρει είναι η 1-1 αντιστοίχιση συµβόλων και δυαδικών κωδικών λέξεων. Από

την άποψη αυτή ο συγκεκριµένος κώδικας δεν είναι αποδοτικός ούτε σε

περιβάλλον µε θόρυβο ούτε σε περιβάλλον χωρίς θόρυβο.

Ως ανεξάρτητη επιστήµη η Θεωρία της Πληροφορίας εµφανίζεται µετά το 1948, µε

τις µελέτες του Μαθηµατικού C.E. Shannon, οι οποίες παρουσιάζονται σε δύο

δηµοσιεύσεις µε τίτλο “A Mathematical Theory of Telecommunications”. Θεωρία

και εφαρµογές αναπτύσσονται παράλληλα µε µια αµφίδροµη σχέση και έναν

“ξέφρενο” ρυθµό που θα δικαιολογούσε τον όρο “επανάσταση” καθώς άλλαξε τον

κόσµο των τηλεπικοινωνιών ριζικά στο δεύτερο µισό του 20ου αιώνα. Μέχρι τότε,

υπήρχε η αίσθηση ότι η βελτίωση των τηλεπικοινωνιών αφορούσε κυρίως τα

φυσικά µέσα του τηλεπικοινωνιακού συστήµατος (κεραίες, κανάλια κλπ). Ο

Shannon υπέδειξε ότι η παρέµβαση στην κωδικοποίηση µπορεί να φέρει τα

επιθυµητά αποτελέσµατα.

Η συνεργασία Τηλεπικοινωνιακών Μηχανικών και Μαθηµατικών σε ερευνητικό

επίπεδο υπήρξε στενή και µια παρουσίαση της Θεωρίας της Πληροφορίας σε

προπτυχιακό πρόγραµµα δεν µπορεί να αποφύγει στοιχεία και των δύο κλάδων.

Ωστόσο, για την κατανόηση του αντικειµένου, αποφεύγονται οι µακροσκελείς και

οι δυσνόητες µαθηµατικές αποδείξεις και όπου κρίνεται σκόπιµο αναπτύσσονται

περιγραφικά.


10

! 00100001 A 01000001 a 01100001 Α 11000001 α 11100001

" 00100010 B 01000010 b 01100010 Β 11000010 β 11100010

# 00100011 C 01000011 c 01100011 Γ 11000011 γ 11100011

$ 00100100 D 01000100 d 01100100 ∆ 11000100 δ 11100100

% 00100101 E 01000101 e 01100101 Ε 11000101 ε 11100101

& 00100110 F 01000110 f 01100110 Ζ 11000110 ζ 11100110

' 00100111 G 01000111 g 01100111 Η 11000111 η 11100111

( 00101000 H 01001000 h 01101000 Θ 11001000 θ 11101000

) 00101001 I 01001001 i 01101001 Ι 11001001 ι 11101001

* 00101001 J 01001010 j 01101010 Κ 11001010 κ 11101010

+ 00101011 K 01001011 k 01101011 Λ 11001011 λ 11101011

, 00101100 L 01001100 l 01101100 Μ 11001100 µ 11101100

- 00101101 M 01001101 m 01101101 Ν 11001101 ν 11101101

. 00101110 N 01001110 n 01101110 Ξ 11001110 ξ 11101110

/ 00101111 O 01001111 o 01101111 Ο 11001111 ο 11101111

0 00110000 P 01010000 p 01110000 Π 11010000 π 11110000

1 00110001 Q 01010001 q 01110001 Ρ 11010001 ρ 11110001

2 00110010 R 01010010 r 01110010 ς 11110010

3 00110011 S 01010011 s 01110011 Σ 11010011 σ 11110011

4 00110100 T 01010100 t 01110100 Τ 11010100 τ 11110100

5 00110101 U 01010101 u 01110101 Υ 11010101 υ 11110101

6 00110110 V 01010110 v 01110110 Φ 11010110 φ 11110110

7 00110111 W 01010111 w 01110111 Χ 11010111 χ 11110111

8 00111000 X 01011000 x 01111000 Ψ 11011000 ψ 11111000

9 00111001 Y 01011001 y 01111001 Ω 11011001 ω 11111001

: 00111010 Z 01011010 z 01111010

Περιέχει βέβαια και άλλα σύµβολα. Εδώ αναφέρονται τα πιο σηµαντικά

; 00111011 [ 01011011 01111011

< 00111100 \ 01011100 | 01111100

= 00111101 ] 01011101 01111101

> 00111110 ^ 01011110 ~ 01111110

? 00111111 _ 01011111 DEL 01111111

@ 01000000 ` 01100000

Πίνακας 1. Extended ASCII (8-bits) που περιλαµβάνει και ελληνικούς χαρακτήρες.


11

ΑΣΚΗΣΕΙΣ

1.1 Έστω ότι στο παράδειγµα του χωριού Α η συχνότητα των τεσσάρων

µηνυµάτων στη διάρκεια µιας χρονιάς είναι 200 ηµέρες, 100 ηµέρες, 50 ηµέρες και

15 ηµέρες αντίστοιχα. Ποιος είναι ο συνολικός χρόνος αναµονής για τη λήψη

µηνυµάτων κατά τη διάρκεια µιας χρονιάς για καθεµιά από τις δύο κωδικοποιήσεις

που περιγράφονται; Πόση διάρκεια έχει κατά µέσο όρο ένα µήνυµα σε κάθε

κωδικοποίηση; Τι συµπέρασµα βγάζετε;

1.2 Έστω ότι στο παράδειγµα του χωριού Β επαναλαµβάνεται το ίδιο µήνυµα 7

φορές. Μέχρι πόσες φορές µπορεί να µεταδοθεί λανθασµένα το µήνυµα χωρίς

ωστόσο να βγει λάθος τελικό συµπέρασµα;

1.3 Έστω ότι ένας µετεωρολογικός σταθµός (δηλ. η πηγή) στέλνει τη θερµοκρασία

της ατµόσφαιρας στο κέντρο (δηλ. στο δέκτη) σε ακέραιες τιµές, από -20 µέχρι

+43. Ποιο είναι το αλφάβητο της πηγής; Αν στέλνεται το µήνυµα µε δυαδικές

κωδικές λέξεις σταθερού µήκους, ποιο πρέπει να είναι (τουλάχιστον) το µήκος

αυτό; Πώς θα µπορούσαµε να βελτιώσουµε τον κώδικά µας αν ο σταθµός

βρισκόταν στην Κρήτη;

1.4 Κωδικοποιήστε τις λέξεις «ΤΕΝΤΑ» και «ΒΥΘΟΣ» σύµφωνα µε τον κώδικα

Morse. Που οφείλεται η διαφορά στο µήκος των κωδικών λέξεων που βρήκατε;

1.5 Ποια είναι η δυαδική κωδική αναπαράσταση του µηνύµατος «ΚΑΛΟΣ»

σύµφωνα µε τον Extended ASCII κώδικα του πίνακα 1; Κατά την αποθήκευση του

µηνύµατος αυτού σε µια δισκέτα αλλοιώνεται το 24ο bit της δυαδικής σειράς. Ποια

λέξη θα αποθηκευτεί στη δισκέτα; Τι συµπέρασµα βγάζετε για την απόδοση του

κώδικα ASCII σε περιβάλλον µε θόρυβο;


12

ΣΥΝΤΟΜΕΣ ΑΠΑΝΤΗΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ

1.1 1η: 3650 λεπτά, άρα 10 λεπτά κατά µέσο όρο

2η: 2300 λεπτά, άρα 6,3 λεπτά κατά µέσο όρο

1.2 Μέχρι 3 φορές.

1.3 Α=-20,-19,-18, ... , 42, 43 (64 σύµβολα), µήκος = 6

1.4 Η λέξη ΒΥΘΟΣ αντιστοιχεί σε περισσότερα κωδικά σύµβολα διότι περιέχει

πιο σπάνια γράµµατα του αλφαβήτου απ’ ότι η λέξη ΤΕΝΤΑ

1.5 Αποτέλεσµα = «ΚΑΚΟΣ»


13

2. ΜΕΤΡΟ ΠΛΗΡΟΦΟΡΙΑΣ – ΕΝΤΡΟΠΙΑ

2.1 ΤΙ ΕΙΝΑΙ ΠΛΗΡΟΦΟΡΙΑ – ΠΩΣ ΤΗ ΜΕΤΡΑΜΕ

Πριν δώσουµε αυστηρούς ορισµούς ας αναρωτηθούµε τι είναι πληροφορία και µε

ποιο τρόπο µπορούµε να τη µετρήσουµε.

Αν κάποιος φίλος έρθει ξαφνικά και µας πει ότι «η γη γυρίζει γύρω από τον ήλιο»

θα αδιαφορήσουµε (ή θα τον κοιτάξουµε µάλλον περίεργα!) διότι δεν µας δίνει

ουσιαστικά καµία πληροφορία. Αυτό γιατί το γεγονός που µας περιγράφει

συµβαίνει έτσι και αλλιώς, µε άλλα λόγια η πιθανότητά του να συµβεί είναι 1,

δηλαδή 100%. (Στο µεσαίωνα βέβαια η αποκάλυψη της πληροφορίας αυτής

πληρώθηκε ακριβά, σήµερα όµως µπορούµε άφοβα να τη θεωρούµε σίγουρη!)

Εάν µας πει ότι έριξε ένα ζάρι και έφερε 6, η πρότασή του έχει κάποια αξία διότι

µας δίνει µια πληροφορία. Θα µπορούσε κάλλιστα να φέρει 1,2,3,4 ή 5. Το

γεγονός που περιγράφει έχει πιθανότητα να συµβεί ίση µε 6

1 .

Εάν βέβαια µας πει ότι έπαιξε µια στήλη ΛΟΤΤΟ και κέρδισε, η πληροφορία είναι

πιο σηµαντική. Αυτό γιατί η πιθανότητα να κερδίσει στο ΛΟΤΤΟ ήταν πολύ µικρή,

συγκεκριµένα ίση µε

816.983.13

1

(βέβαια αν το κερδίζαµε εµείς η πληροφορία θα ήταν ακόµη πιο σηµαντική αλλά

εδώ δεν εξετάζουµε τέτοιες ποιοτικές διαφορές!)

Εάν στις 11 Σεπτεµβρίου 2001, εκεί που καθόµασταν ήρεµοι και πίναµε τον καφέ

µας, ακούγαµε ότι ένα αεροπλάνο έπεσε πάνω σε έναν από τους δίδυµους πύργους

της Νέας Υόρκης θα κοιτάζαµε τον φίλο µας πάλι περίεργα, αλλά αυτή τη φορά

διότι µας δίνει ΤΗΝ ΠΛΗΡΟΦΟΡΙΑ!. Αυτό γιατί το συγκεκριµένο γεγονός, (αν ήταν

τυχαίο!), θα είχε απειροελάχιστη πιθανότητα να συµβεί (σχεδόν 0).


14

Βλέπουµε λοιπόν ότι η έννοια της ΠΛΗΡΟΦΟΡΙΑΣ που αποκοµίζουµε από ένα

γεγονός συνδέεται άµεσα µε την ΠΙΘΑΝΟΤΗΤΑ του να συµβεί. Όσο µεγαλύτερη

είναι η πιθανότητα αυτή, τόσο µικρότερο είναι το µέγεθος της αντίστοιχης

πληροφορίας.

Την πληροφορία που περιέχει λοιπόν ένα γεγονός θα τη µετράµε ουσιαστικά µε

την αντίστοιχη πιθανότητα. Για το σκοπό αυτό εισάγουµε την έννοια του

πληροφοριακού περιεχοµένου ενός γεγονότος.

2.2 ΤΟ ΠΛΗΡΟΦΟΡΙΑΚΟ ΠΕΡΙΕΧΟΜΕΝΟ (ΑΥΤΟΠΛΗΡΟΦΟΡΙΑ)

Συµβολίζουµε µε:

Α : το γεγονός

p(A) ή p : την πιθανότητα του Α

Ι(Α) : το πληροφοριακό περιεχόµενο του γεγονότος Α

(θα το ορίσουµε παρακάτω)

Παρατήρηση 1: Για τη συνάρτηση του πληροφοριακού περιεχοµένου Ι(Α) ενός

γεγονότος Α αναµένεται να ισχύουν

• Το Ι(Α) είναι φθίνουσα συνάρτηση της πιθανότητας p

• Το πληροφοριακό περιεχόµενο δύο ανεξάρτητων γεγονότων Α και Β

ισούται µε το άθροισµα των επιµέρους πληροφοριακών περιεχοµένων,

δηλαδή

)()()( BIAIABI +=

Αποδεικνύεται ότι τις ιδιότητες αυτές τις ικανοποιεί η συνάρτηση του παρακάτω

ορισµού.

ΠΙΘΑΝΟΤΗΤΑ

Σίγουρο γεγονός

πιθανότητα=1

ΠΛΗΡΟΦΟΡΙΑ

Πληροφορία µηδενική

Πληροφορία πολύ µεγάλη Απίθανο γεγονός

πιθανότητα=0


15

ΟΡΙΣΜΟΣ: Το πληροφοριακό περιεχόµενο (ή αλλιώς αυτοπληροφορία) ενός

γεγονότος Α ορίζεται ως

pAI 2log)( −= ή p

1log2

Η µονάδα µέτρησης ονοµάζεται bit.

Παρατήρηση 2: Εµείς εδώ θα χρησιµοποιούµε σαν βάση του λογαρίθµου τον

αριθµό 2. Θα µπορούσαµε να χρησιµοποιήσουµε οποιαδήποτε βάση, οπότε αλλάζει

και η µονάδα µέτρησης.

λογάριθµος

µε βάση

µονάδα

µέτρησης

2log bit

elog nat

10log hartley

Μπορούµε εύκολα να διαπιστώσουµε ότι οι ιδιότητες της Παρατήρησης 1 ισχύουν.

Η συνάρτηση Ι(Α) είναι προφανώς φθίνουσα ως προς p και επιπλέον για δύο

ανεξάρτητα γεγονότα Α και Β µε πιθανότητες p και q αντίστοιχα, ισχύει

)()(loglog)(log)( 122 BIAIqppqABI +=−−=−=

ΠΑΡΑ∆ΕΙΓΜΑ 1. Μια πηγή ενός συστήµατος επικοινωνίας εκπέµπει δύο σύµβολα,

το 0 και το 1 µε την ίδια πιθανότητα, δηλαδή 2

1)0( =p και 2

1)1( =p . Να βρεθεί

το πληροφοριακό περιεχόµενο κάθε συµβόλου.

12log2

1log)1( 22 ==

−=I bit

12log2

1log)0( 22 ==

−=I bit

Πρόκειται για το γνωστό σύστηµα δυαδικών ψηφίων 0,1. Όταν λοιπόν

στέλνουµε µια πληροφορία µε πληροφοριακό περιεχόµενο 1000 bits είναι σαν να

στέλνουµε 1000 δυαδικά ψηφία 0 ή 1.

Σηµείωση: Αν µετρηθεί το ίδιο πληροφοριακό περιεχόµενο στις άλλες µονάδες

µέτρησης θα είναι 301.02log10 = Hartley ή 693.02ln2log ==e nat


16

ΠΑΡΑ∆ΕΙΓΜΑ 2. Μια πηγή ενός συστήµατος επικοινωνίας εκπέµπει 256 σύµβολα

µε την ίδια πιθανότητα, δηλαδή κάθε σύµβολο µε πιθανότητα 256

1. Να βρεθεί το

πληροφοριακό περιεχόµενο κάθε συµβόλου.

8256log256

1log 22 ==

−=I bits

Με απλά λόγια, όσον αφορά το πληροφοριακό περιεχόµενο, καθένα από τα 256

σύµβολα του συστήµατός µας ισοδυναµεί µε 8 δυαδικά ψηφία.

2.3 Η ΕΝΤΡΟΠΙΑ

ΟΡΙΣΜΟΣ: Έστω ότι µια πηγή ενός συστήµατος επικοινωνίας εκπέµπει τα σύµβολα

(µηνύµατα)

naaaa ,,,, 321 K

µε πιθανότητες

npppp ,,,, 321 K

αντίστοιχα.

Λέµε ότι έχουµε την πηγή ),( ΠA , όπου

,,, 21 naaaA K= είναι το αλφάβητο της πηγής και

][ 21 nppp K=Π είναι ο πίνακας των αντίστοιχων πιθανοτήτων1.

Η Εντροπία της πηγής είναι ο µέσος όρος της αυτοπληροφορίας όλων των

συµβόλων, δηλαδή

)()()()( 2211 nn aIpaIpaIpAH +++= L bits/σύµβολο

οπότε,

n

np

pp

pp

pAH1

log1

log1

log)( 2

2

22

1

21 +++= L bits/σύµβολο

(συνοπτικά γράφουµε i

i

i ppAH

1log)( 2∑= )

1 Συχνά τον γράφουµε και )]()()([)( 21 napapapA K=Π


17

Ι∆ΙΟΤΗΤΕΣ ΤΗΣ ΕΝΤΡΟΠΙΑΣ

• Η εντροπία παίρνει πάντοτε µη αρνητικές τιµές: 0)( ≥AH

• ∆εν παίζει ρόλο η σειρά των συµβόλων:

LKKK === ),,,,,(),,,(),,,( 43121221 nnn aaaaaHaaaHaaaH

(οι δύο παραπάνω ιδιότητες προκύπτουν αµέσως από τον ορισµό)

• Η µέγιστη τιµή της εντροπίας επιτυγχάνεται όταν όλα τα σύµβολα έχουν ίση

πιθανότητα, δηλαδή

nppp n

121 ==== L

(προκύπτει εύκολα αναζητώντας ακρότατα στην Η(p1,p2,…pn) )

Τότε,

n

np

pp

pp

pAH1

log1

log1

log)( 2

2

22

1

21 +++= L

nn

nn

nn

nn

n2222 loglog

1log

1log

1=+++= L

και τελικά

nAH 2log)( = bits/σύµβολο

ΠΑΡΑ∆ΕΙΓΜΑ 3. Έστω ),( ΠA µια πηγή µε αλφάβητο 1,0=A . Να βρεθεί η

εντροπία όταν

I) τα σύµβολα εκπέµπονται µε ίση πιθανότητα, δηλαδή ]2

1

2

1[=Π

II) ]4

3

4

1[=Π (είτε ]

4

1

4

3[=Π )

III) ]1000

999

1000

1[=Π

IV) ]10[=Π (το 0 εκπέµπεται µε πιθανότητα 0 δηλαδή ποτέ,

το 1 εκπέµπεται µε πιθανότητα 1, δηλαδή πάντοτε)

V) ]01[=Π (εκπέµπεται πάντοτε το 0, το 1 δεν εκπέµπεται ποτέ)

VI) γενικά ]1[ pp −=Π

ΛΥΣΗ:

I) 12log2log2

12log

2

1)1,0()( 222 ==+== HAH bit/σύµβολο

Θα διαπιστώσουµε ότι αυτή είναι η µεγαλύτερη τιµή που µπορεί να

πάρει η εντροπία, όπως µας διαβεβαίωσε η 3η ιδιότητα παραπάνω.


18

II) )3log4(log4

32

4

1

3

4log

4

34log

4

1)1,0()( 2222 −+=+== HAH

81,03log4

3

2

3

2

12 ≅−+= bits/σύµβολο

III) 0101000

1

999

1000log

1000

9991000log

1000

1)1,0()( 22 +≅+== HAH

01,0= bits/σύµβολο (διότι 01log999

1000log 22 =≅ )

IV) 01log1)1(1)0(0)1,0()( 2 ==⋅+⋅== IIHAH bits/σύµβολο1

V) όµοια.

VI) p

pp

pHAH−

−+==1

1log)1(

1log)1,0()( 22

Η συνάρτηση της τελευταίας περίπτωσης

pp

ppph

−−+=

1

1log)1(

1log)( 22

που ορίζεται στο διάστηµα (0,1) ονοµάζεται συνάρτηση Shannon. Λαµβάνει τη

µέγιστη τιµή της στο 2

1=p , ενώ ελαχιστοποιείται κοντά στα άκρα 0 και 1.

Ουσιαστικά στο Παράδειγµα 3 βρήκαµε διαδοχικά

12

1=

h , 81.0

4

3

4

1=

=

hh , 01.0

1000

999

1000

1=

=

hh , 0)1()0( == hh

1 βέβαια το =⋅ )0(0 I0

1log0 2 δεν ορίζεται αλλά 0

loglim

1

1log

lim1

loglim 2

2

02

0===

+∞→→→ ++ x

x

p

p

pp

xpp

0 1 p

h(p)

21

1


19

2.4 ΤΙ ΚΑΤΑΛΑΒΑΙΝΟΥΜΕ ΑΠΟ ΤΟ ΠΑΡΑ∆ΕΙΓΜΑ –

ΤΟ ΝΟΗΜΑ ΤΗΣ ΕΝΤΡΟΠΙΑΣ

Ας δούµε πιο προσεκτικά το παράδειγµα 3 της προηγούµενης παραγράφου.

Παρατηρούµε ότι όσο πιο βέβαιοι είµαστε για το τι στέλνει η πηγή τόσο πιο µικρή

είναι η εντροπία.

Στην περίπτωση IV) είµαστε απολύτως σίγουροι ότι εκπέµπεται το σύµβολο 1.

Ουσιαστικά λοιπόν δεν παρέχεται καµιά πληροφορία καθώς γνωρίζουµε µε

απόλυτη βεβαιότητα το τι θα φτάσει στην άλλη άκρη του συστήµατος

επικοινωνίας. Γι αυτό και η εντροπία που εκφράζει το µέσο όρο της

αυτοπληροφορίας των συµβόλων της πηγής είναι 0. Το ίδιο συµβαίνει και στην

περίπτωση V).

Πολύ κοντά στο 0 είναι και η εντροπία στην περίπτωση III) καθώς κι εκεί είµαστε

σχεδόν σίγουροι για το τι στέλνει η πηγή, κατά πάσα πιθανότητα στέλνει 1.

Η αβεβαιότητα είναι µεγαλύτερη στην περίπτωση I) διότι δεν είµαστε καθόλου

σίγουροι για το τι στέλνει η πηγή. Όση πιθανότητα έχει να σταλεί το σύµβολό 1,

τόση πιθανότητα έχει και το σύµβολο 0. Εάν γνωρίζουµε τι στέλνεται, έχουµε στα

χέρια µας µια σηµαντική πληροφορία. Εδώ είναι µεγαλύτερη και η εντροπία.

Συνοψίζοντας,

η εντροπία εκφράζει τη µέση αβεβαιότητα της πηγής

Θα µπορούσαµε να πούµε ότι εκφράζει τη δυναµική µιας πηγής όσον αφορά τον

όγκο της πληροφορίας που µπορεί να µεταδώσει. Όσο µεγαλύτερη είναι η

αβεβαιότητα για τα σύµβολα που στέλνει η πηγή τόσο µεγαλύτερη είναι η

δυναµική αυτή, δηλαδή η εντροπία.

2.5 ΣΥΝ∆ΕΤΙΚΗ ΕΝΤΡΟΠΙΑ

Θεωρούµε δύο πηγές πληροφορίας ))(,( AA Π και ))(,( BB Π , όπου

,,, 21 naaaA K= , )]()()([)( 21 napapapA K=Π

,,, 21 mbbbB K= , )]()()([)( 21 mbpbpbpB K=Π


20

Η σύνθετη πηγή ))(,( ABAB Π έχει αλφάβητο

/ BbAaabAB ∈∈= και

δηλαδή όλους τους δυνατούς συνδυασµούς συµβόλων αb που εκπέµπονται από τις

δύο πηγές. Ουσιαστικά πρόκειται για το καρτεσιανό γινόµενο BA× που περιέχει

τα διατεταγµένα ζεύγη ),( ba , ωστόσο για ευκολία γράφουµε ab αντί για ),( ba .

Τις αντίστοιχες πιθανότητες του πίνακα )(ABΠ τις συµβολίζουµε )(abp .

Θυµίζουµε από τις πιθανότητες1 ότι αν

)(abp = πιθανότητα να σταλεί α από την πηγή Α

και b από την πηγή Β

και

)/( abp = πιθανότητα να σταλεί b από την πηγή Β

δεδοµένου ότι η πηγή Α στέλνει α

τότε

)/()()( abpapabp =

ενώ αν τα σύµβολα α και b στέλνονται ανεξάρτητα το ένα από το άλλο ισχύει

)()()( bpapabp =

Η συνδετική εντροπία των πηγών Α και Β δίνεται από τον τύπο

)(

1log)()(

,

2

jiji

jibap

bapABH ∑=

∆είχνεται ότι ισχύει γενικά

)()()( BHAHABH +≤

ενώ η ισότητα )()()( BHAHABH += ισχύει µόνο στην περίπτωση που οι

κατανοµές πιθανοτήτων των συµβόλων των δύο πηγών είναι στατιστικά

ανεξάρτητες, µε άλλα λόγια όταν η µία πηγή δεν επηρεάζει την άλλη.

Επεκτείνοντας τον ορισµό µπορούµε να συνθέσουµε περισσότερες πηγές

kAAA ,,, 21 K , ενώ για συνδετική εντροπία της σύνθετης πηγής ισχύει

)()()()( 2121 kk AHAHAHAAAH +++≤ LK

1 Βλέπετε Παράρτηµα Γ


21

ΠΑΡΑ∆ΕΙΓΜΑ 4. Θεωρούµε δύο ανεξάρτητες πηγές πληροφορίας

))(,( AA Π και ))(,( BB Π ,

µε

,, cbaA = , ]5

15

15

3[)( =Π A

και

, yxB = , ]3

23

1[)( =Π B

Οι αντίστοιχες εντροπίες είναι

+=3

5log

5

3)( 2AH

⋅ 5log5

12 2 = 5log

5

32 3log

5

32− 5log

5

22+ 3log

5

35log 22 −=

+= 3log3

1)( 2BH

2

3log

3

22 += 3log

3

12 3log

3

22 2log

3

22−

3

23log 2 −=

Η σύνθετη πηγή ))(,( ABAB Π έχει αλφάβητο

,,,,, cycxbybxayaxAB = µε ]15

2151

152

151

156

153[)( =Π AB *1

Επειδή οι πηγές είναι ανεξάρτητες, οι πιθανότητες της σύνθετης πηγής προέκυψαν

απλά µε πολλαπλασιασµό των αντίστοιχων πιθανοτήτων, πχ

5

1

15

3

3

1

5

3)()()( ==⋅== xpapaxp

Η συνδετική εντροπία είναι

+= 5log5

1)( 2ABH +

2

5log

5

22 +

⋅ 15log15

12 2

⋅2

15log

15

22 2

= +5log5

12 +− )2log5(log

5

222 ++ )5log3(log

15

222 )2log5log3(log

15

4222 −+

+

+++= 5log15

4

15

2

5

2

5

12 +

+ 3log15

4

15

22 2log

15

4

5

22

−−

+= 5log2 3log5

22

3

2−

Παρατηρήστε ότι )()()( BHAHABH += καθώς οι δύο πηγές είναι ανεξάρτητες.

1 Προσέξτε ότι το άθροισµα των πιθανοτήτων είναι 1


22

2.6 ΥΠΟ ΣΥΝΘΗΚΗ ΕΝΤΡΟΠΙΑ

Η υπό συνθήκη εντροπία )/( ABH εκφράζει τη µέση αβεβαιότητα της πηγής Β

όταν είναι γνωστό το τι στέλνει η πηγή Α. ∆είχνεται ότι,

)()()/( AHABHABH −=

Άρα, από την προηγούµενη παράγραφο,

)()()()()()/( AHBHAHBHABHABH −+≤−=

και τελικά

)()/( BHABH ≤

Με άλλα λόγια, κατά τη σύνθεση δύο πηγών, η αβεβαιότητα για την έξοδο µια

πηγής ελαττώνεται όταν γνωρίζουµε την έξοδο της γειτονικής πηγής.

Προφανώς, αν αντιστρέψουµε τους ρόλους των πηγών Α και Β, ισχύουν,

)()()/( BHABHBAH −= και )()/( AHBAH ≤

Όταν βέβαια οι δύο πηγές είναι στατιστικά ανεξάρτητες, ισχύει

)()/( AHBAH = και )()/( BHABH =

δηλαδή η εντροπία των πηγών Α και Β δεν αλλάζει µε τη σύνθεση, όπως είναι

φυσικό καθώς η µία πηγή δεν επηρεάζει την άλλη.

ΠΑΡΑ∆ΕΙΓΜΑ 5. Θεωρούµε δύο πηγές πληροφορίας

))(,( AA Π και ))(,( BB Π ,

µε

,, 321 aaaA = , ]4

14

12

1[)( =Π A

και

,, 321 bbbB = .


23

∆ίνονται επίσης οι πιθανότητες )/( ij abp των συµβόλων της πηγής Β όταν είναι

γνωστό τι στέλνει η πηγή Α:

)/( ij abp 1b 2b 3b

1a 3

1 3

1 3

1

2a 2

1 4

1 4

1

3a 4

1 4

1 2

1

1) Να βρεθεί η εντροπία της πηγής Α

2) Να βρεθούν οι πιθανότητες )(bp των συµβόλων της πηγής Β

3) Να βρεθεί η εντροπία της πηγής Β

4) Να βρεθούν οι πιθανότητες )(abp

5) Να βρεθεί η συνδετική εντροπία )(ABH

6) Να βρεθεί η υπό συνθήκη εντροπία )/( BAH . Παρατηρήστε αν ελαττώθηκε

η εντροπία της πηγής Α.

ΛΥΣΗ:

1) 5.12

3

4

2

4

2

2

14log

4

14log

4

12log

2

1)( ==++=++=AH bits/σύµβολο

2) )()/()()/()()/()( 3312211111 apabpapabpapabpbp ++=

48

17

4

1

4

1

4

1

2

1

2

1

3

1=⋅+⋅+⋅=

Όµοια βρίσκουµε, 48

14)( 2 =bp και

48

17)( 3 =bp

3) 5787.117

48log

48

17

14

48log

48

14

17

48log

48

17)( ≈++=BH bits/σύµβολο

4) 6

1

3

1

2

1)/()()( 11111 =⋅== abpapbap

όµοια βρίσκονται και οι υπόλοιπές πιθανότητες.


24

5) 0419.36log6

1

)(

1log)()(

,

2 =+== ∑ L

jiji

jibap

bapABH

6) 4632.15787.10419.3)()()/( =−=−= BHABHBAH

που είναι όντως µικρότερη από την εντροπία 5.1)( =AH .

2.7 ΕΠΕΚΤΑΣΗ ΤΗΣ ΠΗΓΗΣ ΠΛΗΡΟΦΟΡΙΑΣ

Εάν συνθέσουµε την πηγή πληροφορίας ,,, 21 naaaA K= µε τον εαυτό της,

έχουµε µια νέα πηγή µε αλφάβητο

,,2,1,/)(2 njiaaAAA ji K=== .

Εδώ, )()()( jiji apapaap = και η συνδετική εντροπία είναι

)(2)()()()( 2 AHAHAHAAHAH =+==

Λέµε ότι έχουµε την (δεύτερη) επέκταση της πηγής Α. Γενικά,

)()( AkHAH k =

Παρατηρούµε ότι η επέκταση αυξάνει την εντροπία και κατ’ επέκταση την

αβεβαιότητα για τα σύµβολα της πηγής.

ΠΑΡΑ∆ΕΙΓΜΑ 6. Έστω η δυαδική πηγή ),( ΠA µε

1,0=A και ]9.01.0[=Π

Η εντροπία της πηγής είναι

( )

+=9.0

1log9.0

1.0

1log)1.0()( 22AH =0.469

Η δεύτερη επέκταση 2A χρησιµοποιεί όλους τους δυνατούς συνδυασµούς ζευγών

του αλφαβήτου, δηλαδή τα παρακάτω σύµβολα µε αντίστοιχες πιθανότητες


25

00 01 10 11

(0.1)(0.1)

=0.01

(0.1)(0.9)

=0.09

(0.9)(0.1)

=0.09

(0.9)(0.9)

=0.81

(προσέξτε ότι το άθροισµα των πιθανοτήτων είναι πάλι 1)

Η Εντροπία της δεύτερης επέκτασης είναι

938.081.0

1log)81.0(

09.0

1log)09.0(2

01.0

1log)01.0()( 222

2 =+

⋅+=AH

µπορεί όµως να υπολογιστεί και πιο εύκολα διότι

938.0469.02)(2)( 2 =⋅== AHAH

ΠΑΡΑ∆ΕΙΓΜΑ 7. Έστω η δυαδική πηγή ),( ΠA µε

1,0=A και )]1([ pp −=Π

Η τρίτη επέκταση 3A χρησιµοποιεί όλους τους δυνατούς συνδυασµούς τριάδων

του αλφαβήτου, δηλαδή τα παρακάτω σύµβολα µε αντίστοιχες πιθανότητες

000 001 010 011 100 101 110 111

p3 p2(1-p) p2(1-p) p(1-p)2 p2(1-p) p(1-p)2 p(1-p)2 (1-p)3

(για κάθε τριάδα πολλαπλασιάζουµε τις αντίστοιχες πιθανότητες)

Η Εντροπία της επέκτασης είναι

)(3)(3)( 3 phAHAH ==

όπου )( ph η συνάρτηση Shannon.


26

ΑΣΚΗΣΕΙΣ

2.1 Ποιο είναι το πληροφοριακό περιεχόµενο (αυτοπληροφορία) που αντιστοιχεί

α) στην ένδειξη ενός νοµίσµατος

β) σε κάθε εποχή του χρόνου

γ) στη νικήτρια στήλη του ΛΟΤΤΟ

δ) στον αριθµό κυκλοφορίας ΥΗΒ5224.

(θυµίζω ότι χρησιµοποιούνται µόνο τα 14 γράµµατα που υπάρχουν και στο

λατινικό αλφάβητο, ενώ οι αριθµοί ξεκινούν από το 1000)

Ποιο από τα δύο τελευταία γεγονότα περιέχει περισσότερη πληροφορία;

2.2 Ποιο είναι το πληροφοριακό περιεχόµενο που συνοδεύει την ένδειξη ενός

ζαριού; Αν όλες οι ενδείξεις αποτελούν το αλφάβητο της πηγής µας, ποια είναι η

εντροπία της πηγής; (δίνεται 58.13log2 ≅ )

2.3 Έστω ότι τα σύµβολα Α,B,C,D εκπέµπονται από µία πηγή µε πιθανότητες

101 ,

102 ,

103 και

104 αντίστοιχα.

α) Να δειχθεί ότι η εντροπία της πηγής είναι ίση µε

3log10

35log 22 − bits/σύµβολο.

β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και

ποια είναι αυτή η µέγιστη τιµή;

2.4 Πηγή πληροφορίας έχει αλφάβητο Α= a,b,c και κατανοµή πιθανοτήτων

Π(A)=[0.3 0.5 x]. Να υπολογιστεί το πληροφοριακό περιεχόµενο κάθε συµβόλου

και η εντροπία της πηγής. Πότε θα είχαµε τη µέγιστη δυνατή εντροπία;

2.5 Μια πηγή εκπέµπει 6 σύµβολα µε τις παρακάτω πιθανότητες

Α Β Γ ∆ Ε Ζ

1/2 1/4 1/8 1/16 1/32 1/32

α) Επιβεβαιώστε ότι έχουµε πράγµατι κατανοµή πιθανοτήτων

β) Ποια είναι η εντροπία της πηγής;

γ) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και

ποια είναι αυτή η µέγιστη τιµή;

δ) Η κατανοµή στο ερώτηµα γ) δίνει µεγαλύτερη η µικρότερη αβεβαιότητα για την

πηγή;


27

2.6 Έστω ),( ΠA µια πηγή µε αλφάβητο ,,, dcbaA = . Να βρεθεί η εντροπία

όταν

α) τα σύµβολα εκπέµπονται µε ίση πιθανότητα, δηλαδή ]4

1

4

1

4

1

4

1[=Π

β) ]8

1

8

1

4

1

2

1[=Π

γ) ]2

1

2

100[=Π

δ) ]1024

1023

1024

100[=Π

ε) ]1000[=Π

στ) τι συµπέρασµα βγάζετε σε σχέση µε τη βεβαιότητα του συστήµατος;

2.7 Έστω πηγή πληροφορίας (A,Π(A)) µε

, 21 aaA = και Π(A) = [0.1 0.9].

Άλλη πηγή πληροφορίας µε αλφάβητο ,, 321 bbbB = σχετίζεται µε την πρώτη

µέσω των υπο συνθήκη πιθανοτήτων

2.0)/( 11 =abp 3.0)/( 12 =abp 5.0)/( 13 =abp

1.0)/( 21 =abp 7.0)/( 22 =abp 2.0)/( 23 =abp

Να υπολογιστούν

α) οι πιθανότητες p(b1), p(b2), p(b3)

β) όλες οι πιθανότητες p(aibj)

γ) οι τιµές εντροπίας: H(A), H(B), H(AB), H(A/B), H(B/A).

Παρατηρήστε αν ελαττώνεται η εντροπία των δύο πηγών όταν γνωρίζουµε τη

γειτονική πηγή.

2.8 Έστω πηγή πληροφορίας (A,Π(A)) µε Α=0,1 και Π(Α) = [4

1 4

3 ]. Να

βρεθεί η επέκταση Α3 και να υπολογιστεί η εντροπία της. (δίνεται 58.13log2 ≅ )

2.9 Έστω πηγή πληροφορίας (A,Π(A)) µε Α=a,b,c και Π(Α) = [4

1 2

1 4

1 ].

α) Να βρεθεί η επέκταση Α2

β) Να υπολογιστούν αναλυτικά οι τιµές της εντροπίας Η(Α) και Η(Α2) και να

επιβεβαιώσετε ότι Η(Α2)=2Η(Α)


28


2.1 α) 1 bit, β) 2 bits γ) 23,74 bits δ) 24.55 bits

2.2 6log2 58.2= bits

2.3 Μέγιστη εντροπία = 2 bits/σύµβολο

2.4 Μέγιστη εντροπία = 3log2 bits/σύµβολο

2.5 α) άθροισµα πιθ/των=1, β) 31/16 bits/σύµβολο

γ) 2 bits/σύµβολο δ) µεγαλύτερη αβεβαιότητα

2.6 α) 2 bits/σύµβολο , β) 1.75 bits/σύµβολο , γ) 1 bit/σύµβολο,

δ) περίπου 0.001 bits/σύµβολο ε) 0

2.7 α) 0.11, 0.66, 0.23

β)

p(ai,bj) b1 b2 b3

α1 0.02 0.03 0.05

α2 0.09 0.63 0.18

γ) Η(Α)= 0.47 bits/σύµβολο

Η(Β)= 1.23 bits/σύµβολο

Η(ΑΒ)= 1.66 bits/σύµβολο

Η(Α/Β)= Η(ΑΒ) - Η(Β) = 0.43 bits/σύµβολο

Η(Β/Α)= Η(ΑΒ) - Η(Α) = 0.19 bits/σύµβολο

2.8 Η τρίτη επέκταση έχει 8 σύµβολα και εντροπία 2.43 bits/σύµβολο

2.9 Η δεύτερη επέκταση έχει 9 σύµβολα και εντροπία 3 bits/σύµβολο


29

3. ΚΑΝΑΛΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

3.1 ΤΙ ΕΙΝΑΙ ΚΑΝΑΛΙ ΠΛΗΡΟΦΟΡΙΑΣ

Το κανάλι πληροφορίας σε ένα σύστηµα επικοινωνίας είναι το φυσικό µέσο

ανάµεσα στην πηγή που εκπέµπει την πληροφορία και τον αποδέκτη της

πληροφορίας. Γνωρίζουµε διάφορους τύπους καναλιών, ενσύρµατους όπως π.χ. τα

χάλκινα καλώδια και τα οµοαξονικά καλώδια, ασύρµατους όπως στις

ραδιοεπικοινωνίες και τις επίγειες ή δορυφορικές ζεύξεις, τις οπτικές ίνες κλπ.

Εδώ δεν θα µπούµε στον κόπο να περιγράψουµε τα φυσικά χαρακτηριστικά αυτών

των καναλιών. Θα τα εξετάσουµε ενιαία, από την πλευρά της Θεωρίας της

Πληροφορίας, δηλαδή σαν µέσα επικοινωνίας που δέχονται κάποια πληροφορία

από την πηγή εισόδου και µεταφέρουν την πληροφορία αυτή, αξιόπιστα ή µη, στην

πηγή εξόδου.

Στην µελέτη µας, η πληροφορία αυτή θα εκφράζεται µε µια σειρά συµβόλων,

διακριτών µεταξύ τους. Μιλάµε δηλαδή για διακεκριµένα σύµβολα, ψηφία, π.χ στο

δυαδικό σύστηµα επικοινωνίας για τα σύµβολα 0 και 1, που µεταφέρονται από τη

µια άκρη του καναλιού στην άλλη, µε άλλα λόγια για ψηφιακή µορφή

πληροφορίας.

Βέβαια υπάρχει και η αναλογική µορφή πληροφορίας όπου το µήνυµα που

στέλνουµε δεν περιγράφεται µε διακεκριµένες τιµές, όπως 0 και 1, αλλά µε τιµές

σε ένα συνεχές διάστηµα. ∆εν θα αναφερθούµε στην αναλογική µορφή καθώς η

ψηφιακή εξυπηρετεί το σκοπό µας: να κατανοήσουµε πως λειτουργεί ένα κανάλι,

πως µπορούµε να µετρήσουµε την χωρητικότητά του και πως µπορούµε να

αξιοποιήσουµε την χωρητικότητα αυτή για να βρούµε έναν κατάλληλο τρόπο

µετάδοσης της πληροφορίας ή όπως λέµε έναν κατάλληλο κώδικα.

3.2 ΒΑΣΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΕΝΟΣ ΚΑΝΑΛΙΟΥ

Σε ένα σύστηµα επικοινωνίας η αρχική πληροφορία µεταφράζεται σε µηνύµατα-

σύµβολα εισόδου, διοχετεύεται στο κανάλι για να µεταδοθεί στον δέκτη όπου

λαµβάνεται σε µηνύµατα-σύµβολα εξόδου. Έχουµε και λέµε λοιπόν


30

Ένα κανάλι πληροφορίας συνοδεύεται από

µια πηγή εισόδου (ή ποµπό) ))(,( AA Π

και

µία πηγή εξόδου (ή δέκτη) ))(,( BB Π .

Ας είναι

,,, 21 maaaA K= , )]()()([)( 21 mapapapA K=Π

και

,,, 21 nbbbB K= , )]()()([)( 21 nbpbpbpB K=Π

∆ηλαδή το κανάλι µας τροφοδοτείται µε τα µηνύµατα του αλφαβήτου Α, µε

συχνότητες εµφάνισης όπως καθορίζονται στον πίνακα )(AΠ , και τα µεταφέρει

στην έξοδο (δεν µας ενδιαφέρει µε ποιο τρόπο), όπου λαµβάνουµε τα µηνύµατα

του αλφαβήτου Β, µε συχνότητες εµφάνισης όπως καθορίζονται στον πίνακα

)(BΠ . Συνήθως τα δύο αλφάβητα Α και Β συµπίπτουν.

Εάν για κάθε σύµβολο στην είσοδο γνωρίζουµε τι θα λάβουµε στην έξοδο, τα

πράγµατα είναι απλά και δεν χρειάζεται πολλή µελέτη. Ενώ όµως ένα σύµβολο α

της εισόδου φτάνει κατά πάσα πιθανότητα στην έξοδο ως κάποιο συγκεκριµένο

σύµβολο b , το σύνηθες πρόβληµα στις τηλεπικοινωνίες είναι ότι υπάρχει και µια

πιθανότητα το σύµβολο α να αλλοιωθεί και να µετατραπεί σε κάποιο άλλο σύµβολο

αντί του αναµενόµενου b. Έχει λοιπόν νόηµα να λάβουµε υπόψη τις πιθανότητες

)/( ijij abpp = = η πιθανότητα να λάβουµε στην έξοδο jb

δεδοµένου ότι έχει σταλεί στην είσοδο το ia

Προσοχή: η πιθανότητα αυτή είναι διαφορετική από την

=),( ji bap η πιθανότητα να σταλεί ia και να ληφθεί jb

Ας πάρουµε π.χ. το σενάριο όπου το 2a στέλνεται σπάνια αλλά όποτε στέλνεται

µετατρέπεται σε 3b . Τότε η πιθανότητα ),( 32 bap είναι µικρή (σπάνια έχουµε αυτόν

τον συνδυασµό), ενώ η πιθανότητα )/( 2323 abpp = είναι 1.


31

Τα στοιχεία )/( ijij abpp = , που είναι χαρακτηριστικά για ένα κανάλι, µπορούν να

τοποθετηθούν σε ένα διάγραµµα καναλιού:

Για τους υπολογισµούς µας χρήσιµος είναι ο Πίνακας Καναλιού

=Π

mnmm

n

n

ppp

ppp

ppp

AB

K

OM

L

L

21

22221

11211

)/(

Η ροή της πληροφορίας από την είσοδο στην έξοδο ελέγχεται από αυτόν ακριβώς

τον πίνακα. Ανεξάρτητα από τη συχνότητα µε την οποία διοχετεύονται τα

σύµβολα στο κανάλι, ο πίνακας καναλιού δείχνει κατά πόσο αλλοιώνονται τα

σύµβολα κατά τη µετάδοση.

Την ίδια µορφή mxn έχει και ο πίνακας ),( BAΠ που αποτελείται απ’ όλες τις

πιθανότητες ),( ji bap των συνδυασµών να σταλεί ia και να ληφθεί jb . Είναι

δηλαδή

),( BAΠ

=

),(),(),(

),(),(),(

),(),(),(

21

22212

12111

nmmm

n

n

bapbapbap

bapbapbap

bapbapbap

K

OM

L

L

Ας τροποποιήσουµε ελαφρώς τον πίνακα )(AΠ γράφοντάς τον στη διαγώνια

µορφή

=Π

)(00

00

00)(

)(

1

m

D

ap

ap

A O

1a

2a

M

1b

2b

M

11p

12p

np1

ma nb


32

Από τις ιδιότητες των πιθανοτήτων προκύπτουν οι σχέσεις (η απόδειξη αφήνεται

ως άσκηση)

1. )()/()( BABA Π=Π⋅Π

σχηµατικά θα λέγαµε (ΕΙΣΟ∆ΟΣ)x(ΚΑΝΑΛΙ)= (ΕΞΟ∆ΟΣ)

2. ),()/()( BAABAD Π=Π⋅Π

3. Στον πίνακα ),( BAΠ ,

α) το άθροισµα των στοιχείων της i γραµµής ισούται µε )( iap

β) το άθροισµα των στοιχείων της j στήλης ισούται µε )( jbp

ΠΑΡΑ∆ΕΙΓΜΑ 1. Θεωρούµε το δυαδικό συµµετρικό κανάλι πληροφορίας µε

διάγραµµα

∆ηλαδή, στο κανάλι αυτό τα σύµβολα 0 και 1 µεταδίδονται αξιόπιστα κατά 90%,

ενώ υπάρχει και µια πιθανότητα σφάλµατος 10%:

0 1

0 90% 10%

1 10% 90%

Έστω επίσης ότι στην πηγή εισόδου τα σύµβολα 0 και 1 εκπέµπονται µε

πιθανότητες 0.4 και 0.6 αντίστοιχα (προσέξτε ότι οι πιθανότητες αυτές δεν

εµπλέκονται καθόλου στο διάγραµµα του καναλιού)

α) Να υπολογιστούν οι πίνακες )(AΠ , )/( ABΠ , )(BΠ , ),( BAΠ

β) Ποια είναι η πιθανότητα να λάβουµε 1 στην έξοδο;

γ) Ποια είναι η πιθανότητα να σταλεί 0 και να ληφθεί 1;

δ) Ποια είναι η πιθανότητα να ληφθεί 1 αν σταλεί 0;

0

1 1

0 0.9

0.9

0.1

0.1


33

ΛΥΣΗ:

α) Ο πίνακας )(AΠ δίνεται από την εκφώνηση: ]6.04.0[)( =Π A

Ο πίνακας του καναλιού )/( ABΠ δίνεται από το διάγραµµα:

=Π

9.01.0

1.09.0)/( AB

Ο πίνακας )(BΠ υπολογίζεται από τη σχέση

=Π⋅Π=Π )/()()( ABAB ]6.04.0[

9.01.0

1.09.0

=[0.42 0.58]

Ο πίνακας ),( BAΠ υπολογίζεται από τη σχέση

)/()(),( ABABA D Π⋅Π=Π

=

6.00

04.0

9.01.0

1.09.0

=

54.006.0

04.036.0

β) Είναι 58.0)1( =Bp [δίνεται από τον πίνακα )(BΠ ] 1

γ) Είναι 04.0)1,0( =p [δίνεται από τον πίνακα ),( BAΠ ]

δ) Είναι 1.0)0/1(/ =ABp [δίνεται από τον πίνακα )/( ABΠ ] 2

Ας δούµε και ένα πιο σύνθετο κανάλι.

ΠΑΡΑ∆ΕΙΓΜΑ 2. ∆ίνεται ένα σύστηµα επικοινωνίας µε

πηγή εισόδου A ,,, dcba= και αντίστοιχες πιθανότητες 2

1 , 4

1 , 8

1 και X,

πηγή εξόδου B ,, zyx= ,

πίνακα καναλιού Π(Β/Α)

=

1004

34

10

010

001

1 όταν τα σύµβολα εισόδου και εξόδου είναι ίδια, καλό είναι να βάζουµε έναν δείκτη που να αποτρέπει τη σύγχυση. Εδώ πχ αντί για p(1)=0.58 γράψαµε pΒ(1)=0.58, ενώ για το σύµβολο 1 της εισόδου θα γράφαµε pΑ(1)=0.6 2 µε παρόµοιο σκεπτικό γράψαµε pΒ/Α(1/0) αντί για p(1/0) ώστε να φαίνεται ότι το 1 αναφέρεται στην έξοδο Β και το 0 στην είσοδο Α. Αν δεν υπάρχει σύγχυση µπορούµε να παραλείπουµε τους δείκτες.


34

α) Να υπολογίσετε το πληροφοριακό περιεχόµενο (αυτοπληροφορία) του

συµβόλου d και την εντροπία της πηγής Α.

β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή Α

και ποια είναι αυτή η µέγιστη τιµή; Πότε η εντροπία γίνεται 0;

γ) Να σχεδιάσετε το διάγραµµα του καναλιού.

δ) Αφού υπολογίσετε τους πίνακες Π(Β) και Π(Α,Β), να βρείτε τις πιθανότητες

• να λάβουµε y στην έξοδο.

• εάν σταλεί c να λάβουµε y.

• να σταλεί c και να λάβουµε y.

ΛΥΣΗ:

α) Είναι 8

1)

8

1

4

1

2

1(1 =++−=X .

Άρα, το ζητούµενο πληροφοριακό περιεχόµενο είναι 38log)( ==dI bits,

ενώ η εντροπία της πηγής Α είναι

=)(AH 8log8

18log

8

14log

4

12log

2

1+++

75.14

73

8

13

8

12

4

11

2

1==+++= bits/σύµβολο

β) Η εντροπία θα ήταν µέγιστη εάν τα 4 σύµβολα ήταν ισοπίθανα, δηλ. µε

πιθανότητα 4

1 το καθένα. Η τιµή της θα ήταν

24log4log4

14 ==

⋅=H bits/σύµβολο

Η εντροπία γίνεται 0, όταν υπάρχει απόλυτη βεβαιότητα στην πηγή, δηλαδή

όταν κάποιο από τα 4 σύµβολα έχει πιθανότητα εκποµπής 1 ενώ όλα τα

υπόλοιπα 0.

γ)

a

b y

x 1

3/4

1/4

1

c

d

z

1


35

δ) Έχουµε =Π⋅Π=Π )/()()( ABAB και )/()(),( ABABA D Π⋅Π=Π

=Π8

1

8

1

4

1

2

1)(B

1004

34

10

010

001

++=8

1

32

3

32

1

4

1

2

1

=32

7

32

9

2

1

⋅

=Π

81000

08

100

004

10

0002

1

),( BA

1004

34

10

010

001

=

8100

323

3210

04

10

002

1

Οι ζητούµενες πιθανότητες είναι

• να λάβουµε y στην έξοδο: p(y)=9/32 [από τον Π(Β)]

• εάν σταλεί c να λάβουµε y: p(y/c)=1/4 [από τον Π(Β/Α)]

• να σταλεί c και να λάβουµε y: p(c,y)=1/32 [από τον Π(Α,Β)]

3.3 ΕΝΝΟΙΕΣ ΕΝΤΡΟΠΙΑΣ ΣΕ ΕΝΑ ΣΥΣΤΗΜΑ ΕΠΙΚΟΙΝΩΝΙΑΣ

Στο προηγούµενο κεφάλαιο µιλήσαµε για την εντροπία µιας πηγής που δίνεται από

τον τύπο

i

i

i ppAH

1log)(

1

∑=

=

και εξηγήσαµε ότι εκφράζει τη µέση αβεβαιότητα (και κατ’ επέκταση τη µέση

ποσότητα πληροφορίας) που φέρει κάθε σύµβολο της πηγής.

Σε ένα σύστηµα επικοινωνίας µπορούµε να µιλάµε για

ΕΝΤΡΟΠΙΑ ΕΙΣΟ∆ΟΥ

)(

1log)()(

1 i

i

m

i apapAH ∑

=

=

εκφράζει τη µέση πληροφορία που φέρει κάθε σύµβολο στην είσοδο του καναλιού.


36

ΕΝΤΡΟΠΙΑ ΕΞΟ∆ΟΥ

)(

1log)()(

1 i

i

n

i bpbpBH ∑

=

=

εκφράζει τη µέση πληροφορία που φέρει κάθε σύµβολο στην έξοδο του καναλιού.

ΕΝΤΡΟΠΙΑ ΣΥΣΤΗΜΑΤΟΣ

),(

1log),()(

, ji

ji

ji bapbapABH ∑=

Είναι η συνδετική εντροπία των πηγών εισόδου και εξόδου και εκφράζει τη µέση

πληροφορία ανά ζεύγος εισόδου – εξόδου.

Λίγο πιο πολύπλοκες, αλλά χρήσιµες για το σκοπό µας είναι οι επόµενες δύο

έννοιες

ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ

)()()/( BHABHBAH −=

(εντροπία εισόδου όταν είναι γνωστή η έξοδος). Εκφράζει τη µέση αβεβαιότητα

ανά σύµβολο εισόδου που γίνεται αντιληπτή στην έξοδο. Αποδίδεται στον θόρυβο

του καναλιού.

ΕΝΤΡΟΠΙΑ ΚΑΝΑΛΙΟΥ

)()()/( AHABHABH −=

(εντροπία εξόδου όταν είναι γνωστή η είσοδος). Εκφράζει τη µέση αβεβαιότητα

ανά σύµβολο εξόδου που γίνεται αντιληπτή στην είσοδο. Αποδίδεται στην άγνοια

για τη δοµή του καναλιού.

3.4 ΧΩΡΗΤΙΚΟΤΗΤΑ ΤΟΥ ΚΑΝΑΛΙΟΥ

Είµαστε έτοιµοι να ορίσουµε τώρα την έννοια της χωρητικότητας ενός καναλιού.

Θα χρησιµοποιήσουµε σαν εργαλεία τις έννοιες της προηγούµενης παραγράφου.

Πρώτα χρειαζόµαστε ένα µεταβατικό µέγεθος, την διαπληροφορία ενός καναλιού.


37

ΟΡΙΣΜΟΣ: Η διαπληροφορία (η και αµοιβαία πληροφορία) ενός καναλιού

ορίζεται ως

=),( BAI )()()( ABHBHAH −+

και εκφράζει τη µέση ποσότητα πληροφορίας που διοχετεύεται στο κανάλι ανά

σύµβολο πληροφορίας.

Από τον ορισµό των υπο-συνθήκη εντροπιών )/( BAH και )/( ABH προκύπτουν

εύκολα οι ισοδύναµοι ορισµοί

)/()(),( BAHAHBAI −= (1)

)/()(),( ABHBHBAI −= (2)

Η διαπληροφορία είναι µη αρνητικό µέγεθος και όταν δεν υπάρχει θόρυβος παίρνει

τη µέγιστη τιµή της, καθώς τότε η εντροπία θορύβου )/( BAH είναι 0.

Η ποσότητα πληροφορίας που διοχετεύεται στο κανάλι εξαρτάται από το πως

εκπέµπονται τα σύµβολα στην πηγή εισόδου. Ο στόχος µας σε ένα κανάλι είναι

να βρούµε τις κατάλληλες πιθανότητες µε τις οποίες θα πρέπει να

σταλούν τα σύµβολα στην είσοδο ώστε να µεγιστοποιηθεί η

διαπληροφορία. Τότε πετυχαίνουµε την χωρητικότητα του

καναλιού:

ΟΡΙΣΜΟΣ: Χωρητικότητα C ενός καναλιού είναι η µέγιστη τιµή της

διαπληροφορίας σε περιβάλλον θορύβου:

),(max)(

BAICAΠ

=

Ο προσδιορισµός της κατάλληλης κατανοµής πιθανοτήτων )(AΠ για τα σύµβολα

εισόδου γενικά δεν είναι εύκολος.

Θα δούµε στη συνέχεια ορισµένα απλά παραδείγµατα για τον προσδιορισµό της

χωρητικότητας ενός καναλιού.


38

3.5 ΧΩΡΗΤΙΚΟΤΗΤΕΣ ΑΠΛΩΝ ΚΑΝΑΛΙΩΝ

Όταν µιλάµε για κανάλι θα αναφερόµαστε κυρίως στον πίνακα )/( ABΠ , εφόσον

αυτός χαρακτηρίζει πλήρως το κανάλι. ∆είχνει µε ποια συχνότητα τα σύµβολα

εισόδου µετατρέπονται σε σύµβολα εξόδου.

Α. ΚΑΘΟΡΙΣΤΙΚΟ ΚΑΝΑΛΙ (Deterministic Channel)

Στο κανάλι αυτό έχουµε ένα µόνο µη µηδενικό στοιχείο σε κάθε γραµµή του

πίνακα )/( ABΠ .

Για παράδειγµα, έστω ,,, 4321 aaaaA = , ,, 321 bbbB = και

=Π

100

010

010

001

)/( AB

Το διάγραµµα του καναλιού είναι

Καθώς όλες οι πιθανότητες )/( abp είναι είτε 0 είτε 1, όταν γνωρίζουµε τι στέλνει

η είσοδος είναι πλήρως καθορισµένο το τι θα ληφθεί στην έξοδο, απ’ όπου

προκύπτει και η ονοµασία του καναλιού. Έχουµε τότε 0)/( =ABH . Άρα, από τον

τύπο (2) της διαπληροφορίας

)()/()(),( BHABHBHBAI =−=

και τελικά

),(max)(

BAICAΠ

= nBHA

2)(

log)(max ==Π

bits/σύµβολο

Εδώ δεν ξέρουµε ποια κατανοµή )(AΠ δίνει το maximum, αλλά γνωρίζουµε ότι το

αυτό επιτυγχάνεται όταν τα σύµβολα εξόδου Β είναι ισοπίθανα.

Στο παράδειγµά µας 3=n , οπότε η χωρητικότητα του καναλιού είναι

585.13log 2 ==C bits/σύµβολο.

1a

2a 2b

1b 1

1

1

3a

4a

3b

1


39

Β. ΚΑΝΑΛΙ ΧΩΡΙΣ ΑΠΩΛΕΙΕΣ (Lossless Channel)

Στο κανάλι αυτό έχουµε ένα µόνο µη µηδενικό στοιχείο σε κάθε στήλη του πίνακα

)/( ABΠ .

Για παράδειγµα, έστω ,, 321 aaaA = , ,,,, 54321 bbbbbB = και

=Π

10000

02

12

100

0003

23

1

)/( AB


Στον πίνακα αυτόν φαίνονται οι πιθανότητες )/( abp (εξ ορισµού) αλλά όχι και οι

πιθανότητες )/( bap . Ωστόσο, λόγω της µορφής του καναλιού όπου σε κάθε

σύµβολο εξόδου καταλήγει µόνο ένα «βέλος», µπορούµε εύκολα να µαντέψουµε

τις πιθανότητες αυτές. Πράγµατι, εάν γνωρίζουµε το σύµβολο b, µπορούµε να

καταλάβουµε ποιο σύµβολο α έχει σταλεί. Έτσι αν λάβουµε στην έξοδο 2b είµαστε

σίγουροι ότι έχει σταλεί 1a και όχι 2a ή 3a . Έχουµε λοιπόν,

1)/( 21 =bap 0)/( 22 =bap 0)/( 23 =bap .

Με τον ίδιο τρόπο, όλοι οι συνδυασµοί )/( bap δίνουν 1 ή 0, µε άλλα λόγια δεν

υπάρχει απώλεια πληροφορίας, απ’ όπου προκύπτει και η ονοµασία του καναλιού.

Για την αντίστοιχη εντροπία έχουµε 0)/( =BAH .

Άρα, από τον τύπο (1) της διαπληροφορίας

)()/()(),( AHBAHAHBAI =−=

και τελικά

),(max)(

BAICAΠ

= mAHA

2)(

log)(max ==Π

bits/σύµβολο

1a

2a

2b

1b 1/3

1/2

2/3

3a 4b

3b

1

5b

1/2


40

Στο παράδειγµά µας 3=m , οπότε η χωρητικότητα του καναλιού είναι

585.13log 2 ==C bits/σύµβολο.

Γ. Ι∆ΑΝΙΚΟ ΚΑΝΑΛΙ (Ideal Channel)

Πρόκειται για τον συνδυασµό των περιπτώσεων Α και Β. Εδώ nm = , και η

χωρητικότητα είναι

)(max)(

AHCAΠΠΠΠ

= nBHA

2)(

log)(max ==ΠΠΠΠ

Προφανώς η αντιστοιχία συµβόλων εισόδου εξόδου είναι «ένα προς ένα», δηλαδή

δεν υπάρχει περίπτωση να αλλοιωθεί ένα σύµβολο ή αλλιώς δεν υπάρχει θόρυβος.

Π.χ.

Εδώ,

=

10

01

)/( ABΠΠΠΠ .

Έχουµε 2== nm οπότε η χωρητικότητα του καναλιού είναι

12log2 ==C bit/σύµβολο

∆. ∆ΥΑ∆ΙΚΟ ΣΥΜΜΕΤΡΙΚΟ ΚΑΝΑΛΙ (Binary Symmetric Channel – BSC)

Είναι το σύνηθες δυαδικό κανάλι µε πιθανότητα σφάλµατος q

0

1 1

0

1

1

0

1 1

0 1-q

1-q

q

q


41

∆είχνεται ότι (η απόδειξη αφήνεται ως άσκηση) η χωρητικότητα του καναλιού

αυτού είναι

qq

qqC

−−−−=

1

1log)1(

1log1 22

δηλαδή

)(1 qhC −=

όπου )(qh η συνάρτηση Shannon.


42

ΑΣΚΗΣΕΙΣ

3.1 ∆ίνεται συµµετρικό δυαδικό κανάλι πληροφορίας µε αλφάβητο εισόδου και

εξόδου Α=Β=0,1. Στην είσοδο, τα σύµβολα 0 και 1 εκπέµπονται µε πιθανότητες

31 και

32 αντίστοιχα. Η πιθανότητα σφάλµατος είναι

1001=q .

α) Να σχεδιάσετε το διάγραµµα του καναλιού

β) Να υπολογιστούν οι πίνακες )(AΠ , )/( ABΠ , )(BΠ , ),( BAΠ

γ) Ποια είναι η πιθανότητα να λάβουµε 0 στην έξοδο;

δ) Ποια είναι η πιθανότητα να σταλεί 0 και να ληφθεί 1;

ε) Ποια είναι η πιθανότητα αν σταλεί 0 να ληφθεί 1;

3.2 ∆ίνεται σύστηµα επικοινωνίας µε πηγή εισόδου και εξόδου

A=B=a,b,c,d.

α) Έστω ότι τα σύµβολα a,b,c,d εκπέµπονται από την πηγή εισόδου µε

πιθανότητες

1/2, 1/4, 1/8 και x αντίστοιχα.

Να βρεθεί η τιµή του x και η εντροπία της πηγής Α.

β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και

ποια είναι αυτή η µέγιστη τιµή; Πότε η εντροπία γίνεται 0;

γ) Έστω ότι το c και το d µεταδίδονται πάντοτε αξιόπιστα µέσα από το κανάλι του

συστήµατος, ενώ υπάρχει µια πιθανότητα 10% να µετατραπεί εσφαλµένα το a σε

b όπως και το b σε a. Να βρείτε τον πίνακα Π(Β/Α) και να σχεδιάσετε το

διάγραµµα του καναλιού.

δ) Να υπολογίσετε τον πίνακα Π(Β) και την πιθανότητα να λάβουµε b στην έξοδο.

3.3 ∆ίνεται ένα σύστηµα τηλεπικοινωνιών µε πηγή εισόδου Α=0,1 και πηγή

εξόδου Β=a,b,c. Η πιθανότητα εκποµπής του 1 είναι τριπλάσια από αυτή του 0.

Το 0 λαµβάνεται στην έξοδο πότε ως a και πότε ως b µε ίσες πιθανότητες ενώ το 1

πότε ως b και πότε ως c επίσης µε ίσες πιθανότητες.

α) Να βρεθεί ο πίνακας Π(Α) και η εντροπία της πηγής Α

β) Να βρεθεί ο πίνακας Π(Β/Α) και να σχεδιάσετε το διάγραµµα του καναλιού

γ) Να βρεθεί η πιθανότητα λήψης του συµβόλου c στη έξοδο.

δ) Να βρεθεί ο πίνακας Π(Α,Β) και η πιθανότητα να συµβεί εκποµπή του 0 και

λήψη του b. [∆ίνεται 59.13log 2 ≅ ]


43

3.4 Σε ένα σύστηµα τηλεπικοινωνιών η πηγή εισόδου Α εκπέµπει τα σύµβολα a, b,

c ενώ στην έξοδο λαµβάνονται τα σύµβολα 0 και 1. Τα σύµβολα a και b

εκπέµπονται στην είσοδο µε την ίδια συχνότητα εµφάνισης ενώ το c µε διπλάσια

(από αυτή του a ή του b). Το a λαµβάνεται στην έξοδο πάντοτε ως 0, το c

πάντοτε ως 1, ενώ το b πότε ως 0 και πότε ως 1 µε ίσες πιθανότητες.

α) Να βρεθεί ο πίνακας Π(Α) και η εντροπία της πηγής Α

β) Να βρεθεί ο πίνακας Π(Β/Α) και να σχεδιάσετε το διάγραµµα του καναλιού

γ) Να βρεθούν οι πιθανότητες λήψης των συµβόλων 0 και 1 στη έξοδο.

δ) Να βρεθεί ο πίνακας Π(Α,Β) και η πιθανότητα να συµβεί ταυτόχρονα εκποµπή

του b και λήψη του 0.

3.5 Aν Α=α1,α2 και Β=b1,b2, επιβεβαιώστε ότι

α) )()/()( BABA Π=Π⋅Π β) ),()/()( BAABAD Π=Π⋅Π

3.6 Σε ένα σύστηµα επικοινωνίας µε πηγή εισόδου Α=x1,x2,x3,x4,x5 και πηγή

εξόδου Β=y1,y2,y3,y4 δίνεται

=Π

005.000

10.005.000

010.005.00

0030.010.0

00025.0

),( BA

α) Να βρείτε του πίνακες Π(Α) και Π(Β)

β) Αφού υπολογίσετε τις πιθανότητες )/( xyp σχηµατίστε τον πίνακα Π(Β/Α) και

το διάγραµµα του καναλιού

γ) να υπολογίσετε τις διάφορες τιµές εντροπίας του συστήµατος

3.7 ∆ίνεται κανάλι πληροφορίας µε

Π(Β/Α) =

100000

04/34/1000

0002/12/10

000001


β) Να υπολογιστούν οι πιθανότητες )/( 34 abp , )/( 43 bap , )/( 25 abp , )/( 52 bap .

Τι συµπέρασµα βγάζετε για τις πιθανότητες )/( bap ; (όπου a σύµβολο εισόδου και

b σύµβολο εξόδου)

γ) Να υπολογίσετε τη χωρητικότητά του καναλιού.


44

3.8 ∆ίνεται κανάλι πληροφορίας µε

Π(Β/Α) =

10

10

01

01


β) Να υπολογίσετε τη χωρητικότητά του.

3.9 ∆ίνεται το δυαδικό συµµετρικό κανάλι (BSC) µε πιθανότητα σφάλµατος q.

Έστω ότι η πηγή εισόδου εκπέµπει µε πιθανότητες Π=[p 1-p] (άρα Η(Α)=h(p)

όπου h η συνάρτηση του Shannon)

α) Υπολογίστε τους πίνακες Π(Β/Α), Π(Β), Π(Α,Β)

β) ∆είξτε ότι Η(ΑΒ)=h(p)+h(q)

γ) Ποια είναι η µέγιστη τιµή της εντροπίας Η(Β) και για ποια τιµή του p

επιτυγχάνεται;

δ) ∆είξτε ότι η διαπληροφορία είναι Ι(Α,Β)=Η(Β)-h(q)

ε) Καταλήξτε στο συµπέρασµα ότι η χωρητικότητα του καναλιού είναι

C=1-h(q)

3.10 Ποια είναι η χωρητικότητα του δυαδικού συµµετρικού καναλιού αν η

πιθανότητα σφάλµατος είναι α) q=0.5 β ) q = 1/4 γ) q=3/4. Σχολιάστε τα

αποτελέσµατα. [∆ίνεται 59.13log 2 ≅ ]

3.11 ∆ίνεται το κανάλι πληροφορίας µε Α=0,1, Β=0,*,1 και διάγραµµα

To κανάλι αυτό λέγεται κανάλι απόσβεσης, καθώς σε κάποιες περιπτώσεις το σήµα

χάνεται και δεν γνωρίζουµε τι έχει διαβιβαστεί. Θεωρούµε ότι τότε λαµβάνουµε το

σύµβολο *. Έστω ότι η πηγή εισόδου Α εκπέµπει µε πιθανότητες Π(Α)=[p 1-p]

(άρα Η(Α)=h(p) όπου h η συνάρτηση του Shannon)

0.9

0

1 1

0 0.9

0.1

0.1 *


45

α) Υπολογίστε τους πίνακες Π(Β/Α), Π(Β), Π(Α,Β)

β) ∆είξτε ότι Η(ΑΒ)=h(p)+h(0.1) και Η(Β)= 0.9h(p) + h(0.1)

γ) ∆είξτε ότι η διαπληροφορία είναι I(A,B)=0.9h(p)

δ) Καταλήξτε στο συµπέρασµα ότι η χωρητικότητα του καναλιού είναι

C= 0.9 bits/σύµβολο

[Σηµείωση: Γενικά, αν η πιθανότητα απόσβεσης είναι q η χωρητικότητα είναι

C= (1-q) bits/σύµβολο ]

3.12 ∆ίνεται το κανάλι πληροφορίας µε m σύµβολα εισόδου και εξόδου και πίνακα

=Π

mmm

mmm

mmm

AB

111

111

111

)/(

L

MOMM

L

L

Το κανάλι αυτό λέγεται ανεξάρτητο (independent channel).

Να δείξετε ότι η χωρητικότητα αυτού του καναλιού είναι C=0, δηλαδή ότι δεν

υπάρχει µεταφορά πληροφορίας. Αφού σχεδιάσετε το διάγραµµα του καναλιού

αυτού για m=3, σχολιάστε το για να δικαιολογήσετε το αποτέλεσµα.


46


3.1 γ) 300

101 δ) 300

1 ε) 1001

3.2 α) Η=1.75 bits/σύµβολο β) Ηmax= 2 bits/σύµβολο δ) πιθ/τα = 11/40

3.3 α) Π(Α) = [1/4 3/4], Η(Α) =0.81 bits/σύµβολο

γ) 3/8 δ) 1/8

3.4 α) Π(Α) = [1/4 1/4 1/2 ] Η(Α) = 1.5 bits/σύµβολο

γ) 3/8 και 5/8 αντίστοιχα

δ) 1/8

3.5 Υπόδειξη: =Π )(A [ ])()( 21 apap =Π )/( AB

)/()/(

)/()/(

2221

1211

abpabp

abpabp

3.6 α) Π(Α)= [0.25 0.40 0.15 0.15 0.05] Π(Β)=[0.35 0.35 0.20 0.10]

β)

=Π

0100

3/23/100

03/23/10

004/34/1

0001

)/( AB

γ) Η(Α)= 2.066 bits/σύµβολο

Η(Β)=1.857 bits/σύµβολο

Η(ΑΒ)=2.666 bits/σύµβολο

Η(Β/Α) = Η(ΑΒ)-Η(Α) = 0.6 bits/σύµβολο

Η(Α/Β) = Η(ΑΒ)-Η(Β) = 0.809 bits/σύµβολο

3.7 β) )/( 34 abp = 1/4 και )/( 25 abp = 0 )/( 43 bap =1 )/( 52 bap =0

Γενικά, )/( bap είναι είτε 0 είτε 1

γ) C=2 bits/σύµβολο

3.8 C=1 bit/σύµβολο

3.9 Θεωρητική. γ) max Η(Β)=1 για p=1/2 (και q≠ 1/2)


47

3.10 α) C=0 β) και γ) C=0.19 bits/σύµβολο

3.11 α) Π(Β)= [ ])1(9.01.09.0 pp − και Π(Α,Β)=

−− )1(9.0)1(1.00

01.09.0

pp

pp

3.12 Θεωρητική. µεταξύ άλλων πρέπει να βρεθούν τα εξής:

)(BΠ = ]111

[mmm

L ),( BAΠ =

m

p

m

p

m

p

m

p

m

p

m

pm

p

m

p

m

p

mmmL

MOMM

L

L

222

111

mBH 2log)( = )(ABH )(log 2 AHm +=


48


49

4. ΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ

ΘΟΡΥΒΟ

Στο κεφάλαιο αυτό θα θεωρήσουµε ότι το κανάλι επικοινωνίας είναι ιδανικό, χωρίς

θόρυβο, ότι δηλαδή δεν συµβαίνουν σφάλµατα κατά τη µετάδοση της

πληροφορίας. Εδώ έχουµε µια πηγή που στέλνει τα σύµβολα ενός αλφαβήτου, µε

διαφορετική πιθανότητα το καθένα, και αναζητούµε µια κατάλληλη κωδικοποίηση

των συµβόλων της πηγής που να λαµβάνει υπόψη της αυτό το γεγονός (να

θυµηθούµε το παράδειγµα του ινδιάνικου χωριού Α στην εισαγωγή).

Ας πάρουµε µια πηγή που στέλνει τα γράµµατα του ελληνικού αλφαβήτου και ας

υποθέσουµε ότι καταναλώνουµε κάποια ενέργεια για την αποστολή κάθε

γράµµατος. Είναι φανερό ότι σε ένα τυχαίο κείµενο δεν εµφανίζονται όλα τα

γράµµατα του ελληνικού αλφαβήτου µε την ίδια συχνότητα. Εάν λοιπόν έχουµε

στη διάθεσή µας µια συγκεκριµένη ποσότητα ενέργειας, θα ήταν «άδικο» να

καταναλώνουµε την ίδια ενέργεια για να στείλουµε το γράµµα Α που εµφανίζεται

πολύ συχνά µε την ενέργεια που ξοδεύουµε για το σπανιότερο γράµµα Ξ. Θα ήταν

πιο λογικό να µετατοπίσουµε το βάρος της κατανάλωσης ενέργειας προς τα

σπανιότερα γράµµατα, να στέλνουµε δηλαδή τα συχνά γράµµατα µε λιγότερη

ενέργεια και τα σπάνια γράµµατα µε περισσότερη, ώστε να µειώσουµε κατά µέσο

όρο την απαιτούµενη ενέργεια ανά σύµβολο.

4.1 ΤΙ ΣΗΜΑΙΝΕΙ ΚΑΤΑΛΛΗΛΗ ΚΩ∆ΙΚΟΠΟΙΗΣΗ

ΠΩΣ ΕΚΜΕΤΑΛΛΕΥΟΜΑΣΤΕ ΤΗΝ ΕΝΤΡΟΠΙΑ ΤΗΣ ΠΗΓΗΣ

Ας υποθέσουµε ότι µια πηγή εκπέµπει τα οκτώ σύµβολα

ΘΘΘΘΗΗΗΗΖΖΖΖΕΕΕΕ∆∆∆∆ΓΓΓΓΒΒΒΒΑΑΑΑ ,,,,,,,

µε ίσες πιθανότητες, δηλαδή

8

1)()()()()()()()( ======== ΘΘΘΘΗΗΗΗΖΖΖΖΕΕΕΕ∆∆∆∆ΓΓΓΓΒΒΒΒΑΑΑΑ pppppppp

Η εντροπία της πηγής είναι

338

18]8log

8

1[8 2 =⋅⋅=×=H bits/σύµβολο


50

Η µέση πληροφορία λοιπόν ανά σύµβολο είναι 3 bits.

Αν θέλουµε να χρησιµοποιήσουµε το δυαδικό κανάλι επικοινωνίας για τη µεταφορά

των συµβόλων, φαίνεται πολύ λογικό να αναπαραστήσουµε τα οκτώ γράµµατα µε

τριάδες δυαδικών ψηφίων (υπάρχουν οκτώ ακριβώς!). Θα µπορούσαµε λοιπόν να

κάνουµε την αντιστοίχιση (ή την κωδικοποίηση αν θέλετε):

ΠΙΝΑΚΑΣ 1.

Α 000

Β 001

Γ 010

∆ 011

Ε 100

Ζ 101

Η 110

Θ 111

Έτσι χρειαζόµαστε 3 bits1 (δυαδικά ψηφία) ανά σύµβολο για µια καλή

αναπαράσταση των γραµµάτων, όση είναι δηλαδή η εντροπία!

Ας υποθέσουµε τώρα ότι η πηγή µας εκπέµπει τα ίδια σύµβολα αλλά µε

διαφορετικές πιθανότητες, οι οποίες δίνονται στον παρακάτω πίνακα:

ΑΑΑΑ ΒΒΒΒ ΓΓΓΓ ∆∆∆∆ ΕΕΕΕ ΖΖΖΖ ΗΗΗΗ ΘΘΘΘ

21

81

81

161

161

161

321

321

Η εντροπία της πηγής αυτής είναι

)32log32

1(2)16log

16

1(3)8log

8

1(22log

2

1⋅+⋅+⋅+=H

3125.216

37

32

52

4

13

8

32

2

1==+++= bits/σύµβολο.

1 Χρησιµοποιώ τον ίδιο όρο bit, για να εκφράσω τόσο τη µονάδα µέτρησης του πληροφοριακού περιεχοµένου, όσο και το δυαδικό ψηφίο 0 ή 1. Πρέπει όµως να επισηµάνω ότι σύµπτωση υπάρχει µόνο στην περίπτωση που τα δυαδικά ψηφία 0 και 1 είναι ισοπίθανα (βλέπε παράδειγµα 1, κεφαλαίου 2)


51

Θα µπορούσαµε να εφαρµόσουµε και πάλι την προηγούµενη κωδικοποίηση

χρησιµοποιώντας 3 δυαδικά ψηφία ανά σύµβολο. Ωστόσο, υπάρχουν περιθώρια

για βελτίωση. Θα ήταν πιο έξυπνο να κωδικοποιήσουµε τα πιο πιθανά σύµβολα µε

λιγότερα ψηφία και τα πιο σπάνια µε περισσότερα έτσι ώστε να «ρίξουµε» το µέσο

όρο δυαδικών ψηφίων ανά σύµβολο. Προτείνουµε την παρακάτω κωδικοποίηση:

ΠΙΝΑΚΑΣ 2

Α 0

Β 100

Γ 101

∆ 1100

Ε 1101

Ζ 1110

Η 11110

Θ 11111

Παρατηρούµε τώρα ότι το µέσο µήκος του δεύτερου κώδικα είναι 1

+×12

1+×3

8

1+×3

8

1+× 4

16

1+× 4

16

1+× 4

16

1+×5

32

1=×5

32

1

3125.232

74== bits/σύµβολο

όση και η εντροπία!

Με άλλα λόγια τι πετύχαµε; Αν θέλουµε να στείλουµε ένα κείµενο 10000

χαρακτήρων (γραµµάτων) µε την κωδικοποίηση του Πίνακα 1 αναµένουµε ότι θα

χρειαστούµε 30,000 bits (κατά µέσο όρο πάντα) ενώ µε την κωδικοποίηση του

Πίνακα 2 αναµένουµε ότι θα χρειαστούµε µόνο 23,125 bits. Ο δεύτερος κώδικας

λοιπόν έχει καλύτερη απόδοση όσον αφορά τη συµπίεση των δεδοµένων και κατ’

επέκταση εξασφαλίζει καλύτερη ταχύτητα µετάδοσης.

Υποψιαζόµαστε λοιπόν ότι η εντροπία µιας πηγής εκφράζει ένα κριτήριο, ένα στόχο

για το κατά πόσο µπορούµε να βελτιώσουµε την απόδοση της κωδικοποίησης.

Στην τελευταία παράγραφο του κεφαλαίου αυτού θα διαπιστώσουµε ότι η υποψία

µας θα βγει αληθινή.

1 θυµίζω ότι για τη µέση τιµή των µηκών πολλαπλασιάζουµε το κάθε µήκος µε την αντίστοιχη πιθανότητα και αθροίζουµε


52

Με µια πρόχειρη µατιά θα αναρωτιόταν κανείς «γιατί να µην µειώσουµε κι άλλο το

µήκος των κωδικών λέξεων ώστε να πάρουµε καλύτερο αποτέλεσµα». Όπως θα

δούµε σε επόµενη παράγραφο, η κωδικοποίηση αυτή είναι η καλύτερη δυνατή που

εξασφαλίζει µια οµαλή αποκωδικοποίηση στην έξοδο του καναλιού.

ΠΑΡΑ∆ΕΙΓΜΑ 1. Κωδικοποιήστε το µήνυµα ΑΒΓΑ µε τους δύο παραπάνω

τρόπους. Πόσα bits χρειάζεστε σε κάθε περίπτωση; Μπορείτε να

αποκωδικοποιήσετε το µήνυµά σας; Μπορείτε να βρείτε µια λέξη που να απαιτεί

περισσότερα bits µε το δεύτερο τρόπο;

Για τη λέξη ΑΒΓΑ

1ος τρόπος : ΑΒΓΑ → 000 001 010 000 12 bits

2ος τρόπος : ΑΒΓΑ → 0 100 101 0 8 bits

Η κωδική λέξη της 1ης κωδικοποίησης 000001010000 αποκωδικοποιείται εύκολα

µε βάση τον ΠΙΝΑΚΑ 1, αν χωρίσουµε το µήνυµα σε τριάδες. Προφανώς δίνει

ΑΒΓΑ. Η κωδική λέξη της 2ης κωδικοποίησης 01001010, παρόλο που δεν ξέρουµε

πως να τη χωρίσουµε σε οµάδες, αποκωδικοποιείται εύκολα µε βάση τον ΠΙΝΑΚΑ

2. ∆ίνει και πάλι ΑΒΓΑ.

Όπως είπαµε, η 2η κωδικοποίηση είναι πιο οικονοµική, διότι κατά µέσο όρο απαιτεί

λιγότερα bits. Αυτό βέβαια δε σηµαίνει ότι όλα τα µηνύµατα απαιτούν λιγότερα

bits. Αν το µήνυµα που στέλνουµε περιέχει αρκετά «σπάνια» γράµµατα είναι πολύ

πιθανό να απαιτεί περισσότερα bits στη δεύτερη περίπτωση. Π.χ. το µήνυµα ΘΗΒΑ

περιέχει τα δύο σπανιότερα γράµµατα Θ και Η, οπότε

1ος τρόπος : ΘΗΒΑ → 111 110 001 000 12 bits

2ος τρόπος : ΘΗΒΑ → 11111 11110 100 0 14 bits

Στην δεύτερη κωδικοποίηση δώσαµε έτοιµο τον ΠΙΝΑΚΑ 2. Η εύρεση του

κατάλληλου κάθε φορά κώδικα δεν είναι εύκολη υπόθεση και αποτελεί επιδίωξη

των Τηλεπικοινωνιακών. Σε περιπτώσεις αρκετά βολικές, όπως ήταν το παράδειγµά

µας, ο επόµενος τρόπος κωδικοποίησης είναι αρκετά ικανοποιητικός.


53

4.2 ΚΩ∆ΙΚΑΣ SHANNON-FANO.

ΕΝΑΣ ΑΠΛΟΣ ΤΡΟΠΟΣ ΕΞΥΠΝΗΣ ΚΩ∆ΙΚΟΠΟΙΗΣΗΣ

Χρησιµοποιούµε το παράδειγµα της προηγούµενης παραγράφου για να

περιγράψουµε τον αλγόριθµό µας: Η πηγή εκπέµπει 8 σύµβολα µε πιθανότητες

ΑΑΑΑ ΒΒΒΒ ΓΓΓΓ ∆∆∆∆ ΕΕΕΕ ΖΖΖΖ ΗΗΗΗ ΘΘΘΘ

1/2 1/8 1/8 1/16 1/16 1/16 1/32 1/32

Ακολουθούµε τα εξής βήµατα:

1. ∆ιατάσσουµε τα σύµβολα κατά φθίνουσα σειρά πιθανοτήτων.

[στο παράδειγµά µας είναι ήδη ταξινοµηµένα]

2. Χωρίζουµε τα σύµβολα σε δύο οµάδες όσο το δυνατό πιο ισοπίθανες.

[δείτε στην πρώτη στήλη όπου χωρίσαµε σε Α και Β,Γ,∆,Ε,Ζ,Η,Θ]

3. Στην πρώτη οµάδα επισυνάπτουµε το ψηφίο 0 και στη δεύτερη το ψηφίο 1.

[δείτε την πρώτη στήλη]

4. Αν κάποια οµάδα περιέχει µόνο ένα σύµβολο η κωδικοποίηση για το

σύµβολο αυτό έχει τελειώσει.

[εδώ π.χ. έχουµε τελειώσει για το σύµβολο Α]

5. ∆ιαφορετικά χωρίζουµε ξανά την οµάδα µε µια οριζόντια γραµµή

ακολουθώντας τα βήµατα 2 και µετά.

[εδώ π.χ. συνεχίζουµε για την οµάδα Β,Γ,∆,Ε,Ζ,Η,Θ ]

6. Η διαδικασία τελειώνει όταν όλες οι οµάδες που προκύπτουν περιέχουν

µόνο ένα σύµβολο.

Με τον τρόπο αυτό κατασκευάζουµε τον ακόλουθο πίνακα

Α 1/2 = 0.5 0

Β 1/8 = 0.125 1 0 0

Γ 1/8 = 0.125 1 0 1

∆ 1/16 = 0.0625 1 1 0 0

Ε 1/16 = 0.0625 1 1 0 1

Ζ 1/16 = 0.0625 1 1 1 0

Η 1/32 = 0.03125 1 1 1 1 0

Θ 1/32 = 0.03125 1 1 1 1 1

1η 2η 3η 4η 5η


54

Αναλυτικά: Στην 1η στήλη • χωρίσαµε το σύνολο Α,Β,Γ,∆,Ε,Ζ,Η,Θ στις οµάδες

Α και Β,Γ,∆,Ε,Ζ,Η,Θ

µε άθροισµα πιθανοτήτων 0.5 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1. Με την πρώτη οµάδα τελειώσαµε διότι περιέχει ένα µόνο σύµβολο. Στην 2η στήλη • χωρίσαµε το σύνολο Β,Γ,∆,Ε,Ζ,Η,Θ στις οµάδες

Β,Γ και ∆,Ε,Ζ,Η,Θ µε άθροισµα πιθανοτήτων 0.25 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1. Θα συνεχίσουµε και µε τις δύο οµάδες. Στην 3η στήλη • χωρίσαµε το σύνολο Β,Γ στις οµάδες

Β και Γ µε άθροισµα πιθανοτήτων 0.125 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1. • χωρίσαµε το σύνολο ∆,Ε,Ζ,Η,Θ στις οµάδες

∆,Ε και Ζ,Η,Θ µε άθροισµα πιθανοτήτων 0.125 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1. Συνεχίζουµε µε τις οµάδες ∆,Ε και Ζ,Η,Θ Στην 4η στήλη • χωρίσαµε το σύνολο ∆,Ε στις οµάδες

∆ και Ε µε άθροισµα πιθανοτήτων 0.0625 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1. • χωρίσαµε το σύνολο Ζ,Η,Θ στις οµάδες

Ζ και Η,Θ µε άθροισµα πιθανοτήτων 0.0625 σε κάθε οµάδα. Στην πρώτη οµάδα επισυνάψαµε το 0, στη δεύτερη το 1.


55

Συνεχίζουµε µόνο µε την οµάδα Η,Θ Στην 5η στήλη • χωρίσαµε το σύνολο Η,Θ στις οµάδες

Η και Θ Στην πρώτη οµάδα επισυνάψαµε το 0 στη δεύτερη το 1.

Έτσι προέκυψε η δεύτερη κωδικοποίηση της προηγούµενης παραγράφου.

Η κωδικοποίηση Shannon-Fano παρουσιάστηκε ενδεικτικά για εκπαιδευτικούς

λόγους. Όπως καταλαβαίνουµε η κωδικοποίηση αυτή δίνει καλά αποτελέσµατα

µόνο όταν βρίσκουµε συνεχώς περίπου ισοπίθανες οµάδες σε κάθε διαχωρισµό.

Αυτό βέβαια συµβαίνει σπάνια και ο τρόπος αυτός δεν παρέχει πάντα τόσο

κατάλληλη κωδικοποίηση. Υπάρχουν κι άλλοι έξυπνοι τρόποι κωδικοποίησης οι

οποίοι εξαρτώνται κάθε φορά από την πηγή του συστήµατος επικοινωνίας.

ΠΑΡΑ∆ΕΙΓΜΑ 2. Μία πηγή εκπέµπει 5 σύµβολα Α,Β,Γ,∆,Ε µε ίσες πιθανότητες.

α) Ποια είναι η εντροπία της πηγής;

β) Να δοθεί µια δυαδική κωδικοποίηση µε σταθερό µήκος κωδικών λέξεων.

γ) Να βρεθεί µια καλύτερη κωδικοποίηση µε τον αλγόριθµο Shannon-Fano.

δ) Να γίνει σύγκριση µεταξύ της απόδοσης των δύο κωδικοποιήσεων και της

εντροπίας της πηγής.

ΛΥΣΗ:

α) 3219.25log 2 ==H

β) Με κωδικές λέξεις µήκους 2 θα µπορούσαµε να εκφράσουµε µόνο τέσσερα

σύµβολα. Άρα χρειαζόµαστε µήκος τουλάχιστον 3. Π.χ.

Α 000

Β 100

Γ 010

∆ 001

Ε 111


56

γ) Ο αλγόριθµος Shannon-Fano δίνει

σύµβολο πιθανότητα κωδική λέξη

Α 0,2 00

Β 0,2 01

Γ 0,2 10

∆ 0,2 110

Ε 0,2 111

παρατηρούµε ότι δεν είναι δυνατός ο χωρισµός σε ισοπίθανες οµάδες, οπότε

χωρίζουµε την πρώτη φορά σε οµάδες µε πιθανότητες 0.4 και 0.6 αντίστοιχα

κ.ο.κ.

δ) Η πρώτη κωδικοποίηση απαιτεί 3 bits/σύµβολο.

Η δεύτερη κωδικοποίηση απαιτεί

22.0 ⋅ + 22.0 ⋅ + 22.0 ⋅ + 32.0 ⋅ + 32.0 ⋅ = 2.4 bits/σύµβολο.

Η απόδοσή της δηλαδή βρίσκεται αρκετά κοντά στην τιµή της εντροπίας.

ΠΑΡΑ∆ΕΙΓΜΑ 3. Έστω ότι µια πηγή εκπέµπει 7 σύµβολα µε πιθανότητες που

δίνονται στον παρακάτω πίνακα:

Α E Ι Κ Λ Ρ Σ

0,20 0,10 0,12 0,10 0,05 0,13 0,30

Θα βρούµε έναν κατάλληλο δυαδικό κώδικα σε περιβάλλον χωρίς θόρυβο µε τον

αλγόριθµο Shannon-Fano.

Σ 0,30 0 0

Α 0,20 0 1

Ρ 0,13 1 0 0

Ι 0,12 1 0 1

Ε 0,10 1 1 0

Κ 0,10 1 1 1 0

Λ 0,05 1 1 1 1


57

Ας αποκωδικοποιήσουµε το µήνυµα 1111011001010001. Είναι

1111 01 100 101 00 01 Λ Α Ρ Ι Σ Α

Παρατηρούµε και πάλι ότι µε την κωδικοποίηση Shannon-Fano µειώνουµε τον

µέσο αριθµό bits ανά σύµβολο αντιστοιχίζοντας µικρότερες κωδικές λέξεις σε πιο

πιθανά σύµβολα, µε άλλα λόγια συµπιέζουµε τα δεδοµένα. Εάν οι όλες κωδικές

λέξεις είχαν ίδιο µήκος θα χρειαζόµασταν τουλάχιστον 3 bits/σύµβολο. Έτσι η λέξη

ΛΑΡΙΣΑ π.χ. θα καταλάµβανε 6x3=18 bits, ενώ τώρα καταλαµβάνει 16 bits (καθώς

περιέχει περισσότερα πιθανά σύµβολα). Έτσι τα µηνύµατα καταλαµβάνουν γενικά

λιγότερο χώρο και µεταδίδονται ταχύτερα. Αν υπολογίσουµε και εδώ το µέσο

µήκος του κώδικά µας θα διαπιστώσουµε ότι πλησιάζει αρκετά κοντά στην τιµή της

εντροπίας.

Όπως είπαµε, σε ορισµένες περιπτώσεις µπορούµε να βρούµε ακόµα καλύτερες

κωδικοποιήσεις (δείτε το πρόβληµα 1 αυτού του Κεφαλαίου). Η απόδοση µπορεί

πλησιάσει αρκετά κοντά στην τιµή της εντροπίας αλλά δεν µπορεί να γίνει

µικρότερη όπως θα δούµε στην παράγραφο 4.5. Ας απαντήσουµε όµως πρώτα σε

ένα ερώτηµα που εκκρεµεί.

4.3 ΓΙΑΤΙ ∆ΕΝ ΜΕΙΩΝΟΥΜΕ ΠΕΡΙΣΣΟΤΕΡΟ ΤΟ ΜΗΚΟΣ ΤΩΝ

ΚΩ∆ΙΚΩΝ ΛΕΞΕΩΝ – ΑΠΟΚΩ∆ΙΚΟΠΟΙΗΣΗ

Στην παράγραφο 4.1 αφήσαµε ένα ερώτηµα αναπάντητο. Στη δεύτερη

κωδικοποίηση αντιστοιχίσαµε κάποια γράµµατα µε ένα bit και κάποια άλλα µε 5

bits. ∆εν µπορούµε να µειώσουµε περαιτέρω τα µήκη των δυαδικών λέξεων; Αν το

πράξουµε, οι κώδικες που θα πάρουµε θα παρουσιάζουν προβλήµατα στην

αποκωδικοποίηση. Η µείωση του µήκους των κωδικών λέξεων πρέπει να γίνει µε

τέτοιο τρόπο ώστε να εξασφαλίζεται η δυνατότητα οµαλής αποκωδικοποίησης στην

έξοδο του συστήµατός µας. Ας δούµε τα προβλήµατα της αποκωδικοποίησης µε

κάποια παραδείγµατα.

Γνωρίζουµε ότι οποιαδήποτε αντιστοίχιση συµβόλων µε δυαδικά bits αποτελεί

κώδικα. ∆ίνουµε λοιπόν τέσσερις κώδικες για τα σύµβολα Α,Β,Γ,∆.


58

1ος 2ος 3ος 4ος

Α 00 10 10 1

Β 01 100 100 01

Γ 01 1010 1000 001

∆ 11 1100 1100 0001

Ο πρώτος κώδικας δεν είναι καλός διότι τα σύµβολα Β και Γ κωδικοποιούνται µε

τον ίδιο τρόπο, οπότε στην αποκωδικοποίηση θα έχουµε πρόβληµα. ∆εν είναι όπως

λέµε ευκρινής.

Ένας κώδικας θα λέγεται ευκρινής όταν διαφορετικά σύµβολα κωδικοποιούνται µε

διαφορετικές κωδικές λέξεις.

Στο δεύτερο κώδικα, αν και είναι ευκρινής, δεν είναι πάντοτε δυνατό να

αναγνωρίζουµε τις κωδικές λέξεις σε µια ακολουθία κωδικών συµβόλων. Π.χ αν

προσπαθήσουµε να αποκωδικοποιήσουµε το µήνυµα 101010 αυτό µπορεί να

ερµηνευτεί είτε ως ΑΑΑ είτε ως ΑΓ είτε ως ΓΑ. ∆εν ορίζεται λοιπόν µονοσήµαντα το

αποτέλεσµα.

Ένας ευκρινής κώδικας θα λέγεται µονοσήµαντος όταν κάθε ακολουθία

συµβόλων αποκωδικοποιείται µε µοναδικό τρόπο.

Ο τρίτος κώδικας είναι µεν µονοσήµαντος αλλά δεν είναι στιγµιαία

αποκωδικοποιήσιµος διότι ορισµένες φορές για να αποκωδικοποιήσουµε µια λέξη

πρέπει να ελέγξουµε και επόµενα ψηφία. Επιθυµία µας είναι η κάθε κωδική λέξη

να αναγνωρίζεται αµέσως µόλις πάρουµε και το τελευταίο της ψηφίο. Π.χ. ας

αποκωδικοποιήσουµε το µήνυµα 100101000: Φτάνοντας στο δεύτερο ψηφίο δεν

είµαστε ακόµη σίγουροι αν το 10 αντιστοιχεί στο Α η αν ακολουθεί κι άλλο 0 ώστε

να πάρουµε Β ή ακόµη και Γ. Στο τρίτο ψηφίο επίσης δεν είµαστε σίγουροι αν

έχουµε το σύµβολο Β ή ακολουθεί κι άλλο 0 ώστε να πάρουµε το Γ. Μόλις

εξετάσουµε και το τέταρτο κωδικό σύµβολο και δούµε 1 θα καταλάβουµε ότι η

προηγούµενη τριάδα αντιστοιχούσε στο Β. Η αποκωδικοποίηση βέβαια είναι

εφικτή, το µήνυµα που αναζητάµε είναι ΒΑΓ, αλλά δεν έχουµε στιγµιαία

αποκωδικοποίηση.

Ένας κώδικας θα λέγεται προθεµατικός (ή και στιγµιαία αποκωδικοποιήσιµος)

αν καµία κωδική λέξη δεν αποτελεί πρόθεµα σε κάποια άλλη.


59

Με την ιδιότητα του προθεµατικού κώδικα εξασφαλίζουµε ότι µόλις λάβουµε και το

τελευταίο ψηφίο µιας κωδικής λέξης τελειώνει η αποκωδικοποίηση της λέξης

αυτής. Ο 3ος κώδικας λοιπόν δεν είναι προθεµατικός.

Ο τέταρτος κώδικας είναι προθεµατικός διότι καµία κωδική λέξη δεν αποτελεί

πρόθεµα σε κάποια άλλη. Το ψηφίο 1 µας προειδοποιεί κάθε φορά ότι η κωδική

λέξη τερµατίζει και η κωδικοποίηση γίνεται στιγµιαία. Έτσι εύκολα και στιγµιαία

διαπιστώνουµε πχ ότι

0110001001011 = ΒΑ∆ΓΒΑ

Τέλος, να σηµειώσουµε ότι

Η κωδικοποίηση Shannon-Fano µας δίνει πάντοτε προθεµατικό κώδικα.

4.4 ∆ΥΑ∆ΙΚΑ ∆ΕΝΤΡΑ ΓΙΑ ΠΡΟΘΕΜΑΤΙΚΟΥΣ ΚΩ∆ΙΚΕΣ

Ένας προθεµατικός κώδικας µπορεί να αναπαρασταθεί µε ένα δυαδικό δέντρο ως

εξής. Ξεκινάµε από έναν κόµβο στην κορυφή και σχηµατίζουµε δύο κλάδους

Στον αριστερό κλάδο τοποθετούµε 0 ενώ στον δεξιό 1. Συνεχίζουµε µε τον ίδιο

τρόπο από κάθε νέο κόµβο µέχρι να συµπληρωθούν διαδροµές που αντιστοιχούν

σε κωδικές λέξεις. Έτσι στον κώδικα Shannon-Fano του παραδείγµατος 3

Σ 00

Α 01

Ρ 100

Ι 101

Ε 110

Κ 1110

Λ 1111

αντιστοιχεί το παρακάτω δυαδικό δέντρο

0 1


60

Στους τελικούς κόµβους (λέγονται και φύλλα του δέντρου) τοποθετούµε τα

αντίστοιχα σύµβολα του κώδικα.

Αντίστροφα, από ένα δυαδικό δέντρο µπορούµε να πάρουµε έναν δυαδικό κώδικα

και µάλιστα το δέντρο µας εξασφαλίζει ότι ο κώδικας είναι προθεµατικός. Γιατί;

ΠΑΡΑ∆ΕΙΓΜΑ 4. Ποιος κώδικας αντιστοιχεί στο παρακάτω δέντρο;

Αν τοποθετήσουµε 0 σε κάθε αριστερό κλάδο και 1 σε κάθε δεξιό, το σύµβολο Ε

για παράδειγµα αντιστοιχεί στην κωδική λέξη 1101. ∆ουλεύοντας παρόµοια για

όλα τα σύµβολα θα πάρουµε τον κώδικα Shannon-Fano της παραγράφου 4.2.

Θ

Β

Α

Ζ Ε

Γ

∆

Η

Ρ

Α

Λ Κ

Ι Ε

Σ 1

1 0

1

1 0 0

0 1 0

1 0


61

4.5 ΤΟ ΠΡΩΤΟ ΘΕΩΡΗΜΑ ΤΟΥ SHANNON

(ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ)

Βλέπουµε λοιπόν ότι το ζητούµενο στην κωδικοποίηση σε ένα αθόρυβο περιβάλλον

είναι να βελτιώσουµε το µέσο µήκος των κωδικών λέξεων ώστε να έχουµε

ταχύτερη µεταφορά δεδοµένων. Στα παραδείγµατα της παραγράφου 4.2 είδαµε ότι

καθώς βελτιώνεται το µέσο µήκος των κωδικών λέξεων πλησιάζει την τιµή της

εντροπίας της πηγής. Στο Παράδειγµα 1, µε τον αλγόριθµο Shannon-Fano

πετύχαµε ακριβώς την τιµή της εντροπίας. Στο παράδειγµα 2 την πλησιάσαµε

αρκετά. Χαρακτηριστικό είναι και το πρόβληµα 1 αυτού του κεφαλαίου όπου η

εντροπία της πηγής είναι ≅H 2.17 ενώ βρίσκουµε τρεις κώδικες µε µέσο µήκος

κωδικών λέξεων 3, 2.3 και 2.2 bits/σύµβολο αντίστοιχα. Μέχρι ποιο σηµείο

µπορούµε να συµπιέσουµε τα δεδοµένα µας ώστε να µεταδίδονται ταχύτερα; Η

εντροπία παίζει πράγµατι καθοριστικό ρόλο προς την αναζήτηση ενός καλύτερου

κώδικα; Την απάντηση στα ερωτήµατα αυτά τη δίνει ο Shannon.

Προηγουµένως θα εξηγήσουµε το σκεπτικό του θεωρήµατος µε ένα απλό

παράδειγµα. Έστω η πηγή Α που περιγράφεται από τον πίνακα

a b c

0,7 0,2 0,1

Η εντροπία της πηγής είναι ≅H 1.157 bits/σύµβολο. Με τον αλγόριθµο

Shannon-Fano παίρνουµε τον κώδικα

σύµβολο κωδική λέξη

a 0

b 10

c 11

µε µέσο µήκος κωδικών λέξεων

3.121.022.017.0 =×+×+× bits/σύµβολο

Είναι φανερό πως δεν µπορούµε να συµπιέσουµε περισσότερο τις κωδικές λέξεις

των συµβόλων a, b, c. Μπορούµε όµως να σκεφτούµε ως εξής. Ένα µήνυµα που

έχει για παράδειγµα τη µορφή


62

abccbabb

µπορεί να θεωρηθεί αντί για ακολουθία 8 συµβόλων, ως ακολουθία των «διπλών»

συµβόλων ab, cc, ba, bb. Aν θεωρήσουµε λοιπόν την δεύτερη επέκταση της

πηγής έχουµε 9 (διπλά) σύµβολα πηγής

aa ab ac ba bb bc ca cb cc

0,49 0,14 0,07 0,14 0,04 0,02 0,07 0,02 0,01

και κάθε µήνυµα µπορεί να γραφεί ως συνδυασµός αυτών των νέων συµβόλων. Οι

αντίστοιχες πιθανότητες προκύπτουν από τον αρχικό πίνακα πιθανοτήτων (θυµίζω

πχ ότι p(ab)=p(a)p(b)=(0.7)(0.2)=0.14).

Ο αλγόριθµος Shannon-Fano τώρα δίνει

σύµβολο Πιθαν. κωδική λέξη

aa 0,49 0

ab 0,14 100

ba 0,14 101

ac 0,07 1100

ca 0,07 1101

bb 0,04 1110

bc 0,02 11110

cb 0,02 111110

cc 0,01 111111

Η εντροπία της νέας πηγής είναι

Η(Α2)=2Η(Α)=2,314 bits/«διπλό»-σύµβολο

ενώ το νέο µέσο µήκος κωδικών λέξεων είναι

+×+×+× 314.0314.0149.0

+×+×+× 404.0407.0407.0

=×+×+× 601.0602.0502.0 2,33 bits/«διπλό»-σύµβολο

Ουσιαστικά το νέο µέσο µήκος κωδικών λέξεων είναι

=2

33,21.165 bits/σύµβολο


63

Συνοψίζοντας έχουµε

Εντροπία πηγής Η=1.157

Μέσο µήκος κωδικών λέξεων αρχικού κώδικα 1.3

Μέσο µήκος κωδικών λέξεων νέου κώδικα (επέκταση) 1.165

Το νέο µέσο µήκος λοιπόν είναι ακόµη µικρότερο και πλησιάζει ακόµη περισσότερο

στην αρχική εντροπία Η(Α). Εφαρµόζοντας λοιπόν κωδικοποίηση στην επέκταση

της πηγής πετυχαίνουµε µεγαλύτερη συµπίεση δεδοµένων.

Ο Shannon απέδειξε το εξής:

ΘΕΩΡΗΜΑ (Περιγραφή). Έστω µια πηγή Α (µε m σύµβολα) και εντροπία Η(Α).

Επεκτείνοντας κατάλληλα την πηγή, µπορούµε να βρούµε έναν δυαδικό κώδικα µε

το µέσο µήκος των κωδικών λέξεων να συµπιέζεται όσο επιθυµούµε µέχρι το

κατώτατο όριο που είναι η εντροπία της πηγής Η(Α).

Γενικότερα, αν χρησιµοποιήσουµε αλφάβητο κωδικοποίησης µε k σύµβολα (αντί

για το δυαδικό όπου k=2), το κατώτατο όριο της συµπίεσης είναι

k

AH

2log

)( bits/σύµβολο

Υπάρχει όµως ένα αντίτιµο στην αναζήτηση του καλύτερου κώδικα

1) Η διαδικασία κωδικοποίησης είναι δύσκολη

2) Αυξάνεται ο χρόνος κωδικοποίησης και αποκωδικοποίησης

Ο Shannon µας επιτρέπει να είµαστε αισιόδοξοι και να αναζητούµε ολοένα και

καλύτερους κώδικες. Η αισιοδοξία που πηγάζει από το θεώρηµα αυτό αποτέλεσε

κίνητρο και έδωσε ώθηση στη θεωρία των Κωδίκων και κατ’ επέκταση στις

τηλεπικοινωνίες. Το δυσάρεστο είναι ότι η απόδειξη του Shannon δεν είναι

κατασκευαστική, µας εξασφαλίζει δηλαδή ότι υπάρχουν καλύτεροι κώδικες αλλά

δεν µας παρέχει τη µέθοδο για να τους βρούµε.

4.6 ΚΩ∆ΙΚΑΣ HUFFMAN

Θα παρουσιάσουµε έναν ακόµη αλγόριθµο κατασκευής κώδικα, τον αλγόριθµο

Huffman, που βασίζεται στην αναπαράσταση του δυαδικού δέντρου που

περιγράψαµε νωρίτερα. Ο αλγόριθµος αυτός είναι πιο αποτελεσµατικός από τον

αλγόριθµο Shannon-Fano.


64

∆ίνεται µια πηγή ),( ΠA µε ,,, 21 naaaA K= και ][ 21 nppp K=Π . Για ευκολία

υποθέτουµε ότι τα σύµβολα βρίσκονται σε φθίνουσα σειρά πιθανοτήτων (αν όχι τα

διατάσσουµε).

Κατασκευάζουµε ένα δυαδικό δέντρο ακολουθώντας τα εξής βήµατα:

1. Τοποθετούµε τα σύµβολα σε µια σειρά κόµβων σηµειώνοντας επάνω τις

αντίστοιχες πιθανότητες

2. Από τα δύο τελευταία σύµβολα x και y (µε τις µικρότερες πιθανότητες),

σχηµατίζουµε έναν νέο κόµβο όπως φαίνεται παρακάτω, σηµειώνοντας

επάνω το άθροισµα των δύο πιθανοτήτων

3. ∆ιατάσσουµε ξανά µε φθίνουσα σειρά πιθανοτήτων τα σύµβολα που

προκύπτουν (όπου στη θέση των δυο παλιών είναι σαν να έχουµε ένα µόνο

νέο σύµβολο) και πηγαινουµε στο βήµα 2, µέχρι να καταλήξουµε σε έναν

κόµβο (την κορυφή του δέντρου).

Στο τέλος σχηµατίζουµε τον προθεµατικό κώδικα που αντιστοιχεί στο δέντρο που

κατασκευάσαµε.

Σηµείωση: Η τοποθέτηση σε φθίνουσα σειρά δεν είναι απαραίτητη. Σηµασία έχει

να ενώνουµε κάθε φορά τα δύο σύµβολα µε τη µικρότερη πιθανότητα. Έτσι,

ανάλογα µε τη σειρά που τοποθετούµε κάθε φορά τα σύµβολα, µπορεί να

προκύψουν διαφορετικά δέντρα, άρα και διαφορετικοί κώδικες αλλά θα όλοι θα

έχουν την ίδια απόδοση. Στη βιβλιογραφία συνήθως δεν συναντάµε την

τοποθέτηση σε φθίνουσα σειρά, ωστόσο εδώ την προτιµούµε για µια πιο

«τακτοποιηµένη» κατασκευή του δέντρου.

Ας γίνουµε πιο σαφείς µε ένα παράδειγµα.

p(x)+p(y)

x y

…

p1

a1

p2

a2

pn

an …


65

ΠΑΡΑ∆ΕΙΓΜΑ 5. Θεωρούµε την πηγή του παραδείγµατος 3:

Α E Ι Κ Λ Ρ Σ

0,20 0,10 0,12 0,10 0,05 0,13 0,30

Θα βρούµε έναν κατάλληλο δυαδικό κώδικα σε περιβάλλον χωρίς θόρυβο µε τον

αλγόριθµο Huffman.

Αρχικά

Ενώνουµε τα δύο τελευταία σύµβολα Κ και Λ σε ένα, το οποίο θα έχει πιθανότητα

0.15 και άρα θα τοποθετηθεί τρίτο στη σειρά

Συνεχίζουµε µε τον ίδιο τρόπο

µετά

µετά

0.30

Σ

Α

0.28

Κ

Ρ

Ι

0.42

Ε Λ

0.30

Σ

0.20

Α

0.28

Κ

Ρ Ι

0.22

Ε

Λ

0.30

Σ

0.20

Α

0.15

Κ

0.13

Ρ

Ι

0.22

Ε Λ

0.30

Σ

0.20

Α

0.15

Κ

0.13

Ρ

0.12

Ι

0.10

Ε

Λ

0.30

Σ

0.20

Α

0.13

Ρ

0.12

Ι

0.10

Ε

0.10

Κ

0.05

Λ


66

µετά

και τελικά

Αν τοποθετήσουµε 0 σε κάθε αριστερό κλάδο και 1 σε κάθε δεξιό λαµβάνουµε

Σ 00

Κ 0100

Λ 0101

Ρ 011

Ι 100

Ε 101

Α 11

Ο κώδικας αυτός είναι µεν διαφορετικός από τον κώδικα που βρήκαµε στο

παράδειγµα 3, ωστόσο εµφανίζονται τα ίδια µήκη κωδικών λέξεων στα αντίστοιχα

σύµβολα, µε αποτέλεσµα να έχουµε την ίδια απόδοση. Σε άλλες περιπτώσεις ο

αλγόριθµος Huffman δίνει καλύτερη απόδοση.

Γενικά ο αλγόριθµος Huffman δίνει την καλύτερη δυνατή απόδοση.

Σ Α

1.00

Κ

Ρ Ι Ε

Λ

Σ Α

0.58

Κ

Ρ Ι

0.42

Ε

Λ


67

ΑΣΚΗΣΕΙΣ

4.1 Μια πηγή εκπέµπει 5 σύµβολα Α,Β,Γ,∆,Ε µε τις παρακάτω πιθανότητες

Α Β Γ ∆ Ε

0,15 0,15 0,15 0,4 0,15

α) Ποια είναι η εντροπία της πηγής; (δίνεται =15.0log2 -2.74 και =4.0log2 -1.32)

β) ∆ώστε µια δυαδική κωδικοποίηση µε σταθερό µήκος κωδικών λέξεων.

γ) Βρείτε µια καλύτερη κωδικοποίηση µε τον αλγόριθµο Shannon-Fano.

δ) Συγκρίνετε την απόδοση των δύο κωδίκων µε την εντροπία της πηγής.

ε) Υπάρχουν και καλύτερες κωδικοποιήσεις. Εξετάστε την απόδοση του κώδικα

Α 100 Β 101

Γ 110 ∆ 0 Ε 111

στ) Εξηγήστε γιατί οι παραπάνω κώδικες είναι στιγµιαία αποκωδικοποιήσιµοι.

4.2 ∆ίνονται οι κώδικες

Εξετάστε αν είναι ευκρινείς, µονοσήµαντοι ή προθεµατικοί (στιγµιαία

αποκωδικοποιήσιµοι)

4.3 ∆ίνεται η πηγή εισόδου

m n o p q r s t

0,10 0,12 0,20 0,05 0,02 0,13 0,30 0,08

α) Να κατασκευάσετε έναν block κώδικα (δηλ. όλες οι κωδικές λέξεις να έχουν το

ίδιο µήκος) µε το µικρότερο δυνατό µήκος. Ποια είναι η απόδοσή του;

1ος 2ος 3ος Α 10 0 01

Β 1010 01 00 Γ 101010 011 100 ∆ 10101010 0111 110

Ε 1010101010 01111 111


68

β) Να βρείτε έναν καταλληλότερο δυαδικό κώδικα από τον block κώδικα του α) µε

τον αλγόριθµο Shannon-Fano.

γ) Με τον κώδικα Shannon-Fano που βρήκατε, να αποκωδικοποιήσετε το µήνυµα

000100111001

Πόσα bits θα χρειαζόµασταν για το ίδιο µήνυµα µε τον κώδικα του ερωτήµατος α);

Πετυχαίνουµε συµπίεση; Σχολιάστε το αποτέλεσµα.

δ) Να υπολογιστεί το µέσο µήκος του κώδικα. Πόσα bits θα καταλάµβανε κατά

µέσο όρο ένα κείµενο 1000 χαρακτήρων µε block κώδικα και πόσα µε τον κώδικα

Shannon-Fano που κατασκευάσατε;

ε) Εξηγήστε γιατί η εντροπία της πηγής Α είναι µικρότερη από 3 bits/σύµβολο.

4.4 ∆ίνεται η πηγή A=a,b,c µε αντίστοιχες πιθανότητες

x , 81 και

81 .

α) Να υπολογίσετε το x και την εντροπία της πηγής Α. Για ποια κατανοµή

πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή Α και ποια είναι αυτή η

µέγιστη τιµή; [δίνεται 58.13log2 = ]

β) Να βρείτε κατάλληλο δυαδικό κώδικα µε τον αλγόριθµο Shannon-Fano και να

µετρήσετε την απόδοσή του (µέσο µήκος κωδικών λέξεων).

γ) Αφού βρείτε την επέκταση Α2 και υπολογίσετε τις πιθανότητες των νέων

συµβόλων, εφαρµόστε τον αλγόριθµο Shannon Fano για σύµβολα της πηγής Α2.

δ) Μετρήστε την απόδοση του νέου κώδικα (σε bits/διπλό_σύµβολο και τελικά σε

bits/σύµβολο)

ε) ∆είξτε πως πετυχαίνουµε συµπίεση δεδοµένων κωδικοποιώντας και µε τους δύο

κώδικες το µήνυµα

aabaacaa

Συγκρίνετε το µέσο µήκος των δύο κωδίκων. Τι πετυχαίνουµε; Μέχρι ποιο σηµείο

µπορεί να βελτιωθεί η απόδοση αυτή; (Σχολιάστε σε σχέση µε το πρώτο θεώρηµα

του Shannon)

4.5 Μια πηγή A εκπέµπει 2 σύµβολα a,b µε πιθανότητες 43 και

41 αντίστοιχα.

α) Υπολογίστε την εντροπία της πηγής (δίνεται ότι 58,13log2 ≅ )

β) Εφαρµόστε τον αλγόριθµο Shannon-Fano για τα σύµβολα της πηγής Α, της

επέκτασης Α2 και της επέκτασης Α3. Βελτιώνεται η απόδοση;

γ) Προσπαθήστε να βρείτε έναν καλύτερο κώδικα για την επέκταση Α3

τροποποιώντας ελαφρώς µόνο το πρώτο βήµα του αλγορίθµου Shannon-Fano και

υπολογίστε την απόδοσή του.


69

4.6 Για να σταλεί µια ασπρόµαυρη φωτογραφία από έναν δορυφόρο αναλύεται σε

1,000,000 pixels (κουκίδες) όπου κάθε pixel είναι είτε άσπρο (Α) είναι µαύρο (Μ).

Αρχικά χρησιµοποιείται η κωδικοποίηση

Πηγή Κώδικας

Α 0

Μ 1

Ωστόσο, παρατηρείται γενικά ότι στις φωτογραφίες µόνο το 1/10 των pixels είναι

µαύρα. Χρησιµοποιήστε την πληροφορία αυτή και

α) βρείτε την τρίτη επέκταση X3 της πηγής X=Α,Μ µε τις αντίστοιχες

πιθανότητες εµφάνισης για τα 8 νέα σύµβολα πηγής που προκύπτουν.

(για ευκολία στη συνέχεια, εκφράστε όλες τις πιθανότητες στη µορφή 1000

x)

β) βρείτε έναν αποδοτικότερο κώδικα εφαρµόζοντας τον αλγόριθµο Shannon-Fano

στην πηγή X3.

γ) δείξτε πως πετυχαίνουµε συµπίεση δεδοµένων στην ακολουθία των pixels

Α Α Α Α Α Μ Α Α Α

δ) συγκρίνετε τις αποδόσεις των δύο κωδίκων (µέσος µήκος ανά pixel)

ε) Μέχρι ποια τιµή µπορεί να φτάσει η βελτίωση της απόδοσης σύµφωνα µε το

πρώτο Θεώρηµα Shannon; (δίνεται 17.39log2 = και 322.310log2 = )

4.7 Προσπαθήστε να κατασκευάσετε δυαδικά δέντρα για τους τρεις κώδικες της

άσκησης 2. Μπορείτε σε κάθε περίπτωση; Σχολιάστε.

4.8 Να βρεθεί ο κώδικας Huffman για την πηγή της άσκησης 1 και να υπολογιστεί

το µέσο µήκος του.

4.9 Να βρεθεί ο κώδικας Huffman για την πηγή της άσκησης 3 και να υπολογιστεί

το µέσο µήκος του.

4.10 Να βρεθεί ο κώδικας Huffman για την πηγή Α, την δεύτερη επέκταση Α2 και

τη τρίτη επέκταση Α3 της άσκησης 5. Βελτιώνεται η απόδοση;


70


4.1 Η εντροπία είναι ≅H 2,17. Ο κώδικας Shannon-Fano είναι

Α 01

Β 10

Γ 110

∆ 00

Ε 111

Οι τρεις κώδικες έχουν µέσο µήκος

3 bits/σύµβολο, 2.3 bits/σύµβολο, 2.2 bits/σύµβολο αντίστοιχα

4.2 1ος: ευκρινής, όχι µονοσήµαντος.

2ος: ευκρινής, µονοσήµαντος, όχι προθεµατικός

3ος: ευκρινής, µονοσήµαντος, προθεµατικός

4.3 α) µηκος = 3 bits

β)

m 110

n 101

o 01

p 11110

q 11111

r 100

s 00

t 1110

γ) sosto, πετυχαίνουµε συµπίεση

δ) Ένα κείµενο 1000 χαρακτήρων θα καταλάµβανε κατά µέσο όρο µε τον

block κώδικα 3000 bits ενώ µε τον κώδικα Shannon-Fαno 2720 bits

ε) Την µέγιστη εντροπία θα την είχαµε αν τα οκτώ σύµβολα ήταν

ισοπίθανα. Αυτή θα ήταν Η=ln8=3 bits/σύµβολο. Άρα η εντροπία της πηγής

Α είναι µικρότερη από 3bits/σύµβολο


71

4.4 α) =)(AH 1.065 bits/σύµβολο, =maxH 1.58 bits/σύµβολο

β) Μέσο µήκος = 1.25 bits/σύµβολο

γ) Ο αλγόριθµος Shannon-Fano για την δεύτερη επέκταση είναι

aa 0

ab 100

ac 101

ba 110

ca 1110

bb 111100

bc 111101

cb 111110

cc 111111

δ) 2.156 bits/διπλό σύµβ = 1.078 bits/σύµβολο

ε) Το µήνυµα κωδικοποιείται ως εξής:

1ος κώδικας: aabaacaa = 0 0 10 0 0 11 0 0 (10 bits)

2ος κώδικας: aa ba ac aa = 0 110 101 0 (8 bits)

4.5 α) Η(Α) = 0.81 bits/σύµβολο

β) ∆ίνουµε τον κώδικα Shannon-Fano µόνο για την τρίτη επέκταση

aaa 00 aab 01 aba 100

baa 101 abb 1100

bab 1101 bba 1110

bbb 1111

Οι αντίστοιχες αποδόσεις των τριών κωδίκων (µέσα µήκη) είναι

1 bit/σύµβολο,

1.68 bits/διπλό σύµβολο= 0.84 bits/σύµβολο

2.59 bits/τριπλό σύµβολο= 0.86 bits/σύµβολο

γ) Καλύτερος κώδικας:

aaa 0 aab 100

aba 101 baa 110

abb 11100 bab 11101

bba 11110 bbb 11111

µε µέσο µήκος = 2.47 bits/τριπλό σύµβολο= 0.82 bits/σύµβολο


72

4.6 β) Ο κώδικας Shannon-Fano που προκύπτει είναι

ΑΑΑ 0 ΑΑΜ 100

ΑΜΑ 101 ΜΑΑ 110

ΑΜΜ 11100 ΜΑΜ 11101

ΜΜΑ 11110 ΜΜΜ 11111

γ) Αρχικός κώδικας 000001000 Shannon-Fano 01000

δ) 1 bit/pixel και 0,532 bits/pixel

ε) Η απόδοση µπορεί να µειωθεί µέχρι 0.469 bits/pixel

4.7 Μόνο στον τρίτο κώδικα.

4.8 Ο κώδικας Huffman είναι

Α 100

Β 101 Γ 110

∆ 0 Ε 111

µε µέσο µήκος 2.2 bits/σύµβολο.

4.9 Ο κώδικας Huffman είναι

m 101

n 100 o 11

p 01010 q 01011 r 011

s 00 t 0100

µε µέσο µήκος 2.72 bits/σύµβολο.

1

1 1

1

0 0

0 0

0

Α Β

Γ ∆ Ε


73

4.10 Ο τρεις κώδικες Huffman είναι

Οι αποδόσεις των τριών κωδίκων είναι

1.00 bit/σύµβολο, 0.84 bits/σύµβολο, 0.82 bits/σύµβολο.

a 0 b 1

aa 0 ab 11

ba 100 bb 101

aaa 1 aab 001

aba 010 abb 00000

baa 011 bab 00001 bba 00010

bbb 00011


74


75

5. ΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ

Κατά τη µετάδοση πληροφορίας σε ένα σύστηµα επικοινωνίας συνήθως υπάρχει

θόρυβος, δηλαδή κάποια µορφή αλλοίωσης του σήµατος. Στο δυαδικό κανάλι για

παράδειγµα, όπου τα µηνύµατά µας µεταφέρονται ως ακολουθίες από 0 και 1,

υπάρχει µια πιθανότητα να µετατραπεί κάποιο 0 σε 1 ή το αντίστροφο και να

αλλοιωθεί το µήνυµά µας.

Ένας στόχος στις επικοινωνίες είναι η εξασφάλιση αξιοπιστίας της µεταδιδόµενης

πληροφορίας, η εύρεση δηλαδή ενός έξυπνου τρόπου να ανιχνεύουµε και, γιατί

όχι, να διορθώνουµε τα πιθανά σφάλµατα που µπορεί να προκύψουν κατά τη

µετάδοση

Μια ιδέα θα ήταν, να επαναλάβουµε το µήνυµά µας, αρκετές φορές µέσα από το

κανάλι ώστε να βελτιώσουµε την αξιοπιστία του συστήµατος (το έχουµε δει ήδη

αρκετές φορές µέχρι τώρα). Είναι κι αυτός ένας θεµιτός τρόπος. Θα δούµε ότι

υπάρχουν και άλλοι τρόποι, πιο «έξυπνοι», να αυξήσουµε το µήκος των

µηνυµάτων µας ώστε να έχουµε την ευχέρεια να εντοπίζουµε σφάλµατα. ∆ίπλα

λοιπόν στα κωδικά σύµβολα του αρχικού µηνύµατος, που αποτελούν την

πραγµατική πληροφορία, θα επισυνάπτουµε επιπλέον κωδικά σύµβολα, που θα

ονοµάζουµε πλεονάζουσα πληροφορία, και τα οποία θα αντισταθµίζουν την

παραµόρφωση που προκαλεί ο θόρυβος. Φανταστείτε όµως πόσο επιβαρύνουµε

την ταχύτητα της επικοινωνίας µε την επιµήκυνση αυτή των µηνυµάτων µας όταν

έχουµε να στείλουµε έναν τεράστιο όγκο πληροφορίας. Αναζητούµε λοιπόν µια

χρυσή τοµή για δύο αντικρουόµενες επιθυµίες

• Να βελτιώσουµε την αξιοπιστία του συστήµατος (διορθώνοντας πιθανά

σφάλµατα)

• Να µειώσουµε την ταχύτητα µετάδοσης του µηνύµατος

Η πρώτη επιθυµία απαιτεί αύξηση του µήκους των µηνυµάτων ενώ η δεύτερη

µείωση. Κατά πόσο µπορούµε να προσεγγίσουµε αυτή τη χρυσή τοµή; Την

απάντηση τη δίνει πάλι ο Shannon.


76

5.1 ΤΟ ∆ΕΥΤΕΡΟ ΘΕΩΡΗΜΑ ΤΟΥ SHANNON

(ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ)

Έστω ότι ένας κώδικας αποτελείται από kN 2= κωδικές λέξεις µήκους n. Ο λόγος

n

kR =

θα λέγεται ρυθµός του κώδικα1. Ας εξηγήσουµε το ρυθµό µέσα από ένα απλό

παράδειγµα.

ΠΑΡΑ∆ΕΙΓΜΑ 1. Έστω ότι η πηγή του συστήµατός µας εκπέµπει 4 σύµβολα,

a,b,c,d. Είναι 2=k και αυτό δηλώνει ότι για την δυαδική κωδικοποίηση της

πραγµατικής πληροφορίας απαιτούνται 2 bits. Για παράδειγµα, µια αρχική

κωδικοποίηση είναι η

a 00

b 01

c 10

d 11

Αν µείνουµε σ αυτόν τον κώδικα, έχουµε 2=n και άρα ο ρυθµός του κώδικα είναι

1=R . ∆εν έχουµε όµως την δυνατότητα να εντοπίσουµε σφάλµατα.

Για να «προλάβουµε» τυχόν λάθη κατά τη µετάδοση επαναλαµβάνουµε το µήνυµα

τρεις φορές, έτσι παίρνουµε τον κώδικα

a 000000

b 010101

c 101010

d 111111

Τα 4 τελευταία bits αποτελούν την πλεονάζουσα πληροφορία. Το τελικό µήκος

είναι 6=n . Ο ρυθµός λοιπόν του κώδικα είναι

3

1

6

2===

n

kR

1 Γενικά, αν το πλήθος των κωδικών λέξεων είναι Ν, τότε θέτουµε Nk 2log= και ο ρυθµός είναι k/n.

Ουσιαστικά ο αριθµός k εκφράζει πόσα δυαδικά bits χρειάζονται για την αναπαράσταση των Ν

συµβόλων της πηγής.


77

Προσέξτε ότι η πληροφορία που στέλνεται είναι «τριπλάσια» της πραγµατικής και

συνεπώς η ταχύτητα µειώνεται κατά το ένα τρίτο!

Με ποιον τρόπο η παραπάνω επιµήκυνση βοηθάει στην «πρόληψη» σφαλµάτων;

Για παράδειγµα, αν σταλεί το µήνυµα a και αλλάξει κατά τη µετάδοση κάποιο bit,

θα λάβουµε ένα από τα παρακάτω µηνύµατα

100000 010000 001000 000100 000010 000001

Όποιο και να λάβουµε στην έξοδο, θα καταλάβουµε ότι από τις αρχικές κωδικές

λέξεις η πιο «κοντινή» στο αποτέλεσµα είναι η 000000. Η αποκωδικοποίηση

λοιπόν θα επαναφέρει την αλλοιωµένη κωδική λέξη στη σωστή 000000.

Οι «αντιφατικοί» στόχοι που εξηγήσαµε στην εισαγωγή του κεφαλαίου

αποτυπώνονται στον παρακάτω πίνακα

ΡΥΘΜΟΣ

ΚΩ∆ΙΚΑ

ΤΑΧΥΤΗΤΑ

ΜΕΤΑ∆ΟΣΗΣ

ΜΗΚΟΣ

ΚΩ∆. ΛΕΞΕΩΝ

∆ΥΝΑΤΟΤΗΤΑ ΕΝΤΟΠΙΣΜΟΥ

ΣΦΑΛΜΑΤΩΝ

Μικρός Μικρή Μεγάλο Μεγάλη

Μεγάλος Μεγάλη Μικρό Μικρή

∆ιατυπώνουµε τώρα το δεύτερο θεώρηµα του Shannon που αφορά την

κωδικοποίηση σε περιβάλλον µε θόρυβο.

ΘΕΩΡΗΜΑ (Περιγραφή). Έστω ένα σύστηµα επικοινωνίας µε µια πηγή Α που έχει

εντροπία Η(Α) και µε ένα κανάλι χωρητικότητας C.

Αν 0≤Η(Α)≤C, τότε υπάρχει ένας κώδικας µε πιθανότητα εσφαλµένης

κωδικοποίησης οσοδήποτε µικρή επιθυµούµε, ενώ ο ρυθµός µετάδοσης της

πληροφορίας R προσεγγίζει όσο επιθυµούµε τη χωρητικότητα C (αυτή είναι και η

µέγιστη τιµή που µπορεί να πάρει ο ρυθµός)

Αν 0<C<Η(Α), τότε δεν υπάρχει κώδικας που να εξασφαλίζει αρκετά µικρή

πιθανότητα σφάλµατος.


78

Το δεύτερο θεώρηµα του Shannon µας πληροφορεί ότι η σηµαντικότερη

παράµετρος σε ένα σύστηµα επικοινωνίας είναι η χωρητικότητα του καναλιού C

(σε συνδυασµό µε την εντροπία της πηγής) και εγγυάται την ύπαρξη αξιόπιστου

κώδικα µε ρυθµό που προσεγγίζει τη χωρητικότητα C. Και πάλι, η απόδειξη του

Shannon δεν µας παρέχει τη µέθοδο για να βρούµε τον επιθυµητό κώδικα.

5.2 ΑΝΙΧΝΕΥΣΗ ΣΦΑΛΜΑΤΩΝ – ∆ΙΟΡΘΩΣΗ ΣΦΑΛΜΑΤΩΝ

Σε ένα σύστηµα επικοινωνίας µε θόρυβο υπάρχουν δύο βασικοί στόχοι για την

αντιµετώπιση του θορύβου:

• Ανίχνευση σφαλµάτων: να γνωρίζουµε απλά ότι συνέβησαν σφάλµατα κατά

τη µετάδοση

• ∆ιόρθωση σφαλµάτων: να εντοπίζουµε τα σφάλµατα που ανιχνεύτηκαν και

να τα διορθώνουµε.

Εάν έχουµε τη δυνατότητα να επαναλαµβάνουµε κάποιο µήνυµα και αυτό δεν

κοστίζει, τότε η ανίχνευση είναι αρκετή. Μόλις καταλάβουµε ότι έγινε σφάλµα,

ζητάµε επανάληψη της µετάδοσης. Πολλές φορές όµως δεν είναι δυνατό να

επαναληφθεί η µετάδοση (π.χ. µετάδοση από δορυφόρο) οπότε επιζητούµε όχι

µόνο την ανίχνευση αλλά και τη διόρθωση των σφαλµάτων. Γενικά το πλήθος των

σφαλµάτων που διορθώνει ένας κώδικας είναι µικρότερο από το πλήθος των

σφαλµάτων που ανιχνεύει όπως φαίνεται στο ακόλουθο παράδειγµα.

Ας πάρουµε και πάλι το δυαδικό συµµετρικό κανάλι επικοινωνίας

µε την πηγή να στέλνει τα µηνύµατα 0 και 1 και µε την κωδικοποίηση

ΝΑΙ = 0 → 0 0 0 0 0

ΟΧΙ = 1 → 1 1 1 1 1

πλεονάζοντα bits

0

1 1

0 1-q

1-q

q

q


79

Η πραγµατική πληροφορία βρίσκεται µόνο στο πρώτο σύµβολο. Τα 4 τελευταία bits

είναι πλεονάζοντα καθώς δεν προσθέτουν ουσιαστική πληροφορία, εξυπηρετούν

µόνο στην αναζήτηση σφαλµάτων.

Ανίχνευση:

Έστω ότι στέλνουµε το 00000. Αν συµβούν από 1 µέχρι 4 σφάλµατα, στην έξοδο

θα φτάσει µια µη επιτρεπτή κωδική λέξη (στην έξοδο ο αποδέκτης γνωρίζει ότι ο

κώδικας αποτελείται από τις λέξεις 00000 και 11111). Κάτι ανάλογο συµβαίνει αν

σταλεί το µήνυµα 11111. Άρα ο κώδικας ανιχνεύει µέχρι 4 σφάλµατα.

∆ιόρθωση:

Έστω και πάλι ότι στέλνουµε το 00000. Ο αποκωδικοποιητής ερµηνεύει το

αποτέλεσµα στην έξοδο του καναλιού ως 00000 είτε ως 11111, ανάλογα µε το

που πλησιάζει περισσότερο η λήψη.

Αριθµός σφαλµάτων

Τι φτάνει στην έξοδο

Πως αποκωδικοποιείται

0 00000 00000 1

10000 01000 00100 00010 00001

00000

2

11000 10100 10010 10001 01100

01010 01001 00110 00101 00011

00000

3

11100 11010 11001 10110 10101

10011 01110 01101 01011 00111

11111

4

11110 11101 11011 10111 01111

11111

5 11111 11111

Στις τρεις πρώτες περιπτώσεις λοιπόν λαµβάνουµε στην έξοδο το σωστό µήνυµα

00000. Άρα ο κώδικας διορθώνει µέχρι 2 σφάλµατα. Αν συµβούν 3 είτε 4

σφάλµατα θα τα ανιχνεύσει µεν, αλλά θα τα αποκωδικοποιήσει λανθασµένα ως

11111. Αν συµβούν 5 λάθη δεν θα τα ανιχνεύσει καν.


80

Ποια είναι η πιθανότητα να αποκωδικοποιηθεί εσφαλµένα το αρχικό µήνυµα;

Αθροίζουµε τις πιθανότητες να συµβούν 5, 4, ή 3 σφάλµατα:

P=q5+5q4(1-q)+10q3(1-q)2

ΠΑΡΑ∆ΕΙΓΜΑ 2. Έστω δυαδικό κανάλι µε πιθανότητα σφάλµατος q=0.05

Εάν τα µηνύµατα ΝΑΙ και ΟΧΙ στο προηγούµενο παράδειγµα κωδικοποιηθούν µε

ένα bit η πιθανότητα λανθασµένης µετάδοσης είναι q=0.05 δηλαδή 5%. Ποια είναι

η πιθανότητα λανθασµένης µετάδοσης µε τον πιο πάνω κώδικα (επανάληψη 5

bits);

∆ίνεται από τον πιο πάνω τύπο

P = 0.001158125 ≅ 0.12%

∆ιαπιστώνουµε λοιπόν ότι µε µια επιµήκυνση των µηνυµάτων NAI και ΟΧΙ κατά 5

φορές η πιθανότητα λάθους µειώθηκε από το 5% στο 0.12%, έγινε δηλαδή 40

φορές περίπου µικρότερη. Εάν µας ικανοποιεί αυτός ο βαθµός αξιοπιστίας, ο

κώδικας είναι καλός. Εάν η µετάδοση της πληροφορίας αφορά την απόφαση για

την έναρξη ενός πυρηνικού πολέµου, οπότε τα λάθη δεν συγχωρούνται(!), τότε

πρέπει να βρούµε ακόµη πιο αξιόπιστο κώδικα!

5.3 ΒΙΤ ΕΛΕΓΧΟΥ ΙΣΟΤΙΜΙΑΣ

Ένας εύκολος τρόπος να ανιχνεύουµε ένα σφάλµα είναι να προσθέτουµε ένα bit

ελέγχου ισοτιµίας στο τέλος κάθε κωδικής λέξης:

Προσθέτουµε 1 ή 0 έτσι ώστε κάθε κωδική λέξη να έχει άρτιο πλήθος από 1.1

Συνεπώς, αν στο µήνυµα που θα λάβουµε στην έξοδο εντοπιστεί περιττό πλήθος

από 1 θα ο αποκωδικοποιητής θα διαγνώσει σφάλµα. Άρα ο κώδικας ανιχνεύει ένα

σφάλµα. Αν συµβούν δύο σφάλµατα δεν θα ανιχνευτούν, ενώ 3 (και γενικά

περιττός αριθµός σφαλµάτων) θα ανιχνευτούν. Προφανώς η διόρθωση σφαλµάτων

δεν είναι δυνατή.

1 θα µπορούσαµε βέβαια να επιδιώκουµε και περιττό πλήθος για όλες τις κωδικές λέξεις.


81

ΠΑΡΑ∆ΕΙΓΜΑ 3 Θεωρούµε όλες τις δυνατές τριάδες δυαδικών ψηφίων και

προσθέτουµε ένα bit ελέγχου ισοτιµίας

0

0

0

0

1

1

1

1

0

0

1

1

0

0

1

1

0

1

0

1

0

1

0

1

0

1

1

0

1

0

0

1

Αν π.χ φτάσει στον αποκωδικοποιητή το µήνυµα 1000 θα ανιχνεύσει ότι έγινε

σφάλµα διότι υπάρχει περιττός αριθµός από 1. Η διόρθωση δεν είναι δυνατή διότι

δεν µπορεί να εντοπίσει αν προήρθε από 0000 ή 1001 ή 1010 ή 1100 καθώς όλα

τα τελευταία διαφέρουν κατά 1 bit από το µήνυµα

5.4 ΓΡΑΜΜΙΚΟΙ ΚΩ∆ΙΚΕΣ ∆ΙΟΡΘΩΣΗΣ ΣΦΑΛΜΑΤΩΝ (∆ΥΑ∆ΙΚΟΙ)

Οι γραµµικοί κώδικες ορίζονται αυστηρά µε έναν µαθηµατικό, αλγεβρικό τρόπο. Η

αλγεβρική δοµή τους εξασφαλίζει ιδιότητες εξαιρετικά χρήσιµες για την

κωδικοποίηση και την αποκωδικοποίησή τους. Εδώ θα αρκεστούµε σε έναν

µηχανικό τρόπο κατασκευής τους απαλλαγµένο από την πιο προχωρηµένη

µαθηµατική θεωρία που τους περιβάλλει. Χρειάζεται µόνο ο πολλαπλασιασµός

πινάκων. Θα ασχοληθούµε µόνο µε τους δυαδικούς γραµµικούς κώδικες, αυτούς

δηλαδή που έχουν ως αλφάβητο κωδικοποίησης το σύνολο 0,1.

Έστω ότι το αρχικό µήνυµα που θέλουµε να στείλουµε είναι

kxxxx L321

όπου τα ψηφία xi είναι 0 ή 1. Προφανώς υπάρχουν 2k τέτοια µηνύµατα.


82

Στην προηγούµενη παράγραφο προσθέσαµε ένα bit ελέγχου ισοτιµίας για να

ανιχνεύουµε σφάλµατα, αλλά συνήθως 1 bit δεν είναι αρκετό. Θέλουµε να

κατασκευάσουµε την αντίστοιχη κωδική λέξη συµπληρώνοντας περισσότερα

ψηφία

43421L

43421L

πληροφορίααπλεονάζουσ

1

µήνυµα

321 nkk xxxxxx +

Έστω Α ένας πίνακας (n-k)×k. Ο πίνακας

Η=[Α|Ι]

θα λέγεται πίνακας ελέγχου ισοτιµίας. Έχει διαστάσεις (n-k)×n. Τα ψηφία

nk xx L επιλέγονται έτσι ώστε να ισχύει

=

⋅

nx

x

x

HM

2

1

Ο (µηδενικός πίνακας)1

Ο κώδικας που παίρνουµε µε τον τρόπο αυτόν θα λέγεται Γραµµικός Κώδικας µε

µήκος n

διάσταση k

Ωστόσο, για την ποιότητα του κώδικα δεν έχουν τόση σηµασία οι απόλυτες τιµές

των δύο µεγεθών όσο η µεταξύ τους σχέση. Πρόκειται για τον ρυθµό του κώδικα

που είχαµε αναφέρει νωρίτερα

n

kR =


Θεωρούµε τον πίνακα ελέγχου ισοτιµίας

=

100

010

001

011

101

110

H

1 Στη δυαδική αριθµητική που χρησιµοποιούµε εδώ 0+0=0, 0+1=1, 1+1=0. (λειτουργεί σαν τον τελεστή XOR). Γενικά, το άθροισµα πολλών ψηφίων είναι 0 εάν το πλήθος των 1 είναι άρτιο και 1 εάν το πλήθος είναι περιττό. Π.χ. 0+1+1+0+0+1+0=1.


83

Ο πίνακας Α έχει διαστάσεις 3x3, ενώ ο Η έχει 3x6. Άρα θα είναι k=3 και n=6

(διότι (n-k)×k = 3x3). Αυτό σηµαίνει ότι το αρχικό µας µήνυµα έχει 3 ψηφία

(είναι οι 8 δυαδικές τριάδες) και θα προσθέσουµε άλλα 3 πλεονάζοντα ψηφία για

να πάρουµε την κωδική λέξη.

x1 x2 x3 x4 x5 x6

0 0 0

;

0 0 1

0 1 0

0 1 1

1 0 0

1 0 1

1 1 0

1 1 1

Πρέπει

=

⋅

6

5

4

3

2

1

x

x

x

x

x

x

H Ο

⇔

100

010

001

011

101

110

=

6

5

4

3

2

1

x

x

x

x

x

x

Ο

=

++

++

++

⇔

0

0

0

621

531

432

xxx

xxx

xxx

Έτσι, γνωρίζοντας τα x1x2x3, υπολογίζουµε εύκολα τα x4x5x6. Π.χ. για το µήνυµα

x1x2x3=001, η πρώτη εξίσωση δίνει x4=1, η δεύτερη x5=1 και η τρίτη x6=0.

∆ηλαδή x4x5x6=110. Όµοια υπολογίζουµε και για τα υπόλοιπα.

Παίρνουµε λοιπόν τον γραµµικό κώδικα

0 0 0 0 0 0

0 0 1 1 1 0

0 1 0 1 0 1

0 1 1 0 1 1

1 0 0 0 0 1

1 0 1 1 0 1

1 1 0 1 1 0

1 1 1 0 0 0


84

Για να µην λύνουµε κάθε φορά τις εξισώσεις, µπορούµε να ακολουθήσουµε και

έναν ίσως πιο βολικό τρόπο.

Εάν Η=[Α|Ι], τότε ο πίνακας G=[I|At] λέγεται γεννήτρια του κώδικα διότι δίνει

απευθείας τις κωδικές λέξεις:

[ x1 x2 x3] G = [ x1 x2 x3 x4 x5 x6]

Στο ΠΑΡΑ∆ΕΙΓΜΑ µας π.χ., το µήνυµα 001 κωδικοποιείται ως εξής

[ ] G⋅100 [ ]

⋅=

011

101

110

100

010

001

100 [ ]011100=

Όµοια και τα υπόλοιπα.

5.5 ΤΙ ΠΕΤΥΧΑΜΕ ΜΕ ΤΟ ΓΡΑΜΜΙΚΟ ΚΩ∆ΙΚΑ -

ΕΛΑΧΙΣΤΗ ΑΠΟΣΤΑΣΗ, ΑΝΙΧΝΕΥΣΗ ΚΑΙ ∆ΙΟΡΘΩΣΗ ΣΦΑΛΜΑΤΩΝ

Καταρχάς έχουµε έναν εύκολο τρόπο να ανιχνεύουµε σφάλµατα. Είπαµε πως τα

πλεονάζοντα ψηφία τα διαλέξαµε έτσι ώστε

=

⋅

nx

x

x

HM

2

1

Ο (*)

Εάν λοιπόν λάβουµε στην έξοδο του καναλιού ένα µήνυµα nxxxx L321 που δεν

ικανοποιεί την σχέση (*), διαπιστώνουµε ότι έχουµε σφάλµα. Εάν την ικανοποιεί

τη δεχόµαστε ως επιτρεπτή κωδική λέξη.


Στο παράδειγµα της προηγούµενης παραγράφου, λαµβάνουµε στην έξοδο το

µήνυµα

1 0 1 0 0 1

Έχει συµβεί σφάλµα;


85

Έχουµε

=

⋅

1

0

0

1

0

1

H

100

010

001

011

101

110

=

⋅

1

0

0

1

0

1

0

0

1

(µη µηδενικός)

Άρα έχει συµβεί σφάλµα στη µετάδοση.

Επιπλέον, έχουµε τη δυνατότητα να διορθώνουµε και σφάλµατα. Ορίζουµε πρώτα,

Εάν c είναι µια κωδική λέξη,

βάρος (c) = το πλήθος των µη µηδενικών ψηφίων της c.

Εάν c1,c2 είναι δύο κωδικές λέξεις,

απόσταση (c1,c2) = το πλήθος των θέσεων όπου διαφέρουν οι c1,c2

Π.χ. εάν c1 = 101101 και c2 = 001110

βάρος (c1) = 4,

βάρος (c2) = 3

απόσταση (c1, c2) = 3, καθώς οι λέξεις διαφέρουν στις θέσεις 1,5,6.

Καθοριστικό ρόλο στους κώδικες παίζει η ελάχιστη απόσταση µεταξύ των κωδικών

λέξεων. Τη συµβολίζουµε µε d. Όσο πιο πολύ απέχουν οι κωδικές λέξεις µεταξύ

τους τόσο πιο πολλά σφάλµατα µπορούµε να αναγνωρίσουµε. Φανταστείτε σαν

κώδικα την ελληνική γλώσσα µε αλφάβητο τα 24 κεφαλαία γράµµατά της. Εάν

δούµε τη λέξη

ΠΛΑΚΤΡΟΛΟΓΕΟ

θα καταλάβουµε ότι συνέβησαν δύο σφάλµατα και θα διορθώσουµε τη λέξη ως

ΠΛΗΚΤΡΟΛΟΓΙΟ

Αυτό γιατί η απόσταση της λέξης ΠΛΗΚΤΡΟΛΟΓΙΟ από άλλες ελληνικές λέξεις είναι

αρκετά µεγάλη.


86

Ωστόσο, εάν δούµε τη λέξη

ΛΑΡΟΣ

που επίσης είναι λανθασµένη, δεν µπορούµε να καταλάβουµε εάν η σωστή λέξη

ήταν ΦΑΡΟΣ ή ΧΑΡΟΣ ή ΛΑΘΟΣ ή ΛΑΓΟΣ κλπ καθώς όλες αυτές απέχουν µόλις

ένα σύµβολο από την αρχική. Γενικά λοιπόν, η ελληνική γλώσσα, όπως και κάθε

άλλη οµιλούµενη γλώσσα, δεν είναι καλός κώδικας όσον αφορά τη δυνατότητα

διόρθωσης σφαλµάτων.

Με το σκεπτικό αυτό, επιδίωξη µας στους κώδικες είναι η ελάχιστη απόσταση να

είναι όσο το δυνατό µεγαλύτερη ώστε να διορθώνονται περισσότερα σφάλµατα.

Εάν π.χ. η ελάχιστη απόσταση είναι 5 και συµβούν 1 ή 2 σφάλµατα σε µια κωδική

λέξη θα τα εντοπίσουµε. Εάν συµβούν 3, τότε ίσως κάνουµε λάθος αναγνώριση. Ο

κώδικας λοιπόν διορθώνει µέχρι 2 σφάλµατα.

Είναι εύκολο να εντοπίσουµε ποια είναι η ελάχιστη απόσταση; Στους Γραµµικούς

Κώδικες ΝΑΙ.

ΠΡΟΤΑΣΗ: Σε έναν Γραµµικό Κώδικα, η ελάχιστη απόσταση d είναι ίση µε το

ελάχιστο µη µηδενικό βάρος των κωδικών λέξεων. O κώδικας µπορεί να ανιχνεύσει

µέχρι d-1 σφάλµατα. Επιπλέον,

εάν d περιττός, τότε ο κώδικας διορθώνει µέχρι 2

1−d σφάλµατα.

εάν d άρτιος, τότε ο κώδικας διορθώνει µέχρι 12−

d σφάλµατα.

Στο ΠΑΡΑ∆ΕΙΓΜΑ 4, το ελάχιστο βάρος άρα και η ελάχιστη απόσταση d είναι 3.

(διαπιστώστε και µόνοι σας ότι όλες οι κωδικές λέξεις ανά δύο απέχουν µεταξύ

τους 3 ή 4). Άρα ο γραµµικός κώδικας του παραδείγµατος µπορεί να ανιχνεύσει

µέχρι 2 σφάλµατα ενώ διορθώνει µε σιγουριά µέχρι και 1 σφάλµα.

Μέχρι σήµερα έχει αναπτυχθεί και χρησιµοποιηθεί σε διάφορες εφαρµογές µια

πληθώρα γραµµικών κωδίκων. Μια εφαρµογή περιγράφεται στην επόµενη σελίδα,

ενώ στις επόµενες δύο παραγράφους θα παρουσιάσουµε δύο ενδεικτικά

παραδείγµατα γραµµικών κωδίκων.


87

ΜΙΑ ΕΦΑΡΜΟΓΗ ΓΡΑΜΜΙΚΟΥ ΚΩ∆ΙΚΑ

Έστω ο 12 x 12 πίνακας

=

100011101101

000111011011

001110110101

011101101001

111011010001

110110100011

101101000111

011010001111

110100011101

101000111011

010001110111

111111111110

A

Η γεννήτρια ]|[ 12 AIG = έχει διαστάσεις 12 x 24. Γενικά η γεννήτρια έχει διαστάσεις (n-k)xn οπότε

12=− kn και 24=n

Συνεπώς η διάσταση του κώδικα είναι 12=k , το µήκος 24=n , ο ρυθµός 2

1=R και ο κώδικας

αποτελείται από

409622 12 ==k κωδικές λέξεις µήκους 24bits

Στην περίοδο 1979-1981, το διαστηµόπλοιο Voyager έστειλε έγχρωµες φωτογραφίες από τους

πλανήτες ∆ία και Κρόνο χρησιµοποιώντας αυτόν τον κώδικα. Καθεµιά από τις 4096 κωδικές λέξεις

αντιστοιχούσε και σε µια διαφορετική απόχρωση του ηλιακού φάσµατος. Η αποστολή έγινε ως εξής:

Κάθε φωτογραφία χωρίστηκε µε ένα ορθογώνιο πλέγµα σε µικρές κουκίδες (pixels) και το χρώµα κάθε

κουκίδας κωδικοποιήθηκε µε την αντίστοιχη δυαδική λέξη η οποία µεταδόθηκε στη γη. Κατά την

αποκωδικοποίηση (και την πιθανή διόρθωση σφαλµάτων που συνέβησαν στην µετάδοση) κάθε κωδική

λέξη «µεταφράστηκε» ξανά στο αντίστοιχο χρώµα και κουκίδα-κουκίδα δηµιουργήθηκε η αρχική

φωτογραφία.

ΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΤΟ ∆ΙΑΣΤΗΜΑ

ΑΠΟΚΩ∆ΙΚΟΠΟΙΗΣΗ ΣΤΗ ΓΗ

(αντίστροφη διαδικασία – µε ταυτόχρονη διόρθωση σφαλµάτων)

Ο κώδικας αυτός είναι γνωστός ως Golay Γ24. Έχει ελάχιστη απόσταση d=8, οπότε µπορεί να διορθώσει

µέχρι 3 σφάλµατα σε κάθε κωδική λέξη των 24άρων bit (αρκετά καλή διόρθωση!). Στην πιο σπάνια

περίπτωση που συνέβαιναν περισσότερα σφάλµατα, αλλοιωνόταν το συγκεκριµένο pixel, γεγονός που

και πάλι δεν επηρέαζε σηµαντικά την συνολική εικόνα.

...

...

Αρχική εικόνα κουκίδες στη σειρά χρώµα κουκίδων µε κωδικές λέξεις των 24bit

110…01 011…11 010… 00 ……… 101…11

110…01 011…11 010… 00 ……… 101…11


88

5.6 ΕΠΑΝΑΛΗΠΤΙΚΟΙ ΚΩ∆ΙΚΕΣ

Ο επαναληπτικός είναι ο απλούστερος κώδικας που γνωρίζουµε. Έχει µόνο δύο

µηνύµατα, το 0 και το 1, και για να πετύχει διόρθωση σφαλµάτων απλά

επαναλαµβάνει τη µετάδοση του ψηφίου αρκετές φορές. Π.χ. Ο κώδικας

0 0 0 0 0

1 1 1 1 1

Απλά στέλνει κάθε ψηφίο 5 φορές ώστε αν συµβούν µέχρι και δύο σφάλµατα να

τα διορθώσει. Εάν πχ λάβουµε 11000 θα υποθέσουµε ότι στάλθηκε το 00000 που

απέχει λιγότερο (δηλαδή το αρχικό µήνυµα ήταν 0).

Είναι γραµµικός µε πίνακα ελέγχου ισοτιµίας

=

1

0

0

0

0

1

0

0

0

0

1

0

0

0

0

1

1

1

1

1

H

οπότε η γεννήτρια είναι

[ ]1111|1=G

και έχουµε τις κωδικοποιήσεις

[ ] ]00000[1111|1]0[]0[ =⋅=⋅G

και

[ ] ]11111[1111|1]1[]1[ =⋅=⋅G

Η ελάχιστη απόσταση είναι προφανώς d=5 και όπως είπαµε διορθώνει 2

σφάλµατα.

Γενικά µπορούµε να διαπιστώσουµε εύκολα ότι ο επαναληπτικός κώδικας µήκους n

είναι γραµµικός και παράγεται από την n×1 γεννήτρια

[ ]111|1 L=G


89

5.7 ΚΩ∆ΙΚΕΣ HAMMING, H(3)

Οι κώδικες Hamming H(m) είναι µια οικογένεια κωδίκων και είναι γνωστοί για την

εύκολη αποκωδικοποίησή τους. Ενδεικτικά θα αναφέρουµε τον κώδικα H(3).

Έχει πίνακα ελέγχου ισοτιµίας

=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

H

Οι στήλες του µοναδιαίου πίνακα βέβαια δεν είναι στο τέλος όπως έχουµε

συνηθίσει, αλλά εµφανίζονται στην 1η, 2η και 4η στήλη. Αυτό γίνεται εσκεµµένα.

Εάν προσέξουµε θα δούµε ότι οι στήλες του πίνακα είναι όλες οι δυνατές δυαδικές

τριάδες κατ’ αύξουσα σειρά. Ο κώδικας H(3) έχει

διάσταση: k = 4

µήκος: n = 7

ελάχιστη απόσταση: d = 3

Το πλήθος των κωδικών λέξεων του κώδικα είναι 1622 4 ==k

Λόγω της κατασκευής του πίνακα Η, εάν λάβουµε την κωδική λέξη

7654321 xxxxxxx

το αποτέλεσµα

⋅

7

2

1

x

x

x

HM

όχι µόνο ανιχνεύει αν έχει γίνει σφάλµα ή όχι (ανάλογα αν δώσει Ο ή όχι), αλλά

µας δείχνει και τη θέση του σφάλµατος ώστε να το διορθώσουµε. Το αποτέλεσµα

θα είναι η δυαδική παράσταση της θέσης του σφάλµατος. ∆ηλαδή,

αν το αποτέλεσµα είναι

a

b

c

τότε η θέση σφάλµατος είναι (cba)2= cba 42 ++ .


90


Στην έξοδο ενός τηλεπικοινωνιακού συστήµατος που χρησιµοποιεί κώδικα

Hamming λαµβάνουµε τα µηνύµατα

1110000

1110010

1101000

∆ιαπιστώστε αν έχει συµβεί σφάλµα κατά τη µετάδοση. Πως θα αποκωδικοποιηθεί

το κάθε µήνυµα;

=

⋅

0

0

0

0

1

1

1

H

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

=

⋅

0

0

0

0

1

1

1

0

0

0

άρα το πρώτο µήνυµα θεωρείται σωστό.

=

⋅

0

1

0

0

1

1

1

H

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

=

⋅

0

1

0

0

1

1

1

0

1

1

Άρα έχει συµβεί σφάλµα στη θέση (110)2=6. Η αποκωδικοποίηση θα δώσει το

µήνυµα 1110000 (ίδιο µε το πρώτο).

=

⋅

0

0

0

1

0

1

1

H

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

=

⋅

0

0

0

1

0

1

1

1

1

1


91

Άρα έχει συµβεί σφάλµα στη θέση (111)2=7. Η αποκωδικοποίηση θα δώσει το

µήνυµα 1101001.

Στη γενική περίπτωση του κώδικα Hamming H(m), οι στήλες του πίνακα Η είναι

όλες οι δυνατές δυαδικές m-άδες κατ’ αύξουσα σειρά. Στην περίπτωση αυτή

µήκος: n = 2 m-1

διάσταση: k = n-m

ελάχιστη απόσταση: d = 3

Ο κώδικας διορθώνει και πάλι µόνο ένα σφάλµα. Εφόσον όµως αλλάζει η διάσταση

k, αλλάζει το πλήθος των κωδικών λέξεων, άρα και το πλήθος των αρχικών

µηνυµάτων που µπορεί να εκφράσει ο κώδικας. Το πλήθος αυτό είναι k2 .


92

ΑΣΚΗΣΕΙΣ

5.1 ∆ίνεται ο κώδικας

000000

000111

111000

111111

α) Πόσα σφάλµατα ανιχνεύει (µε σιγουριά);

β) Πόσα σφάλµατα διορθώνει (µε σιγουριά);

γ) Ποιος είναι ο ρυθµός του κώδικα;

δ) Πόσα ψηφία αποτελούν πραγµατική πληροφορία και πόσα πλεονάζουσα;

5.2 Σε ένα τηλεπικοινωνιακό σύστηµα µε συµµετρικό δυαδικό κανάλι (BSC) και

πιθανότητα σφάλµατος q=0.01 χρησιµοποιούνται οι κωδικοποιήσεις:

ΜΗΝΥΜΑ ΚΩ∆ΙΚΑΣ 1 ΚΩ∆ΙΚΑΣ 2

Α 00 000000

Β 01 000111

Γ 10 111000

∆ 11 111111

ενώ η αποκωδικοποίηση γίνεται προς την πλησιέστερη κωδική λέξη. Έστω ότι

στέλνεται το µήνυµα Α.

α) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες

αποκωδικοποιήσεις µε τον κώδικα 1.

β) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα 1;

γ) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες

αποκωδικοποιήσεις µε τον κώδικα 2, εάν συµβούν µέχρι και 2 σφάλµατα

δ) Εάν συµβούν 3 σφάλµατα µε τον κώδικα 2 µπορεί να γίνει διόρθωση;

ε) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα 2;

στ) Εάν σταλεί ένα µήνυµα 10,000 bits, πόσα λάθη αναµένονται ανάλογα µε τον

κώδικα που χρησιµοποιούµε; Σχολιάστε το αποτέλεσµα.


93

5.3 ∆ίνεται ο κώδικας

Είναι κατάλληλος σε περιβάλλον µε θόρυβο; ∆ικαιολογήστε την απάντησή σας.

Προσθέστε ένα bit ελέγχου ισοτιµίας και πείτε σε τι εξυπηρετεί.

5.4 Να βρεθεί ο γραµµικός κώδικας µε πίνακα ελέγχου ισοτιµίας Η=[Α | Ι], όπου

=

10

11A

Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα;

Μπορεί να ανιχνεύσει σφάλµατα; Μπορεί να διορθώσει σφάλµατα;

5.5 Να βρεθεί ο γραµµικός κώδικας που προκύπτει από τον πίνακα ελέγχου

ισοτιµίας

=

100

010

001

10

01

11

H .

Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα;

Πόσα σφάλµατα µπορεί να διορθώσει;

5.6 Να βρείτε τον γραµµικό κώδικα που προκύπτει από τον 1x3 πίνακα

Α = (1 1 1)

αφού πρώτα βρείτε τον πίνακα ελέγχου ισοτιµίας, τη γεννήτρια, το µήκος, τη

διάσταση και το ρυθµό του κώδικα.

5.7 ∆είξτε ότι ο επαναληπτικός κώδικας µήκους n είναι γραµµικός αφού βρείτε τον

πίνακα ελέγχου ισοτιµίας του και τη γεννήτριά του.

00010011

0 0 0 0 1 1 1 1

0 0 1 1 0 0 1 1

0 1 1 1 0 1 0 1


94

5.8 Στην έξοδο ενός τηλεπικοινωνιακού συστήµατος που χρησιµοποιεί τον κώδικα

Hamming Η(3) λαµβάνουµε την ακολουθία

11101001111111110010000000001000101

∆ιαπιστώστε αν έχουν συµβεί σφάλµατα κατά τη µετάδοση και διορθώστε το

µήνυµα.

5.9 Ο κώδικας Hamming H(4) έχει µήκος n=15. Ποιος είναι ο πίνακας ελέγχου

ισοτιµίας του; Πόσες κωδικές λέξεις περιέχει; Πόσα σφάλµατα µπορεί να

διορθώσει; Έστω ότι λαµβάνουµε στην έξοδο τα µηνύµατα:

000000000000000

000011100001110

001001001001001

∆ιαπιστώστε αν έχει συµβεί σφάλµα κατά τη µετάδοση. Πως θα

αποκωδικοποιηθούν τα µηνύµατα;

5.10 Το διαστηµόπλοιο Voyager χρησιµοποίησε τον κώδικα Golay 24Γ για την

αποστολή έγχρωµων φωτογραφιών στη Γη την περίοδο 1979-1981, (βλέπε στη

σελίδα 87). Κάποια στιγµή λήφθηκαν στην Γη τρία έγχρωµα pixels ως ακολουθίες

24 bits

000000 000000 000000 000000

111111 111111 111111 111111

111000 000000 000000 000000

Ο αποκωδικοποιητής ανίχνευσε σφάλµατα στη λήψη ή όχι;


95


5.1 α) µέχρι 2 β) µέχρι 1 γ) 1/3 δ) 2 ψηφία και 4 ψηφία

5.2 α) Κάθε λήψη 00, 01, 10, 11 αποκωδικοποιείται ως έχει.

β) Η πιθανότητα σφάλµατος είναι 0.02=2%.

γ) Ενδεικτικά µερικά παραδείγµατα:

αν ληφθεί 100000 αποκωδικοποιείται 000000



δ) όχι

ε) Η πιθανότητα σφάλµατος είναι 0.0006 = 0,06%.

στ) 200 bits µε τον πρώτο και 6 bits µε τον δεύτερο κώδικα.

5.3 Όχι, δεν είναι κατάλληλος σε περιβάλλον µε θόρυβο. Προσθέτουµε ένα bit

ελέγχου ισοτιµίας:

5.4 Ο κώδικας είναι: 0000

0111

1010

1101

∆ιάσταση: k=2, µήκος: n=4, ρυθµός: R=1/2, ελάχιστη απόσταση: d=2

Μπορεί να ανιχνεύσει µέχρι και 1 σφάλµα. ∆εν διορθώνει κανένα.

5.5 Ο κώδικας είναι: 00000

01101

10110

11011

∆ιάσταση: k=2, µήκος: n=5, ρυθµός: R=2/5, ελάχιστη απόσταση: d=3

∆ιορθώνει ένα σφάλµα.

00010011

0 0 0 0 1 1 1 1

0 0 1 1 0 0 1 1

0 1 1 1 0 1 0 1

0 1 0 1 1 0 1 0


96

5.6 )1|111(=H ,

=

1100

1010

1001

G ,

∆ιάσταση: k=3, µήκος: n=4, ρυθµός: R=3/4,

Ο κώδικας είναι:

0000

0011

0101

0110

1001

1010

1100

1111

5.7 Προκύπτει από τον (n-1)x1 πίνακα

=

1

1

1

MA

5.8 Το µήνυµα αποκωδικοποιείται ως (σηµειώνονται οι διορθώσεις)

1110000 1111111 1100110 0000000 1010101

5.9 Είναι:

=

101010101010101

110011001100110

111100001111000

111111110000000

H

Περιέχει 2048 κωδικές λέξεις. ∆ιορθώνει ένα σφάλµα.

Το πρώτο µήνυµα είναι σωστό και αποκωδικοποιείται ως έχει.

Το δεύτερο µήνυµα αποκωδικοποιείται ως:

000011100011110

Το τρίτο µήνυµα αποκωδικοποιείται ως:

001001001001000

5.10 Μόνο στο τρίτο pixel ο αποκωδικοποιητής ανιχνεύει σφάλµα.


97

ΠΑΡΑΡΤΗΜΑΤΑ


98


99

ΠΑΡΑΡΤΗΜΑ Α’ : ΛΟΓΑΡΙΘΜΟΙ

Αν

ax=y

τότε

logay=x

Για παράδειγµα,

23=8 οπότε log28=3

Ισχύουν οι παρακάτω ιδιότητες:

loga(xy)= logax + logay

loga(x/y)= logax - logay

loga1 = 0

logaa = 1

loga(1/x) = -logax

logaxn = n.logax

logax = lnx / ln a

Έτσι, για παράδειγµα

log2 1/50 = -log2 50 = -log2 2*25

=-(log22+ log225)=-(1+log252)=-1-2log25


100


101

ΠΑΡΑΡΤΗΜΑ B’ : ΠΙΝΑΚΕΣ

Ο σχηµατισµός

−

3403

7284

1021

είναι ένα παράδειγµα πίνακα µε 3 γραµµές και 4 στήλες, Λέµε λοιπόν ότι έχουµε

ένα πίνακα 3x4.

Η πρόσθεση δύο πινάκων γίνεται µε απλή πρόσθεση των αντίστοιχων στοιχείων,

οπότε οι πίνακες πρέπει να έχουν τις ίδιες διαστάσεις:

−

372

111

052

+

010

532

320

=

382

443

372

Ο πολλαπλασιασµός δύο πινάκων Α και Β γίνεται διαφορετικά. Προηγουµένως να

πούµε πως «πολλαπλασιάζουµε» µια γραµµή µε µια στήλη.

][ 21 kaaa L

kb

b

b

M

2

1

= kkbababa L++ 2211

∆ηλαδή πολλαπλασιάζουµε τα αντίστοιχα στοιχεία και προσθέτουµε τα γινόµενα,

(όπως στο εσωτερικό γινόµενο).

Γενικότερα, για τον πολλαπλασιασµό δύο πινάκων Α και Β, αν ο πίνακας Α έχει k

στήλες τότε ο Β πρέπει να έχει k γραµµές. ∆ηλαδή οι διαστάσεις των δύο πινάκων

πρέπει να έχουν τη µορφή

m x k και k x n.

Τότε το αποτέλεσµα έχει διαστάσεις m x n.

Για να βρούµε το γινόµενο ΑΒ «πολλαπλασιάζουµε» κάθε γραµµή του Α µε κάθε

στήλη του Β. Όταν πολλαπλασιάζουµε την i γραµµή του Α µε τη j στήλη του Β το

αποτέλεσµα θα µπει στη θέση i-j του νέου πίνακα. Η πράξη φαίνεται καλύτερα στο

παράδειγµα:


102

ζεδγβα

12963

11852

10741

++

++

++

++

++

++

++

++=

121110

121110

987

987

654

654

321

321

ζεδγβα

ζεδγβα

ζεδγβα

ζεδγβα

(2x3) (3x4) (2x4)

Παρατηρούµε ότι πρώτα πολλαπλασιάζουµε την 1η γραµµή [α β γ] του Α µε όλες

τις στήλες του Β µια προς µια. Έτσι σχηµατίζουµε την 1η γραµµή στο αποτέλεσµα.

Μετά πολλαπλασιάζουµε τη 2η γραµµή [δ ε ζ] µε όλες τις στήλες του Β µια προς

µία. Έτσι σχηµατίζουµε την 2η γραµµή στο αποτέλεσµα.

π.χ.

=

⋅

3

5

7

4

10

32

21

=

++

++

++

3070

910218

65144

37

1929

1118

Ένας πίνακας n x n θα λέγεται τετραγωνικός. Μοναδιαίος λέγεται ο τετραγωνικός

πίνακας που έχει 1 στην κύρια διαγώνιο και 0 σε όλες τις άλλες θέσεις. Π.χ. ο 3x3

µοναδιαίος πίνακας είναι

Ι =

100

010

001

Μπορούµε να διαπιστώσουµε εύκολα µε παραδείγµατα ότι για οποιονδήποτε 3x3

πίνακα Α ισχύει

ΙΑ=Α και ΑΙ=Α

(δηλαδή ο µοναδιαίος πίνακας συµπεριφέρεται όπως ακριβώς η µονάδα στους

πραγµατικούς αριθµούς).

Ο ανάστροφος ενός πίνακα Α προκύπτει αν µετατρέψουµε τις γραµµές του σε

στήλες (οπότε προφανώς οι στήλες θα γίνουν γραµµές). Συµβολίζεται Αt.

Π.χ. Αν Α =

1211109

8765

4321

, τότε Αt =

1284

1173

1062

951

Τέλος, δύο πίνακες Α και Β µε το ίδιο πλήθος γραµµών µπορούν να συνενωθούν

στον πίνακα [Α|Β] όπως στο παράδειγµα:

Αν Α =

04

12, Β =

587

140, τότε [Α|Β] =

58704

14012


103

ΠΑΡΑΡΤΗΜΑ Γ’ : ΠΙΘΑΝΟΤΗΤΕΣ

Υπενθυµίζουµε µόνο κάποιες βασικές έννοιες και σχέσεις

• µε P(A) συµβολίζεται η πιθανότητα του γεγονότος Α. Ισχύει

0≤P(Α)≤1

• P( A ) = η πιθανότητα να µη συµβεί το γεγονός Α

• P(A∪ B) = η πιθανότητα να συµβεί είτε το γεγονός Α είτε το γεγονός Β

• P(A∩ B) ή P(ΑΒ) = η πιθανότητα να συµβούν τα γεγονότα Α και Β µαζί

• P(A∪ B) = P(A) + P(B) - P(AB)

• P(B/A) είναι η πιθανότητα να συµβεί το γεγονός Β δεδοµένου ότι έχει

συµβεί το γεγονός Α

• Αν Α,Β είναι ανεξάρτητα γεγονότα τότε P(Β/Α) = P(Β)

(το Α δεν επηρεάζει την πιθανότητα του Β εφόσον είναι ανεξάρτητο)

• P(AB) = P(A)P(B/A) γενικά

• P(AB) = P(A)P(B) αν Α,Β ανεξάρτητα.

• Αν το γεγονός Β εξαρτάται από τα γεγονότα Α1,Α2,Α3 τα οποία αποτελούν

διαµέριση του δειγµατοχώρου (δηλαδή είναι ξένα µεταξύ τους ανά δύο και

η ένωσή τους καλύπτει όλο το δειγµατοχώρο), τότε

P(B) = P(A1B) + P(A2B) + P(A3B)

= P(A1)P(B/A1) + P(A2)P(B/A2) + P(A3)P(B/A3)

ΠΑΡΑ∆ΕΙΓΜΑ ∆ιαλέγουµε δύο χαρτιά από µια τράπουλα 52 φύλλων. Έστω

Α = «το πρώτο φύλλο είναι ΑΣΣΟΣ»

Β = «το δεύτερο φύλλο είναι ΑΣΣΟΣ»

Να βρεθούν οι πιθανότητες P(A), P(B), P(AB), P(B/A), εάν

α) τοποθετήσουµε πίσω στη θέση του το πρώτο φύλλο

β) χωρίς να τοποθετήσουµε πίσω το πρώτο φύλλο συνεχίζουµε για το δεύτερο


104

α) Τα γεγονότα Α, Β είναι ανεξάρτητα (το 2ο φύλλο δεν εξαρτάται από το 1ο)

13

1

52

4)( ==AP

13

1)( =Bp

13

1)()/( == BPABP

169

1)()()( == BPAPABP

β) Τα γεγονότα Α,Β είναι εξαρτηµένα (το 2ο φύλλο εξαρτάται από το 1ο)

13

1

52

4)( ==AP

51

3)()/( == BPABP (διότι αν τραβηχτεί ΑΣΣΟΣ την πρώτη φορά

µένουν 51 φύλλα µε 3 ΑΣΣΟΥΣ)

221

1)/()()( == ABPAPABP

τα γεγονότα AA =1 = « το πρώτο φύλλο είναι ΑΣΣΟΣ»

και AA =2 = « το πρώτο φύλλο δεν είναι ΑΣΣΟΣ»

αποτελούν διαµέριση του δειγµατοχώρου. Άρα,

P(B) = P(A1)P(B/A1) + P(A2)P(B/A2) 13

1

51

4

52

48

51

3

52

4=+=

ΜΕΣΗ ΤΙΜΗ

Έστω ότι µια µεταβλητή Χ παίρνει τις τιµές

1a , 2a , 3a ,…, na

µε αντίστοιχες πιθανότητες

1p , 2p , 3p ,…, np

Η µέση τιµή της µεταβλητής δίνεται από τη σχέση

∑=

=+++=n

i

iinn apapapapX1

2211 L

Όταν όλες οι πιθανότητες είναι ίσες (άρα η καθεµιά ίση µε n

1) η µέση τιµή γίνεται

n

aaaan

an

an

X nn

LL

++=+++= 21

21

111

(ο γνωστός µας δηλαδή µέσος όρος όπου αθροίζουµε όλες τις τιµές και διαιρούµε

µε το πλήθος τους n)

Για µια πιο αναλυτική εισαγωγή στις πιθανότητες µπορείτε να δείτε το ΚΕΦΑΛΑΙΟ 2 των σηµειώσεών

µου «Στοιχεία Πιθανοτήτων και Θεωρίας Ουρών». Βρίσκονται στην ιστοσελίδα µου:

http://users.otenet.gr/~chrnikol

105

ΑΝΑΛΥΤΙΚΕΣ ΛΥΣΕΙΣ

ΤΩΝ ΑΣΚΗΣΕΩΝ

107

Λύσεις Κεφαλαίου 1

Άσκηση 1.1

Οι δύο κωδικοποιήσεις είναι

ΚΩ∆ΙΚΑΣ 1 ΚΩ∆ΙΚΑΣ 2 Συχν. µηνυµάτων

00 0 200 µέρες

01 10 100 µέρες

10 110 50 µέρες

11 111 15 µέρες

Με την πρώτη κωδικοποίηση κάθε µήνυµα διαρκεί 10 λεπτά, άρα στη διάρκεια µιας

χρονιάς:

1η: 365 x 10 λεπτά = 3650 λεπτά.

Με τη δεύτερη κωδικοποίηση τα τέσσερα µηνύµατα έχουν διάρκεια 0, 10, 20 και 20

λεπτά αντίστοιχα. Άρα στη διάρκεια µιας χρονιάς:

2η: 200 x 0 λεπτά + 100 x 10 λεπτά + 50 x 20 λεπτά + 15 x 20 λεπτά

= 2300 λεπτά.

Κατά µέσο όρο ένα µήνυµα στην πρώτη κωδικοποίηση διαρκεί 10 λεπτά (προφανώς)

ενώ στη δεύτερη 2300/365= 6,3 λεπτά! Η δεύτερη κωδικοποίηση είναι φανερά πιο

αποδοτική, παρά το γεγονός ότι περιέχει και µηνύµατα µεγαλύτερου µήκους διότι τα

τελευταία εµφανίζονται πολύ σπάνια.

Άσκηση 1.2

Όταν ένα µήνυµα επαναλαµβάνεται 7 φορές, υπάρχει περιθώριο να γίνει λάθος µέχρι

και 3 φορές. Στη περίπτωση αυτή, το µήνυµα θα φτάσει στον τελικό αποδέκτη

τουλάχιστον 4 φορές σωστά οπότε θα καταλάβουµε ότι αυτό ήταν το αρχικό µήνυµα

που στάλθηκε.

108

Άσκηση 1.3

Το αλφάβητο είναι Α=-20,-19,-18, ... , 42, 43 (64 σύµβολα)

Υπάρχουν ακριβώς 26=64 δυαδικές κωδικές λέξεις µήκους 6, άρα µπορούµε να

αντιστοιχίσουµε κάθε θερµοκρασία µε µια τέτοια λέξη. Το µήκος λοιπόν των κωδικών

λέξεων πρέπει να είναι τουλάχιστον 6.

Στην Κρήτη οι µεγαλύτερες θερµοκρασίες εµφανίζονται πιο συχνά, άρα είναι

προτιµότερο αυτές να κωδικοποιηθούν µε µικρότερες κωδικές λέξεις ενώ οι µικρές

θερµοκρασίες µε µεγαλύτερες κωδικές λέξεις. Έτσι το µήνυµα της θερµοκρασίας θα

φτάνει συνήθως πιο γρήγορα.

Άσκηση 1.4

Οι δύο κωδικοποιήσεις µε Morse είναι

ΒΥΘΟΣ = • • • / • / • • / / • • •

ΤΕΝΤΑ = / • / • / / •

Παρατηρούµε µεγάλη διαφορά στο µήκος. Η λέξη ΒΥΘΟΣ αντιστοιχεί σε περισσότερα

κωδικά σύµβολα διότι περιέχει πιο σπάνια γράµµατα του αλφαβήτου απ’ ότι η λέξη

ΤΕΝΤΑ.

Άσκηση 1.5

Η κωδικοποίηση, η αλλοίωση και η αποκωδικοποίηση της λήψης είναι

ΚΑΛΟΣ → 11001010 11000001 11001010 11001111 11010011

11001010 11000001 11001011 11001111 11010011 → ΚΑΚΟΣ

Παρατηρούµε ότι ακόµη και µε την µετατροπή ενός bit αλλοιώνεται όλο το µήνυµα,

άρα ο κώδικας ASCII δεν είναι καλός σε περιβάλλον µε θόρυβο.

109


Άσκηση 2.1

Είναι Ι=p

1log 2 , άρα

α) 2

1=p εφόσον υπάρχουν δύο όψεις του νοµίσµατος, Ι 12log2 == bit

β) 4

1=p , Ι 24log2 == bits

γ) Αναφέραµε στη θεωρία ότι η πιθανότητα να πετύχουµε τη νικήτρια στήλη στο

ΛΟΤΤΟ (η οποία µπορεί να βρεθεί εύκολα µε συνδυαστική) είναι

816.983.13

1=p

Άρα το ζητούµενο πληροφοριακό περιεχόµενο είναι 74.23816.983.13log2 ≅ bits

δ) Ας βρούµε πρώτα πόσες πινακίδες µπορούν να υπάρξουν.

Μια πινακίδα έχει τη µορφή

Χ Χ Χ Α Α Α Α

Όπου κάθε Χ είναι ένα από τα 14 πιθανά γράµµατα ενώ ο αριθµός ΑΑΑΑ είναι από

1000 µέχρι 9999. Υπάρχουν 314 τριάδες γραµµάτων και 9000 αριθµοί. Άρα υπάρχουν

9000143 ⋅ =24696000 τρόποι

να συµπληρωθεί µια πινακίδα. Άρα η πιθανότητα της δεδοµένης πινακίδας είναι

000,496,2

1=p

και το πληροφοριακό περιεχόµενό της (αυτοπληροφορία) είναι

2496000log2 =24.55 bits

Το γεγονός δ) λοιπόν περιέχει περισσότερη πληροφορία από το γ)

Άσκηση 2.2

Η ένδειξη κάθε ζαριού έχει πιθανότητα 6

1=p και πληροφοριακό περιεχόµενο

6log2=I 32log2 ⋅= 2log2= 3log2+ = 58.11+ 58.2= bits

110

Η ζητούµενη εντροπία είναι επίσης

)6log6

1(6 2⋅=H 58.26log

6

12 == bits/σύµβολο

Άσκηση 2.3

Είναι

10log10

12=H

2

10log

10

22+

3

10log

10

32+

4

10log

10

42+

10log10

12= )2log10(log

10

222 −+ )3log10(log

10

322 −+ )4log10(log

10

422 −+

10log)10

4

10

3

10

2

10

1( 2+++= 4log

10

43log

10

32log

10

2222 −−−

10log2=10

2−

10

83log

10

32 −− 5log2log 22 += 1− 3log

10

32−

5log2= 3log10

32− bits/σύµβολο

Μέγιστη εντροπία θα είχαµε αν τα τέσσερα σύµβολα ήταν ισοπίθανα, δηλαδή µε

πιθανότητα 1/4 το καθένα, και η εντροπία θα ήταν 24log2 ==H bits/σύµβολο.

Άσκηση 2.4

Είναι x=1-(0.3+0.5)=0.2 και

3.0

1log)( 2=aI

3

10log2= bits,

5.0

1log)( 2=bI 12log 2 == bit,

2.0

1log)( 2=cI 5log2= bits.

Επίσης =)(AH 5log2.05.0)3

10(log3.0 22 ⋅++⋅ bits/σύµβολο.

Μέγιστη εντροπία θα είχαµε αν τα τρία σύµβολα ήταν ισοπίθανα, δηλαδή µε

πιθανότητα 1/3 το καθένα, και η εντροπία θα ήταν 3log2=H bits/σύµβολο.

111

Άσκηση 2.5

α) Όλες οι πιθανότητες είναι µεταξύ 0 και 1 και επιπλέον

+2

1+4

1+8

1+

16

1+

32

11

32

32

32

1==

β) =H +2log2

12 +4log

4

12 +8log

8

12 +16log

16

12 +32log

32

12 32log

32

12

+=2

1+2

4

1+3

8

1+4

16

1+5

32

15

32

1

32

558121616 +++++=

16

31

32

62= bits/σύµβολο

γ) Μέγιστη εντροπία θα είχαµε αν τα τέσσερα σύµβολα ήταν ισοπίθανα, δηλαδή µε

πιθανότητα 1/4 το καθένα, και η εντροπία θα ήταν 24log2 ==H bits/σύµβολο.

δ) Στο ερώτηµα γ) έχουµε µεγαλύτερη εντροπία και µεγαλύτερη αβεβαιότητα. Στην

αρχική πηγή έχουµε µεγαλύτερη σιγουριά καθώς γνωρίζουµε ότι κατά 50% η πηγή θα

στέλνει το σύµβολο Α.

Άσκηση 2.6

Είναι

α) 24log2 ==H bits/σύµβολο

β) =H +2log2

12 +4log

4

12 )8log

8

1(2 2 75.1

4

3

2

1

2

1=++= bits/σύµβολο

γ) =H +2log2

12 2log

2

12 1

2

1

2

1=+= bit/σύµβολο

δ) =H +1024log1024

12

1023

1024log

1024

10232 01.00

1024

10≅+≅ bit/σύµβολο

ε) 01log1 2 ==H

στ) Ξεκινήσαµε µε την πιο αβέβαιη πηγή όπου όλα τα σύµβολα είναι ισοπίθανα και

καταλήξαµε στο στην πιο βέβαιη πηγή όπου στέλνεται µε απόλυτη σιγουριά ένα µόνο

σύµβολο. Παρατηρούµε ότι όσο «διαταράσσεται η ισορροπία στην πηγή», όσο δηλαδή

µικραίνει η αβεβαιότητα τόσο µικραίνει και η εντροπία της πηγής.

Άσκηση 2.7

α) Έχουµε

=)( 1bp +)()/( 111 apabp )()/( 221 apabp =(0.2)(0.1)+(0.1)(0.9)=0.11

=)( 2bp +)()/( 112 apabp )()/( 222 apabp =(0.3)(0.1)+(0.7)(0.9)=0.66

=)( 3bp +)()/( 113 apabp )()/( 223 apabp =(0.5)(0.1)+(0.2)(0.9)=0.23

112

β) Έχουµε

=)( 11bap )/()( 111 abpap =(0.1)(0.2)=0.02

=)( 21bap )/()( 121 abpap =(0.1)(0.3)=0.03

=)( 31bap )/()( 131 abpap =(0.1)(0.5)=0.05

=)( 12bap )/()( 212 abpap =(0.9)(0.1)=0.09

=)( 22bap )/()( 222 abpap =(0.9)(0.7)=0.63

=)( 22bap )/()( 222 abpap =(0.9)(0.2)=0.18

γ) Οι τιµές εντροπίας είναι

Η(Α)= 9.0log)9.0(1.0log)1.0( 22 −− = 0.47 bits/σύµβολο

Η(Β)= 66.0log)66.0(11.0log)11.0( 22 −− 23.0log)23.0( 2− = 1.23 bits/σύµβολο

Η(ΑΒ)= 03.0log)03.0(02.0log)02.0( 22 −− 05.0log)05.0( 2−

63.0log)63.0(09.0log)09.0( 22 −− 18.0log)18.0( 2− = 1.66 bits/σύµβολο

Η(Α/Β)= Η(ΑΒ) - Η(Β) = 1.66 – 1.23= 0.43 bits/σύµβολο

Η(Β/Α)= Η(ΑΒ) - Η(Α) = 1.66 – 0.47= 0.19 bits/σύµβολο

Παρατηρούµε ότι η εντροπία της πηγής Α µειώθηκε από Η(Α)=0.47 σε Η(Α/Β)=0.43,

Όπως επίσης και η εντροπία της πηγής Β µειώθηκε από Η(Β)= 1.23 σε Η(Β/Α)= 0.19

Άσκηση 2.8

Είναι Α=0,1 και Π(Α) = [41

43 ] και άρα

=H +4log4

12

3

4log4

32 81.058.1

4

32)3log2(

4

3

2

12 =−=−+= bits/σύµβολο

Η τρίτη επέκταση 3A χρησιµοποιεί όλους τους δυνατούς συνδυασµούς τριάδων του

αλφαβήτου, δηλαδή τα παρακάτω σύµβολα µε αντίστοιχες πιθανότητες

000 001 010 011 100 101 110 111

64

1

64

3

64

3

64

9

64

3

64

9

64

9

64

27

(πολλαπλασιάσαµε τις αντίστοιχες πιθανότητες των συµβόλων για κάθε τριάδα)

113

Η Εντροπία της επέκτασης είναι

43.281.03)(3)( 3 =⋅== AHAH bits/σύµβολο.

Άσκηση 2.9

Είναι Α=a,b,c και Π(Α) = [41

21

41 ].

α) Η δεύτερη επέκταση δίνεται στον πίνακα


16

1

8

1

16

1

8

1

4

1

8

1

16

1

8

1

16

1

β) Είναι

=)(AH +2log2

12

4log

4

12 2 5.1= bits/σύµβολο

=)( 2AH +4log4

12

8log

8

14 2

+ 16log16

14 2 31

2

3

2


Ισχύει πράγµατι )(2)( 2 AHAH = .

114


Άσκηση 3.1

α)

β) Από τα δεδοµένα της άσκησης

=Π )(A

3

2

3

1, =Π )/( AB

10099

1001

1001

10099

Άρα

=Π⋅Π=ΒΠ )/()()( ABA

3

2

3

1

10099

1001

1001

10099

=300

199

300

101

=Π⋅Π=ΒΠ )/()(),( ABAA D

320

031

10099

1001

1001

10099

=

300198

3002

3001

30099

γ) Η πιθανότητα να λάβουµε 0 στην έξοδο είναι 300

101 [από Π(Β)]

δ) Η πιθανότητα να σταλεί 0 και να ληφθεί 1 είναι 3001 [από Π(Α,Β)]

ε) Η πιθανότητα αν σταλεί 0 να ληφθεί 1 είναι 1001 [η πιθανότητα σφάλµατος]

Άσκηση 3.2

α) 81=x και

=)(AH +2log2

12 +4log

4

12 )8log

8

1(2 2 75.1

4

3

2

1

2


0

1 1

0

99/100

1/100

99/100

115

β) Μέγιστη εντροπία θα είχαµε αν τα τέσσερα σύµβολα ήταν ισοπίθανα, δηλαδή µε

πιθανότητα 1/4 το καθένα, και η εντροπία θα ήταν 24log 2 ==H bits/σύµβολο. Η

εντροπία γίνεται 0, όταν υπάρχει απόλυτη βεβαιότητα στην πηγή, δηλαδή όταν κάποιο

από τα 4 σύµβολα έχει πιθανότητα εκποµπής 1 ενώ όλα τα υπόλοιπα 0.

γ) Είναι

Π(Β/Α)

=

1000

0100

00109

101

00101

109

δ) Π(Β) = Π(Α) Π(Β/Α)] ⋅

=8

1

8

1

4

1

2

1=

1000

0100

00109

101

00101

109

=

++=8

1

8

1

40

9

20

1

40

1

20

9

8

1

8

1

40

11

40

19.

Άρα, η πιθανότητα να λάβουµε b στην έξοδο είναι 40

11 .

Άσκηση 3.3

α) Π(Α) = [1/4 3/4] (εφόσον το 1 εκπέµπεται µε τριπλάσια πιθανότητα)

και

Η(Α) = +4log4

1

3

4log4

3 = )3log4(log4

3

2

1−+ )59.1(

4

3

2

3

2

1−+=

=0.81 bits/σύµβολο

β) Έχουµε

Π(Β/Α) =

21

210

021

21

0.1

0.1

a a

c

d

c

d

1

1

0.9

b b 0.9

a

c

b

1

0

1/2

1/2

1/2

1/2

116

γ) Έχουµε

Π(Β) = Π(Α) Π(Β/Α) = [1/4 3/4]

21

210

021

21

= [1/8 4/8 3/8]

Άρα πιθανότητα λήψης του συµβόλου c στη έξοδο είναι 3/8.

δ) Έχουµε

Π(Α,Β)=ΠD(Α)Π(Β/Α)=

430

041

21

210

021

21

=

83

830

081

81

Άρα η ζητούµενη πιθανότητα είναι 1/8

Άσκηση 3.4

α) Είναι Π(Α) = [1/4 1/4 1/2 ] και

Η(Α) = +4log41 +4log

41 =2log

21

23 =1.5 bits/σύµβολο

β) Έχουµε

Π(Β/Α) =

1021

21

01

γ) Έχουµε

Π(Β) = Π(Α) Π(Β/Α) = [1/4 1/4 1/2 ]

1021

21

01

= [3/8 5/8]

Άρα οι πιθανότητες των συµβόλων 0 και 1 στην έξοδο είναι 3/8 και 5/8 αντίστοιχα.

δ) Έχουµε

Π(Α,Β)=ΠD(Α)Π(Β/Α)=

2100

0410

0041

1021

21

01

=

210

81

81

041

Άρα η ζητούµενη πιθανότητα είναι 1/8

0

1

b

c

a 1

1/2

1/2

1

117

Άσκηση 3.5

α) Είναι

Π(Α) Π(Β/Α) = [ ])()( 21 apap

)/()/(

)/()/(

2221

1211

abpabp

abpabp

[ ])/()()/()()/()()/()( 222121212111 abpapabpapabpapabpap ++=

[ ])()( 21 bpbp=

= Π(Β)

β) Είναι

ΠD(Α)Π(Β/Α) =

)(0

0)(

2

1

ap

ap

)/()/(

)/()/(

2221

1211

abpabp

abpabp

=

)/()()/()(

)/()()/()(

222212

121111

abpapabpap

abpapabpap

=

),(),(

),(),(

2212

2111

bapbap

bapbap

= Π(Α,Β)

Άσκηση 3.6

Είναι

=ΒΑΠ

005.000

10.005.000

010.005.00

0030.010.0

00025.0

),(

α) Τα αθροίσµατα των γραµµών µας δίνει τις πιθανότητες της πηγής Α ενώ των

στηλών της πηγής Β, άρα

Π(Α)= [0.25 0.40 0.15 0.15 0.05] και Π(Β)=[0.35 0.35 0.20 0.10]

β) Επειδή

p(x,y)=p(x)p(y/x) ή ισοδύναµα p(y/x) = p(x,y) / p(x)

για να βρούµε τα στοιχεία του Π(Β/Α) θα διαιρέσουµε τα στοιχεία του πίνακα Π(Α,Β)

µε το p(x) που αντιστοιχεί στην ίδια γραµµή, δηλαδή την πρώτη γραµµή δια 0.25, τη

δεύτερη µε 0.40, κοκ. Άρα

118

=Π

0100

3/23/100

03/23/10

004/34/1

0001

)/( AB


γ) Είναι

Η(Α)= 40.0log)40.0(25.0log)25.0( 22 −− 15.0log)15.0(2 2⋅− 05.0log)05.0( 2−

= 2.066 bits/σύµβολο

Η(Β)= 20.0log)20.0(35.0log)35.0(2 22 −⋅− 10.0log)10.0( 2−


Η(ΑΒ)= 3.0log)3.0(25.0log)25.0( 22 −− 1.0log)1.0(3 2⋅− 05.0log)05.0(3 2⋅−


Η(Β/Α) = Η(ΑΒ)-Η(Α) = 2.666 - 2.066 = 0.6 bits/σύµβολο

Η(Α/Β) = Η(ΑΒ)-Η(Β) = 2.666 - 1.857 = 0.809 bits/σύµβολο

Άσκηση 3.7

α) Το διάγραµµα του καναλιού είναι

x1

1

1/4 3/4

1

x2

x3

x4

x5

y1

y2

Y3

Y4

1/3 2/3

1/3

1

2/3

1a

2a

2b

1b 1

1/2

1/4

3a 4b

3b

1 5b

1/2

4a

6b

3/4

119

β) Είναι )/( 34 abp = 1/4 και )/( 25 abp = 0 όπως φαίνεται από το διάγραµµα ή και από

τον πίνακα Π(Β/Α).

Οι πιθανότητες )/( 43 bap και )/( 52 bap δεν φαίνονται άµεσα στο κανάλι αλλά

µπορούµε να τις µαντέψουµε λόγω της δοµής του καναλιού. ∆εδοµένου ότι

λαµβάνουµε στην έξοδο 4b είναι σίγουρο 100% ότι έχει σταλεί 3a , άρα )/( 43 bap =1

∆εδοµένου ότι λαµβάνουµε στην έξοδο 5b είναι σίγουρο 100% ότι έχει σταλεί

3a και

όχι 2a (ή οτιδήποτε άλλο), άρα )/( 52 bap =0.

Με το ίδιο σκεπτικό, όλες οι πιθανότητες της µορφής )/( bap είναι είτε 0 είτε 1.

γ) Πρόκειται για κανάλι χωρίς απώλειες οπότε 24log 2 ==C bits/σύµβολο.

Αν θέλουµε να το εξηγήσουµε, ο τύπος (1) της διαπληροφορίας (βλέπε θεωρία) δίνει

)()/()(),( AHBAHAHBAI =−=

και τελικά

),(max)(

BAICAΠ

= 24log)(max 2)(

===Π

AHA

bits/σύµβολο

Άσκηση 3.8

α) Το διάγραµµα του καναλιού είναι

β) Πρόκειται για καθοριστικό κανάλι οπότε 12log2 ==C bits/σύµβολο

Άσκηση 3.9

α) Έχουµε

−

−=Π

qq

qqAB

1

1)/(

Άρα

1a

2a

2b

1b 1

1

1

3a

4a 1

120

=Π⋅Π=Π )/()()( ABAB [ ]

−

−⋅−

qq

qqpp

1

11

[ ])1)(1()1()1( qppqqpqp −−+−+−=

[ ]pqqppqqp 212 +−−−+=

=Π⋅Π=Π )/()(),( ABABA D

−

−⋅

− qq

qq

p

p

1

1

10

0

−−−

−=

)1)(1()1(

)1(

qppq

pqqp

β) =)(ABH )1(log)1( 2 qpqp −−− pqpq 2log−

)1(log)1( 2 pqpq −−− )1)(1(log)1)(1( 2 qpqp −−−−−

pqp 2log)1( −−= )1(log)1( 2 qqp −−−

ppq 2log− qpq 2log−

qpq 2log)1( −− )1(log)1( 2 ppq −−−

)1(log)1)(1( 2 pqp −−−− )1(log)1)(1( 2 qqp −−−−

pp 2log−= )1(log)1( 2 pp −−− qq 2log− )1(log)1( 2 qq −−−

)()( qhph +=

γ) Η µεγαλύτερη τιµή της )(BH µπορεί να επιτευχθεί αν τα σύµβολα της πηγής

εξόδου Β γίνουν ισοπίθανα, δηλαδή όταν

[ ]pqqppqqp 212 +−−−+

=2

1

2

1

Είναι

2

12 =−+ pqqp ⇔ 1422 =−+ pqqp ⇔ qqp 21)21(2 −=− ⇔ 12 =p

⇔2

1=p (µε την προϋπόθεση ότι

2

1≠q )

Τότε θα είναι 12log)( 2 ==BH bit/σύµβολο

δ) ))()(()()()()()(),( qhphBHphABHBHAHBAI +−+=−+= )()( qhBH −=

ε) )]()(max[),(max qhBHBAIC −== )(1 qh−=

(όπως προκύπτει από το γ)

121

Άσκηση 3.10

α) Για πιθανότητα σφάλµατος q=0.5, είναι

=)(qh +2log2

12 2log

2

12 1

2

1

2

1=+= bit/σύµβολο

οπότε

C=1-h(q)= 0

Όταν η πιθανότητα σφάλµατος είναι 50%, ό,τι και να λάβουµε στην έξοδο έχουµε

πλήρη άγνοια για την πληροφορία που διοχετεύτηκε στο κανάλι. Ουσιαστικά δεν

µπορεί να µεταδοθεί πληροφορία. Έτσι εξηγείται η χωρητικότητα 0.

β) και γ) Για q=1/4 όπως και για q=3/4 είναι

=)(qh +4log4

12

3

4log4

32 81.059.1

4

32)3log2(

4

3

2

12 =−=−+= bits/σύµβολο

οπότε

C=1-h(q)= 0.19 bits/σύµβολο

Είτε 25%, είτε 75% είναι η πιθανότητα σφάλµατος πρακτικά έχουµε το ίδιο

αποτέλεσµα. Όταν για παράδειγµα στην έξοδο του καναλιού λαµβάνουµε το σύµβολο

1, στην πρώτη περίπτωση είµαστε 75% σίγουροι ότι στάλθηκε 1 ενώ στη δεύτερη

75% ότι στάλθηκε 0, έχουµε δηλαδή την ίδια βεβαιότητα στην έξοδο. Η ίδια

ικανότητα του καναλιού ως προς την πληροφορία που διοχετεύεται στο κανάλι εξηγεί

και την ίδια χωρητικότητα.

Άσκηση 3.11

α) Έχουµε

=Π

9.01.00

01.09.0)/( AB

Άρα

=Π⋅Π=Π )/()()( ABAB [ ]⋅− pp 1

9.01.00

01.09.0

[ ])1(9.0)1(1.01.09.0 pppp −−+= [ ])1(9.01.09.0 pp −=

και

122

=Π⋅Π=Π )/()(),( ABABA D ⋅

− p

p

10

0

9.01.00

01.09.0

−−=

)1(9.0)1(1.00

01.09.0

pp

pp

β) =)(ABH pp 9.0log9.0 2− pp 1.0log1.0 2−

)1(1.0log)1(1.0 2 pp −−− )1(9.0log)1(9.0 2 pp −−−

9.0log9.0 2p−= pp 2log9.0−

1.0log1.0 2p− pp 2log1.0−

1.0log)1(1.0 2p−− )1(log)1(1.0 2 pp −−−

9.0log)1(9.0 2p−− )1(log)1(9.0 2 pp −−−

= pp 2log− )1(log)1( 2 pp −−− 1.0log)1.0( 2− 9.0log)9.0( 2−

)1.0()( hph +=

και

=)(BH pp 9.0log9.0 2− 1.0log1.0 2− )1(9.0log)1(9.0 2 pp −−−

9.0log9.0 2p−= pp 2log9.0− 1.0log1.0 2−

9.0log)1(9.0 2p−− )1(log)1(9.0 2 pp −−−

9.0log[9.0 2p−= pp 2log− 9.0log)1( 2p−− )1(log)1( 2 pp −−− ]

1.0log1.0 2−

)](9.0log[9.0 2 ph+−= ] 1.0log1.0 2−

)(9.0 ph= 9.0log9.0 2− 1.0log1.0 2−

)1.0()(9.0 hph +=

γ) )1.0()(9.0)()()()(),( hphphABHBHAHBAI ++=−+= )1.0()( hph −−

)(9.0 ph=

δ) )](9.0max[),(max phBAIC == =0.9 bit/σύµβολο,

(διότι 12log)(max 2 ==ph )

123

Άσκηση 3.12

Έστω ][)( 21 mpppA L=Π

Είναι

=Π⋅Π=Π )/()()( ABAB ][ 21 mppp L

mmm

mmm

mmm

111

111

111

L

OMM

L

L

]111

[mmm

L=

Επίσης

=Π⋅Π=Π )/()(),( ABABA D

mp

p

p

L

MOM

L

00

00

00

2

1

mmm

mmm

mmm

111

111

111

L

MOMM

L

L

=

m

p

m

p

m

p

m

p

m

p

m

pm

p

m

p

m

p

mmmL

MOMM

L

L

222

111

Άρα,

mBH 2log)( =

και

+

=

1

21 log)(

p

m

m

pmABH +

2

22 log

p

m

m

pm

+

m

m

p

m

m

pm 2logL

( )+−= 1221 loglog pmp ( )+− 2222 loglog pmp ( )mm pmp 22 loglog −+L

121221 loglog)( ppmppp m −+++= L 222 log pp− mm pp 2log−−L

)(log2 AHm +=

124

Συνεπώς, η διαπληροφορία είναι

)()()(),( ABHBHAHBAI −+= 0)(loglog)( 22 =−−+= AHmmAH

Άρα τελικά

0=C

Για m=3, το διάγραµµα είναι

όπου κάθε πιθανότητα που εµφανίζεται είναι 3

1.

Το κανάλι αυτό δεν είναι σε θέση να µεταδώσει καθόλου πληροφορία, καθώς ότι και

να λάβουµε στην έξοδο θα µπορούσε να προέλθει κάλλιστα από οποιοδήποτε σύµβολο

εισόδου µε ίσες πιθανότητες. Αυτή η πλήρης αδυναµία του καναλιού µεταφράζεται σε

µηδενική χωρητικότητα.

125


Άσκηση 4.1

α) Η εντροπία είναι

=−×= 4.0log)4.0(15.0log)15.0(4 22H 4.0log)4.0(15.0log)6.0( 22 −−

=(0.6)(2.74)+(0.4)(1.32) ≅ 2.17 bits/σύµβολο

β) Μια δυαδική κωδικοποίηση µε σταθερό µήκος κωδικών λέξεων θα µπορούσε να

είναι η εξής

Α 000

Β 001

Γ 010

∆ 100

Ε 111

(το µικρότερο µήκος που θα µπορούσαµε να έχουµε είναι 3 καθώς µε 2 δυαδικά

ψηφία σχηµατίζονται µόνο 4 κωδικές λέξεις)

γ) Ο κώδικας Shannon-Fano είναι

∆ 0,4 00 Α 01

Α 0,15 01 Β 10

Β 0,15 10 δηλαδή Γ 110

Γ 0,15 110 ∆ 00

Ε 0,15 111 Ε 111

δ) Ο κώδικας του ερωτήµατος β) έχει προφανώς µέσο µήκος 3 bits/σύµβολο

Ο κώδικας του ερωτήµατος γ) έχει µέσο µήκος

(0.4)x2+(0.15)x2+(0.15)x2+(0.15)x3+(0.15)x3= 2.3 bits/σύµβολο

βλέπουµε ότι ο κώδικας Shannon-Fano πλησιάζει περισσότερο στην εντροπία της

πηγής.

ε) Ο κώδικας που δίνεται έχει µέσο µήκος

(0.4)x1+(0.15)x3+(0.15)x3+(0.15)x3+(0.15)x3= 2.2 bits/σύµβολο

και πλησιάζει ακόµη περισσότερο την τιµή της εντροπίας.

126

στ) Ο πρώτος κώδικας έχει σταθερό µήκος οπότε είναι φανερά στιγµιαία

αποκωδικοποιήσιµος. Οι άλλοι δύο είναι επίσης στιγµιαία αποκωδικοποιήσιµοι διότι

είναι προθεµατικοί: καµιά κωδική λέξη δεν αποτελεί πρόθεµα σε µια άλλη.

Άσκηση 4.2

1ος: ευκρινής, όχι µονοσήµαντος

διότι πχ η λήψη 101010 µπορεί να αποδοθεί ΑΑΑ είτε ΑΒ είτε ΒΑ είτε Γ

2ος: ευκρινής, µονοσήµαντος, όχι προθεµατικός

διότι κάθε κωδική λέξη αποτελεί πρόθεµα της επόµενης

3ος: ευκρινής, µονοσήµαντος, προθεµατικός

Άσκηση 4.3

α) Ένας block κώδικας µε 8 κωδικές λέξεις πρέπει να έχει µήκος τουλάχιστον 3. Ένας

τέτοιος θα µπορούσε να είναι ο εξής

m 000

n 001

o 010

p 011

q 100

r 101

s 110

t 111

Το µέσο µήκος είναι προφανώς 3 bits/σύµβολο

β) Με τον αλγόριθµο Shannon-Fano βρίσκουµε τον κώδικα

s 0.30 0 0

o 0.20 0 1

r 0.13 1 0 0

n 0.12 1 0 1

m 0.10 1 1 0

t 0.08 1 1 1 0

P 0.05 1 1 1 1 0

q 0.02 1 1 1 1 1

127

γ) Το µήνυµα είναι 00 01 00 1110 01 = sosto

Με τον πρώτο κώδικα το µήνυµα θα καταλάµβανε 5x3=15 bits ενώ τώρα

καταλαµβάνει 12 bits. Άρα πετυχαίνουµε συµπίεση κι αυτό διότι η λέξη sosto

αποτελείται κυρίως από συχνά σύµβολα (δηλαδή µε µεγάλη πιθανότητα)

δ) Ο δεύτερος κώδικας έχει µέσο µήκος

(0.30)x2+(0.20)x2+(0.13)x3+(0.12)x3+(0.10)x3+(0.08)x4+(0.05)x5+(0.02)x5

= 0.60+0.40+0.39+0.36+0.30+0.32+0.25+0.10


Ένα κείµενο 1000 χαρακτήρων θα καταλάµβανε κατά µέσο όρο µε τον block

κώδικα 3000 bits ενώ µε τον κώδικα Shannon-Fαno καταλαµβάνει 2720 bits

ε) Την µέγιστη εντροπία θα την είχαµε αν τα οκτώ σύµβολα ήταν ισοπίθανα. Αυτή θα

ήταν Η=log28=3 bits/σύµβολο. Άρα η εντροπία της πηγής Α είναι µικρότερη από

3bits/σύµβολο

Άσκηση 4.4

α) Για το a η πιθανότητα εκποµπής είναι x = 1-81 -

81 =

86 =

43

Η εντροπία της πηγής Α είναι

=)(AH 8log8

18log

8

1

3

4log4

3++ 3

8

138

1)3log4(log

4

3++−=

=+−=8

6)58.12(

4

3 1.065 bits/σύµβολο

Η εντροπία θα ήταν µέγιστη εάν τα 3 σύµβολα ήταν ισοπίθανα, δηλ. µε πιθανότητα

31 το καθένα. Η τιµή της θα ήταν

58.13log3log3

13 ==

⋅=H bits/σύµβολο

β) Με τον αλγόριθµο Shannon-Fano βρίσκουµε

a 86 0

b 81 1 0

c 81 1 1

128

Μέσο µήκος = =⋅+⋅+⋅ 28

12

8

11

8

61.25 bits/σύµβολο

γ) H επέκταση 2A µε τις αντίστοιχες πιθανότητες είναι


6436

646

646

646

641

641

646

641

641

[για κάθε διπλό σύµβολο πολλαπλασιάζουµε τις αντίστοιχες πιθανότητες, πχ για το σύµβολο ab η

πιθανότητα είναι 86

81 =

646 ]

Ο αλγόριθµος Shannon-Fano δίνει

aa 64

36 0

ab 646 1 0 0

ac 646 1 0 1

ba 646 1 1 0

ca 646 1 1 1 0

bb 641 1 1 1 1 0 0

bc 641 1 1 1 1 0 1

cb 641 1 1 1 1 1 0

cc 641 1 1 1 1 1 1

δ) Η νέα απόδοση είναι

364

63

64

61

64

36⋅+⋅+⋅ 6

64

14

64

63

64

6⋅+⋅+⋅+ 6

64

16

64

16

64

1⋅+⋅+⋅+

==++++++++

=64

138

64

666624181818362.156 bits/διπλό σύµβ

δηλαδή η απόδοση είναι 1.078 bits/σύµβολο

129

ε) Το µήνυµα κωδικοποιείται ως εξής:

1ος κώδικας: aabaacaa = 0 0 10 0 0 11 0 0 (10 bits)

2ος κώδικας: aa ba ac aa = 0 110 101 0 (8 bits)

Γενικά βλέπουµε ότι η απόδοση από


βελτιώθηκε σε


Σύµφωνα µε το πρώτο θεώρηµα του Shannon η βελτίωση αυτή µπορεί να φτάσει

µέχρι την εντροπία της πηγής Α, δηλαδή 1.065 bits/σύµβολο (ερώτηµα α). Με τον

τρόπο αυτό πετυχαίνουµε συµπίεση δεδοµένων και κατά συνέπεια ταχύτερη µετάδοση

δεδοµένων.

Άσκηση 4.5

α) Η(Α) = +4log4

1

3

4log4

3 = )3log4(log4

3

2

1−+ )58.1(

4

3

2

3

2

1−+=


β) Οι πηγές που έχουµε είναι αντίστοιχα

Οι κωδικοποιήσεις Shannon-Fano για τις τρεις πηγές είναι αντίστοιχα

A3

aaa aab aba abb baa bab bba bbb

64

27

64

9

64

9

64

3

64

9

64

3

64

3

64

1

A

a b

4

3

4

1

A2

aa ab ba bb

16

9

16

3

16

3

16

1

130

a 43 0

b 41 1

aa 169 0

ab 163 1 0

ba 163 1 1 0

bb 161 1 1 1

aaa 6427 0 0

aab 649 0 1

aba 649 1 0 0

baa 649 1 0 1

abb 643 1 1 0 0

bab 643 1 1 0 1

bba 643 1 1 1 0

bbb 641 1 1 1 1

Οι αντίστοιχες αποδόσεις των τριών κωδίκων (µέσα µήκη) είναι

1ος κώδικας: 1 bit/σύµβολο

2ος κώδικας: 169 x1+

163 x2+

163 x3+

161 x3 =

1627 bits/διπλό σύµβολο

= 1.68 bits/διπλό σύµβολο


3ος κώδικας: 64

27 x2+649 x2+(

649 x3)x2+(

643 x4)x3+

641 x4

= 64

166 bits/ τριπλό σύµβολο

= 2.59 bits/τριπλό σύµβολο


131

Παρατηρούµε ότι ο κώδικας βελτιώνεται µε την δεύτερη επέκταση ενώ δεν

βελτιώνεται µε την τρίτη, αντίθετα ίσως απ’ ότι θα περίµενε κανείς. Αυτό διότι η

κατανοµή πιθανοτήτων στην τρίτη επέκταση δεν είναι αρκετά «βολική» ώστε να δίνει

σε κάθε διχοτόµηση ισοπίθανες οµάδες.

γ) Είναι αξιοσηµείωτο ότι αν τροποποιήσουµε µόνο το πρώτο βήµα (σκιασµένη στήλη)

τότε στα επόµενα βήµατα θα έχουµε «καλύτερα µοιρασµένες» οµάδες συµβόλων.

Πράγµατι

aaa 6427 0

aab 649 1 0 0

aba 649 1 0 1

baa 649 1 1 0

abb 643 1 1 1 0 0

bab 643 1 1 1 0 1

bba 643 1 1 1 1 0

bbb 641 1 1 1 1 1

Το µέσο µήκος τώρα θα είναι

4ος κώδικας: 64

27 x1+(649 x3)x3+(

643 x5)x3+

641 x5

= 64

158 bits/ τριπλό σύµβολο

= 2.47 bits/τριπλό σύµβολο


βελτιωµένη δηλαδή σε σχέση µε την απόδοση των προηγούµενων κωδίκων.

Άσκηση 4.6

Είναι p(A)=109 και p(M)=

101 .

α) Η τρίτη επέκταση της πηγής Χ=Α,Μ είναι

ΑΑΑ ΑΑΜ ΑΜΑ ΑΜΜ ΜΑΑ ΜΑΜ ΜΜΑ ΜΜΜ

1000729

100081

100081

10009

100081

10009

10009

10001

132

β) Ο κώδικας Shannon-Fano που προκύπτει είναι

γ) Για την ακολουθία ΑΑΑ ΑΑΜ ΑΑΑ

Αρχικός κώδικας 000 001 000 9 bits

Shannon-Fano 0 100 0 5 bits

Παρατηρούµε ότι µε την δεύτερη κωδικοποίηση το ίδιο µήνυµα συµπιέζεται αρκετά.

δ) Ο πρώτος κώδικας έχει απόδοση 1 bit/pixel. Ο δεύτερος κώδικας έχει απόδοση

1000

729 × 1bit +3 × (1000

81 ×3bits) +3 × (10009 ×5bits) +

10001 × 5bits

=1000

1598 bits ανά 3 pixels = 0,532 bits/pixel

ε) Η απόδοση αυτή σύµφωνα µε το πρώτο Θεώρηµα Shannon µπορεί να µειωθεί µέχρι

την εντροπία της πηγής η οποία είναι

9

10log

10

910log

10

1)( 22 +=XH )9log10(log

10

910log

10

1222 −+=

9log10

910log 22 −= = 3.322 – 2.853 = 0.469 bits/pixel

Άσκηση 4.7

Για τους δύο πρώτους πίνακες δεν είναι δυνατόν να κατασκευάσουµε δυαδικό δέντρο

διότι δεν είναι προθεµατικοί.

ΑΑΑ 1000729 0

ΑΑΜ 100081 1 0 0

ΑΜΑ 100081 1 0 1

ΜΑΑ 100081

1 1 0

ΑΜΜ 10009

1 1 1 0 0

ΜΑΜ 10009

1 1 1 0 1

ΜΜΑ 10009

1 1 1 1 0

ΜΜΜ 10001

1 1 1 1 1

133

Για τον τρίτο κώδικα έχουµε

Α 01 Β 00

Γ 100 ∆ 110

Ε 111

Σηµείωση: Μπορούµε να συµπτύξουµε λίγο ακόµη τον κώδικά µας. Ένα δυαδικό

δέντρο λέγεται «πλήρες» όταν κάθε εσωτερικός κόµβος (εκτός δηλαδή από τα φύλλα)

έχει δύο παιδιά. Μπορούµε να διαγράψουµε τον τελευταίο κλάδο της διαδροµής Γ

(ουσιαστικά δεν προσφέρει κάτι περισσότερο στην κωδικοποίηση) και να προκύψει

πλήρες δέντρο. Η αντίστοιχη κωδική λέξη θα γίνει Γ = 10 και ο νέος κώδικας θα έχει

ελαφρώς µικρότερο µέσο µήκος.

Άσκηση 4.8

Η πηγή είναι

Α Β Γ ∆ Ε

0,15 0,15 0,15 0,4 0,15

Σχηµατίζουµε βήµα-βήµα το δέντρο του αλγορίθµου Huffman:

Βήµα 1: (τα τέσσερα τελευταία σύµβολα µπορούµε να τα διατάξουµε όπως θέλουµε)

0.40

∆

0.15

Γ

0.15

Ε

0.15

Α

0.15

Β

1

1 1

1

0 0

0 0

0

Α Β

Γ ∆ Ε

134

Βήµα 2:

Βήµα 3:

Βήµα 4:

Βήµα 5:

Γ

1

∆

Ε Α Β

0.60

Γ

0.40

∆

Ε Α Β

0.30

Γ

0.40

∆

0.30

Ε Α Β

0.15 0.15

Γ

0.40

∆

0.30

Ε

Α Β

135

Ο κώδικας Huffman είναι

Α 100 Β 101 Γ 110 ∆ 0

Ε 111

Πρόκειται για τον κώδικα που δίνεται στο ερώτηµα 1 ε) και ο οποίος έχει µέσο µήκος

(βλέπε υπολογισµό στην άσκηση 1 πιο πάνω) 2.2 bits/σύµβολο

Άσκηση 4.9

Η πηγή είναι

m n o p q r s t

0,10 0,12 0,20 0,05 0,02 0,13 0,30 0,08

Σχηµατίζουµε βήµα-βήµα το δέντρο του αλγορίθµου Huffman:

Βήµα 1:

Βήµα 2:

Βήµα 3:

0.30

s

0.20

o

0.13

r

0.12

n

0.10

m

t

p

0.15

q

0.30

s

0.20

o

0.13

r

0.12

n

0.10

m

0.08

t

p

0.07

q

0.30

s

0.20

o

0.13

r

0.12

n

0.10

m

0.08

t

0.05

p

0.02

q

136

Βήµα 4:

Βήµα 5:

Βήµα 6:

Βήµα 7:

0.58

s

0.42

o

r n m

t

p q

0.30

s

0.42

o r

n m t

p

0.28

q

0.30

s

0.20

o

r

0.22

n m

t

p

0.28

q

0.30

s

0.20

o

0.13

r

0.22

n m t

p

0.15

q

137

Βήµα 8:

Ο κώδικας Huffman είναι

m 101

n 100

o 11

p 01010

q 01011

r 011

s 00

t 0100

Αν συγκρίνουµε µε τον κώδικα Shannon-Fano πού βρήκαµε στο ερώτηµα 3 β)

m 110

n 101

o 01

p 11110

q 11111

r 100

s 00

t 1110

1

s o

r n m

t

p q

138

θα διαπιστώσουµε ότι τα µήκη των αντίστοιχων κωδικών λέξεων είναι ακριβώς τα ίδια,

άσχετα αν οι κώδικες είναι διαφορετικοί. Ποιοτικά λοιπόν οι δύο κώδικες είναι ίδιοι και

έχουν το ίδιο µέσο µήκος 2.72 bits/σύµβολο.

Άσκηση 4.10

Οι τρεις πηγές είναι

Για την πηγή Α, έχουµε

Βήµα 1:

Βήµα 2:

και ο κώδικας Huffman είναι

a 0

b 1

A3

aaa aab aba abb baa bab bba bbb

64

27

64

9

64

9

64

3

64

9

64

3

64

3

64

1

1

a b

3/4

a

1/4

b

A

a b

4

3

4

1

A2

aa ab ba bb

16

9

16

3

16

3

16

1

139

Για την πηγή Α2 έχουµε

Βήµα 1:

Βήµα 2:

Βήµα 3:

Βήµα 4:

1

aa

ab

ba bb

9/16

aa

7/16

ab

ba bb

9/16

aa

3/16

ab

4/16

ba bb

9/16

aa

3/16

ab

3/16

ba

1/16

bb

140


aa 0

ab 11

ba 100

bb 101

Τέλος, για την πηγή Α3 έχουµε

Βήµα 1:

Βήµα 2:

Βήµα 3:

Βήµα 4:

27/64

aaa

9/64

aab

9/64

aba

9/64

baa

abb bab

10/64

bba bbb

27/64

aaa

9/64

aab

9/64

aba

9/64

baa

6/64

abb bab

4/64

bba bbb

27/64

aaa

9/64

aab

9/64

aba

9/64

baa

3/64

abb

3/64

bab

4/64

bba bbb

27/64

aaa

9/64

aab

9/64

aba

9/64

baa

3/64

abb

3/64

bab

3/64

bba

1/64

bbb

141

Βήµα 5:

Βήµα 6:

Βήµα 7:

27/64

aaa

aab aba

37/64

baa

abb bab bba bbb

27/64

aaa

19/64

aab aba

18/64

baa

abb bab bba bbb

27/64

aaa

9/64

aab

aba

18/64

baa

abb bab

10/64

bba bbb

142

Βήµα 8:


aaa 1

aab 001

aba 010

abb 00000

baa 011

bab 00001

bba 00010

bbb 00011

Αν συγκρίνουµε τους τρεις κώδικες Huffman που βρήκαµε εδώ µε τους κώδικες 1,2

και 4 αντίστοιχα της άσκησης 5 θα διαπιστώσουµε ότι οι έχουν τα ίδια µήκη κωδικών

λέξεων. Έτσι οι αποδόσεις των τριών κωδίκων είναι

1.00 bit/σύµβολο,

0.84 bits/σύµβολο,

0.82 bits/σύµβολο.

αντίστοιχα. Η απόδοση λοιπόν βελτιώνεται συνεχώς.

1

aaa

aab aba baa

abb bab bba bbb

143


Άσκηση 5.1

Παρατηρούµε ότι οι κωδικές λέξεις διαφέρουν ανά δύο µεταξύ τους τουλάχιστον κατά

3 δυαδικά ψηφία. Έτσι

α) Αν γίνουν µέχρι 2 σφάλµατα σε µια κωδική λέξη µπορεί να γίνει ανίχνευση διότι η

λήψη αποκλείεται να είναι κάποια κωδική λέξη.

β) Αν γίνει µέχρι 1 σφάλµα µπορεί να γίνει διόρθωση διότι είναι φανερό ποια είναι η

πλησιέστερη κωδική λέξη. Για παράδειγµα αν σταλεί 000000, σε όποια θέση και να

συµβεί σφάλµα το αποτέλεσµα θα είναι πιο κοντά στην αρχική κωδική λέξη 000000,

οπότε θα γίνει διόρθωση.

Στα 2 σφάλµατα δεν γίνεται διόρθωση, διότι αν σταλεί για παράδειγµα η κωδική λέξη

000000 και ληφθεί 000011 (δύο σφάλµατα), το λογικό είναι η αποκωδικοποίηση της

λήψης να δώσει 000111 διότι αυτή είναι η πλησιέστερη κωδική λέξη. Έτσι δεν

διορθώνεται το αρχικό µήνυµα.

γ) Έχουµε N=4=22 κωδικές λέξεις, άρα k=2, ενώ το µήκος είναι n=6, άρα ο ρυθµός

λοιπόν του κώδικα είναι

3

1

6

2===

n

kR

δ) Αν παρατηρήσουµε τον κώδικα θα διαπιστώσουµε ότι η πραγµατική πληροφορία

καταλαµβάνει 2 ψηφία (πχ στην 1η και την 4η στήλη) ενώ η πλεονάζουσα πληροφορία

4 ψηφία (επαναλαµβάνεται ουσιαστικά και η 1η και η 4η στήλη άλλες δύο φορές)

Άσκηση 5.2

α) Στέλνεται το σύµβολο Α µε τον κώδικα 1, άρα Α=00. ∆είχνουµε στον παρακάτω

πίνακα όλες τις δυνατές λήψεις και τις αντίστοιχες αποκωδικοποιήσεις.


Τι φτάνει στην έξοδο (λήψη)

Πως αποκωδικοποιείται

0 00 00 (σωστά) 1 01 01 (λάθος)

10 10 (λάθος) 2 11 11 (λάθος)

Προφανώς δεν υπάρχει περιθώριο για καµία διόρθωση. Με το παραµικρό σφάλµα

λαµβάνουµε κάποια άλλη κωδική λέξη.

144

β) Το µήνυµα Α θα αποκωδικοποιηθεί σωστά µόνο στην πρώτη περίπτωση πιο πάνω

δηλαδή µόνο αν µεταδοθούν σωστά και τα δύο δυαδικά ψηφία. Άρα η πιθανότητα

ορθής µετάδοσης του µηνύµατος Α είναι (0.99)(0.99)=0.98, συνεπώς η πιθανότητα

σφάλµατος είναι 0.02=2%.

γ) Στέλνεται το σύµβολο Α µε τον κώδικα 2, άρα Α=000000. ∆είχνουµε στον

παρακάτω πίνακα όλες τις δυνατές λήψεις και τις αντίστοιχες αποκωδικοποιήσεις εάν

συµβούν µέχρι 2 σφάλµατα


Τι φτάνει στην έξοδο

(λήψη)

πλησιέστερη κωδική λέξη

(αποκωδικοποίηση) 0 000000 000000 (σωστά) 1

100000 010000 001000 000100 000010 000001

000000 (σωστά)

2

110000 101000 011000

111000 (λάθος)

000110 000101 000011

000111 (λάθος)

100100 100010 100001 010100 010010 010001 001100 001010 001001

000000 (σωστά)

δ) Εάν συµβούν 3 η περισσότερα σφάλµατα τότε η λήψη θα πλησιάζει περισσότερο σε

άλλη κωδική λέξη, οπότε η αποκωδικοποίηση αποκλείεται να δώσει 000000=Α. ∆εν

γίνεται διόρθωση λοιπόν.

ε) Γνωρίζουµε ότι η πιθανότητα σφάλµατος σε ένα ψηφίο είναι 01.0=q , οπότε η

πιθανότητα ορθής µετάδοσης του ψηφίου είναι 99.01 =− q . Άρα, αν σταλεί η κωδική

λέξη Α=000000 έχουµε

145

πιθανότητα για κανένα σφάλµα: 6)99.0(

πιθανότητα για ένα σφάλµα : )01.0()99.0( 5 ⋅

πιθανότητα για δύο σφάλµατα: 24 )01.0()99.0( ⋅

Από τις περιπτώσεις του πίνακα όπου έχουµε ορθή αποκωδικοποίηση προκύπτει ότι η

πιθανότητα ορθής µετάδοσης είναι

2456 )01.0()99.0(9)01.0()99.0(6)99.0( ⋅⋅+⋅⋅+=P =0.9994

συνεπώς η πιθανότητα σφάλµατος είναι 0.0006 = 0,06%.

στ) Αν σταλεί ένα µήνυµα 10,000 bits αναµένεται λάθος σε

10,000*2%=200 bits µε τον πρώτο κώδικα

10,000*0.06%=6 bits µε τον δεύτερο κώδικα.

Μπορεί λοιπόν να τριπλασιάσαµε το µήκος του κώδικα (άρα τριπλασιάσαµε και το

χρόνο µετάδοσης), αλλά κερδίσαµε πολύ περισσότερο σε αξιοπιστία!

Άσκηση 5.3

Όχι, δεν είναι κατάλληλος σε περιβάλλον µε θόρυβο διότι δεν είναι σε θέση να

διορθώσει ούτε ένα σφάλµα. Οι κωδικές λέξεις είναι πολύ «κοντά» µεταξύ τους και

δεν υπάρχει περιθώριο για διόρθωση. Για παράδειγµα, αν σταλεί το µήνυµα 000000

και συµβεί λάθος στο τελευταίο ψηφίο, τα λαµβανόµενο µήνυµα 000001 θα εκληφθεί

ως σωστό από το δέκτη (εφόσον υπάρχει τέτοια κωδική λέξη).

Προσθέτουµε ένα bit ελέγχου ισοτιµίας:

Τώρα έχουµε άρτιο αριθµό bits σε κάθε κωδική λέξη. Έτσι αν συµβεί ένα σφάλµα θα

λάβουµε στην έξοδο περιττό αριθµό από bits και θα ανιχνευτεί σφάλµα.

00010011

0 0 0 0 1 1 1 1

0 0 1 1 0 0 1 1

0 1 1 1 0 1 0 1

0 1 0 1 1 0 1 0

146

Άσκηση 5.4

Ο πίνακας Α έχει διαστάσεις 2x2. Άρα k=2 και n-k=2, οπότε n=4. ∆ηλαδή η

διάσταση του κώδικα είναι k=2 ενώ το µήκος του n=4. Ο ρυθµός είναι R=k/n=1/2.

Ας βρούµε τον κώδικα:

1ος τρόπος (µε πίνακα ελέγχου): Είναι

==

10

01

10

11)|( IAH

Άρα

O

x

x

x

x

H =

⋅

4

3

2

1

⇔

=+

=++

0

0

42

321

xx

xxx

Θεωρώντας όλους τους συνδυασµούς δυαδικών ψηφίων για τα x1,x2 µπορούµε

εύκολα να βρούµε τα x3,x4. Έχουµε λοιπόν τoν κώδικα:

x1 x2 x3 x4

0 0 0 0

0 1 1 1

1 0 1 0

1 1 0 1

2ος τρόπος (µε γεννήτρια):

Είναι G = [I | At ] =

10

01

11

01.

Άρα

[0 0] G = [0 0]

10

01

11

01= [0 0 0 0]

[0 1] G = [0 1]

10

01

11

01= [0 1 1 1]

[1 0] G = [1 0]

10

01

11

01= [1 0 1 0]

[1 1] G = [1 1]

10

01

11

01= [1 1 0 1]

147

Ο κώδικας είναι λοιπόν: 0000

0111

1010

1101

Η ελάχιστη απόσταση είναι ίση µε το ελάχιστο µη µηδενικό βάρος, άρα d=2

Εφόσον η ελάχιστη απόσταση είναι 2 µπορεί να ανιχνεύσει µέχρι και 1 σφάλµα. Γενικά

δεν διορθώνει ούτε 1 σφάλµα. (Υπάρχουν ωστόσο περιπτώσεις που διορθώνει ένα

σφάλµα. Π.χ. στην κωδική λέξη 0000 αν συµβεί λάθος στο τέταρτο bit, υπάρχει η

δυνατότητα διόρθωσης)

Άσκηση 5.5



Ας βρούµε τον κώδικα:

1ος τρόπος (µε πίνακα ελέγχου): Είναι

⇔=

100

010

001

10

01

11

5

4

3

2

1

O

x

x

x

x

x

H O

x

x

x

x

x

=

5

4

3

2

1

⇔

=+

=+

=++

0

0

0

52

41

321

xx

xx

xxx

Έχουµε λοιπόν τoν κώδικα:

x1 x2 x3 x4 x5

0 0 0 0 0

0 1 1 0 1

1 0 1 1 0

1 1 0 1 1

2ος τρόπος (µε γεννήτρια):

Η γεννήτρια του κώδικα είναι =G

101

011

10

01

οπότε οι κωδικές λέξεις είναι οι

148

[0 0] G = [0 0 0 0 0],

[0 1] G = [0 1 1 0 1],

[1 0] G = [1 0 1 1 0],

[1 1] G = [1 1 0 1 1]

H ελάχιστη απόσταση του κώδικα είναι d=3, άρα µπορεί να διορθώσει ένα σφάλµα.

Άσκηση 5.6

Πίνακας ελέγχου:

( ) )1|111(| == IAH ,

Γεννήτρια:

==

1100

1010

1001

)|( tAIG ,



Ας βρούµε τον κώδικα µε τον πίνακα ελέγχου ισοτιµίας:

O

x

x

x

x

H =

⋅

4

3

2

1

⇔ )1|111( O

x

x

x

x

=

⋅

4

3

2

1

04321 =+++⇔ xxxx

Το τελευταίο συµβαίνει όταν τον πλήθος των ix είναι άρτιο, ουσιαστικά δηλαδή το 4ο

ψηφίο είναι το γνωστό bit ελέγχου ισοτιµίας. Έτσι προκύπτει ο κώδικας

0 0 0 0 0 0 1 1 0 1 0 1 0 1 1 0 1 0 0 1 1 0 1 0 1 1 0 0 1 1 1 1

149

Άσκηση 5.7

Θα δείξουµε ότι ο επαναληπτικός κώδικας µήκους n προκύπτει από τον (n-1)x1

πίνακα

=

1

1

1

MA

Η διάσταση του γραµµικού κώδικα που προκύπτει από τον Α είναι k=1 ενώ το µήκος

είναι n. Έχουµε λοιπόν µόνο 22 =k κωδικές λέξεις. Ο πίνακας ελέγχου ισοτιµίας και η

γεννήτρια είναι αντίστοιχα

== )|( IAH

1000

0

010

001

1

1

1

OM

L

M και == )|( tAIG ]111|1[ L

Από την γεννήτρια προκύπτει

G⋅]0[ = ⋅]0[ ]111|1[ L = ]0000[ L

G⋅]1[ = ⋅]1[ ]111|1[ L = ]1111[ L

δηλαδή ο επαναληπτικός κώδικας µήκους n:

000 … 0

111 … 1

Άσκηση 5.8

Ο κώδικας Η(3) είναι block κώδικας µήκους 7, άρα ο αποκωδικοποιητής χωρίζει την

ακολουθία της λήψης σε 7άδες και ελέγχει κάθε 7άδα µε τον πίνακα ελέγχου:

1110100 1111111 1100100 0000000 1000101

Είναι

=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

0

0

1

0

1

1

1

H

0

0

1

0

1

1

1

=

1

0

1

Σφάλµα στη θέση 2)101( =5

150

=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

1

1

1

1

1

1

1

H

1

1

1

1

1

1

1

=

0

0

0

Σωστό

=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

0

0

1

0

0

1

1

H

0

0

1

0

0

1

1

=

0

1

1


=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

0

0

0

0

0

0

0

H

0

0

0

0

0

0

0

=

0

0

0

Σωστό

=

1

1

1

0

1

1

1

0

1

0

0

1

1

1

0

0

1

0

1

0

0

1

0

1

0

0

0

1

H

1

0

1

0

0

0

1

=

1

1

0


Έτσι το µήνυµα αποκωδικοποιείται ως (σηµειώνονται µε τετράγωνο οι διορθώσεις)

1110000 1111111 1100110 0000000 1010101

151

Άσκηση 5.9

Ο πίνακας ελέγχου ισοτιµίας του κώδικα Η(4) περιέχει ως στήλες όλες τις δυνατές

τετράδες δυαδικών ψηφίων πλην της µηδενικής:

=

101010101010101

110011001100110

111100001111000

111111110000000

H

Η διάσταση του κώδικα είναι 11415 =−=−= mnk , άρα περιέχει 204822 11 ==k

κωδικές λέξεις. ∆ιορθώνει ένα σφάλµα (σε κάθε 15άδα δυαδικών ψηφίων).

Για τα τρία µηνύµατα

x = 000000000000000

y = 000011100001110

z = 001001001001001

έχουµε

=⋅

0

0

0

0

txH , άρα το πρώτο µήνυµα είναι σωστό και αποκωδικοποιείται ως έχει.

=⋅

1

1

0

1

tyH , άρα το δεύτερο µήνυµα έχει σφάλµα στη θέση 11)1011( 2 = και

αποκωδικοποιείται ως: 000011100011110

=⋅

1

1

1

1

tzH , άρα το τρίτο µήνυµα έχει σφάλµα στη θέση 15)1111( 2 = και

αποκωδικοποιείται ως : 001001001001000

152

Άσκηση 5.10

Ο πίνακας ελέγχου ισοτιµίας σύµφωνα µε το παράδειγµα της σελίδα 87 είναι

==

1

1

1

1

1

1

1

1

1

1

1

1

100011101101

000111011011

001110110101

011101101001

111011010001

110110100011

101101000111

011010001111

110100011101

101000111011

010001110111

111111111110

]|[ IAH

Αν θέσουµε

x= 000000 000000 000000 000000

y = 111111 111111 111111 111111

z = 111000 000000 000000 000000

αρκεί να ελέγξουµε τα γινόµενα txH ⋅ ,

tyH ⋅ και tzH ⋅ .

Στο πρώτο γινόµενο προφανώς θα πάρουµε το µηδενικό διάνυσµα. Στο δεύτερο

γινόµενο ουσιαστικά προσθέτουµε όλα τα στοιχεία κάθε γραµµής του H (προσέξτε

ότι σε κάθε γραµµή του H έχουµε άρτιο αριθµό από 1, οπότε παίρνουµε παντού 0).

Στο τρίτο γινόµενο ουσιαστικά προσθέτουµε µόνο τα 3 πρώτα στοιχεία κάθε γραµµής:

OxH t =

=⋅

0

0

0

0

0

0

0

0

0

0

0

0

OyH t =

=⋅

0

0

0

0

0

0

0

0

0

0

0

0

OzH t ≠

=⋅

0

0

0

1

1

0

1

1

0

0

1

0

Άρα µόνο στο τρίτο pixel ο αποκωδικοποιητής ανιχνεύει σφάλµα. Επειδή µάλιστα ο

κώδικας έχει ελάχιστη απόσταση 8 και διορθώνει µέχρι 3 σφάλµατα, ο

αποκωδικοποιητής θα διορθώσει το τρίτο pixel στην πιο κοντινή κωδική λέξη που είναι

000000 000000 000000 000000

(παίρνουµε δηλαδή ξανά το πρώτο pixel).

153

ΒΙΒΛΙΟΓΡΑΦΙΑ

[1] ∆.Π. Χρυσουλίδη, “Εισαγωγή στη Θεωρία Πληροφοριών”, Πολυτεχνική Σχολή

ΑΠΘ, 1991

[2] F.J. MacWilliams and N.J.A. Sloane, “The theory of Error Correcting Codes”.

Amsterdam: North-Holland, 7th impression, 1992

[3] C. Nikolaidis, “Binary Linear Codes with 2-transitive Automorphism Group and

Minimum Weight 4”, Doctoral Thesis, University of Oxford, 1995.

[4] S. Roman, “Coding and Information Theory”, Springer-Verlag, 1992

[5] K.S. Shanmugam, “Ψηφιακά και Αναλογικά Συστήµατα Επικοινωνίας”,

Μετάφραση, Εκδόσεις Πνευµατικού, 1979

[6] H. Taub and D.L. Schilling, “Τηλεπικοινωνιακά Συστήµατα”, ∆εύτερη Έκδοση

(Μετάφραση), Εκδόσεις Τζιόλα

[7] J.H. van Lint, “Introduction to Coding Theory”, New York: Springer-Verlag,

1982

Χρήστου Νικολαΐδη - Christos Nikolaidis · 2017-07-22 · ινδιάνοι του...

Documents

Transcript of Χρήστου Νικολαΐδη - Christos Nikolaidis · 2017-07-22 · ινδιάνοι του...