ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ

1. Πληροφορια και Εντροπια

Ioannis E. Antoniou Mathematics Department

Aristotle University 54124,Thessaloniki,Greece

iantonio@math.auth.gr http://users.auth.gr/iantonio

Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

1 Πληροφορια και Εντροπια 1 Θερμοδυναμικη Εντροπια Clausius 2 Στατιστικη Φυσικη. Παρατηρηση Moριακης Καταστασης

Εντροπια Βοltzmann-Planck-Gibbs. 3 Παρατηρηση Γεγονοτων

Εντροπια ως Αναμενομενη Πληροφορια (Εκπληξη). 4 Εντροπια. Ορισμος Μοναδες 5 Ιδιοτητες Εντροπιας 6 Εφαρμογες Εντροπιας 7 Eντροπια Κατανομων Πιθανοτητας 8 H Eντροπια ως Στατιστικη Παραμετρος Διασπορας 9 Κατανομες Μεγιστης Εντροπιας

10 Εντροπια και Πιθανοτητα

1 Θερμοδυναμικη Εντροπια Clausius

Ορισμος

Θερμοδυναμικη Εντροπια Clausius 1860

H Eντροπια της Kαταστασης (κ) οριζεται από τoν τυπο:

𝓢 = 𝓢(𝜿) =𝑸𝟎,𝟏𝑻𝟏

+ 𝑸𝟏,𝟐𝑻𝟐

+⋯+𝑸𝒎−𝟏,𝒎𝑻𝒎

=∑𝑸𝝂−𝟏,𝝂𝑻𝝂

𝒎

𝝂=𝟏

για οποιαδηποτε Αναστρεψιμη Διαδικασια: κ0 →κ1 →κ2 →∙∙∙→κm−1 →κ ≡ κm

από την κατασταση Αναφορας κ0 προς στην κατασταση κ ≡ κm μεσω m βηματων με ενδιαμεσες καταστασεις: κ1 , κ2 , … , κm−1.

𝑸𝝀𝝂 η θερμότητα που εισερχεται στο σύστημα απο το περιβάλλον του, Κατά την μεταβολή 𝝀 → 𝝂 από την κατασταση λ στην κατασταση ν Υπο θερμοκρασία 𝜯𝝂 Συμβαση: 𝑸𝜿𝝀 > 𝟎 ⟺ Θερμοτητα εισρεει στο Συστημα

𝑸𝜿𝝀 < 𝟎 ⟺ Θερμοτητα εκρεει από το Συστημα 𝑸𝜿𝝀 = 𝟎 ⟺ Δεν μεταφερεται Θερμοτητα (Αδιαβατικη Διεργασια) Entropy is the Αverage Information necessary to reproduce the state-situation from some reference state (equilibrium)

ΕΜΠΕΙΡΙΚΗ Υποθεση:

1) Κάθε φυσικη κατασταση κ είναι προσβασιμη από την κατασταση αναφορας “0” μεσω τουλαχιστον μιας Αναστρεψιμης Διαδικασιας,

κατά την οποια

ανταλλασσεται μονο Θερμοτητα μεταξυ Συστηματος - Περιβαλλοντος

2) Οιεσδηποτε φυσικες καταστασεις κ,λ είναι προσβασιμες η μια από την αλλη μεσω τουλαχιστον μιας Αναστρεψιμης Διαδικασιας κατά την οποια

ανταλλασσεται μονο Θερμοτητα μεταξυ Συστηματος - Περιβαλλοντος

3) Για μια οποιαδηποτε Διαδικασια: κ → λ (Αναστρεψιμη ή Μη)

Η Εντροπια αυξανει (2η Αρχη Θερμοδυναμικης) :

𝜟𝓢 = 𝓢𝝀 – 𝓢𝝀 ≥ ∑𝐐𝛎,𝛎+𝟏

𝐓𝛎

𝐧−𝟏𝛎=𝟎 ≥ 0

ΑΝΑΦΟΡΕΣ

Pauli W. 1973, Thermodynamics and the Kinetic Theory of Gases, Vol. 3 of Pauli Lectures on Physics, MIT Press Massachusetts Kondepudi D., Prigogine I. 1998, Modern Thermodynamics: From Heat Engines to Dissipative Structures, Wiley, New York

ΣΧΟΛΙΟ Νοημα Εντροπιας Το νοημα της λεξης Εντροπια δοθηκε από τον ιδιο τον Clausius “I propose to name the quantity S the entropy of the system, after the Greek word «τροπη»

[Γερμανικα Verwandlung]. Τροπη σημαινει Αλλαγη, Μετασχηματισμος, Κατευθυνση

I have deliberately chosen the word entropy to be as similar as possible to the word energy: the two quantities to be named by these words are so closely related in physical significance that a certain similarity in their names appears to be appropriate.” Clausius, R. 1835, Über einige für anwendung bequeme formen der hauptgleichungen der mechanischen wärmetheorie. Annalen der Physik und Chemie 125, 353–401[p. 390]: Gallavotti G. 2014, Nonequilibrium and Irreversibility, Springer, Heidelberg, New York [p4]

Αξιωμα

Η 2η Αρχη της Θερμοδυναμικης μεσω της Εντροπιας

(1) Σε κάθε Αυθορμητη Διεργασια η Εντροπια Αυξανει: 𝛥𝒮 ≥ 0 (2) Η Αυθορμητη Διεργασια είναι Αναστρεψιμη Reversible ⟺ 𝛥𝒮 = 0 (3) Η Αυθορμητη Διεργασια δεν είναι Αναστρεψιμη Irreversible: ⟺ 𝛥𝒮 > 0

The two fundamental laws of the universe:

1. The energy of the universe is constant. 2. The entropy of the universe tends to a maximum. Clausius R. 1867, The Mechanical Theory of Heat with its Applications to the Steam Engine and to Physical Properties of Bodies, John van Voorst, London

2 Στατιστικη Φυσικη Παρατηρηση Moριακης Καταστασης Εντροπια Βοltzmann-Planck-Gibbs

Τι σημαινει η Εντροπια Clausius στο Μοριακο Επιπεδο? Πως ερμηνευεται η Αυξηση Εντροπιας στο Μελλον? Ορισμος Eντροπια Boltzmann της Παρατηρουμενης Μεταβλητης

𝓢𝐁𝐎𝐋𝐓𝐙𝐌𝐀𝐍𝐍 = kln𝒲 k=σταθερος αριθμος εξαρτωμενος απο την μοναδα μετρησης 𝒲 = Wahrscheinlichkeit = thermodynamic probability

ο αριθμος των δυνατων μοριακων καταστασεων που αντιστοιχουν- οδηγουν-είναι συμβατες με το αποτελεσμα της Παρατηρησης της Μεταβλητης ο αριθμος των Complexions

Aσκηση: {0.5}

Αποδειξτε τον Τυπο Βoltzmann από την Θερμοδυναμικη Εντροπια

The Entropy Formula was proposed by Boltzmann between 1872 to 1875.

Boltzmann L. 1898, Lectures on Gas Theory, Translation of Vorlesungen tiber Gastheorie , by S. G. Brush. Berkeley: Univ. of California Press, 1964.

Παρατηρηση Αεριου Πειραματικη Διαταξη Ω = o Δειγματοχωρος

το συνολο των δυνατων καταστασεων 𝝎 = (𝛉𝛆𝛔𝜼𝝄𝝆𝝁𝜼

) εκαστου μοριου του αεριου

ℬ τα Παρατηρησιμα Ενδεχομενα, Γεγονοτα τα Μετρησιμα Συνολα, οι παρατηρησιμες τιμες των καταστασεων πχ οι μετρησιμες τιμες ε1 , ε2 , ... , εn της Κινητικης Ενεργειας των μοριων οριζουν την διαμεριση ξ του Y στα κελλια Ξ1 , Ξ2 , ... , Ξn . Τα μορια με Κινητικη Ενεργεια εν ανηκουν στο κελλι Ξν , ν=1,2,…,n {Ξ1 , Ξ2 , ... , Ξn } αδρη περιγραφη (coarse grained description) {ω} λεπτομερης περιγραφη (fine grained description)

Αποτελεσμα Μετρησης η Θεωρητικης Εκτιμησης

Eπειδη συνηθως δεν ειναι γνωστη η μοριακη κατασταση y, Εκτιμουμε πιθανολογικα p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα Ξ1 , Ξ2 , ... , Ξn Η p προκυπτει απο Στατιστικη Εκτιμηση των Παρατηρησεων ειτε απο Θεωρητικη Υποθεση Hypothesis: Τhe molecules are independently distributed in the cells Ξ1 , Ξ2 , ... , Ξn , with corresponding probabilities p1 , p2 , ... , pn

Maxwell – Boltzmann Energy distribution:

pν = 𝒆− 𝜺𝝂𝒌𝑻

𝒁𝒏, ν=1,2,…,n

𝒁𝒏 = ∑ 𝒆− 𝜺𝝂𝒌𝑻𝒏

𝝂=𝟏 the normalization constant

(partition function)

Maxwell – Boltzmann Speed distribution:

p(υ) =𝟏

𝜶𝟑√𝟐

𝝅 𝝊𝟐𝒆

− 𝝊𝟐

𝟐𝜶𝟐

Aσκηση: {0.25+0.25 =0.5}

Αποδειξτε τις Κατανομες ΜΒ με τις απλες Παραδοχες της Κινητικης Θεωριας

Τhe Boltzmann Entropy of the Ideal Gas of m molecules. The Observation of the n values ε1 , ε2 , ... , εn of the Kinetic Energy of the m molecules gives: m1 molecules with Kinetic Energy ε1 m2 molecules with Kinetic Energy ε2 ... mn molecules with Kinetic Energy εn m1 , m2 , ... , mn are the numbers of molecules in the cells Ξ1 , Ξ2 , ... , Ξn m1 + m2 + ... + mn = m

𝓦[m1 , m2 , ... , mn] = 𝐦!

𝐦𝟏!𝐦𝟐!…𝐦𝐧!

Θεωρημα

𝓢(𝐦𝟏 ,𝐦𝟐 ,...,𝐦𝐧) ≅ m [−𝒌∑ 𝐩𝐚 𝐥𝐧 𝐩𝐚

𝐧𝐚=𝟏 ], Υποθεση: pa≅

𝐦𝐚

𝐦 and m large

Αποδ

𝓢 = kln[m1 , m2 , ... , mn] = kln(𝐦!

𝐦𝟏!𝐦𝟐!…𝐦𝐧!) =

= k [𝐥𝐧 (𝐦!) − ∑ 𝐥𝐧(𝐦𝐚!)

𝐧𝐚=𝟏 ] , Stirling Formula: lnx!≅xlnx-x, x large

Εrror estimation {EΡΓ 0.2} ≅ k [𝒎𝒍𝒏(𝒎) −𝒎− ∑ 𝐦𝐚𝐥𝐧(𝐦𝐚

𝐧𝐚=𝟏 ) + ∑ 𝐦𝐚

𝐧𝐚=𝟏 ]

= k [𝒎𝒍𝒏(𝒎) − ∑ 𝐦𝐚𝐥𝐧(𝐦𝐚)

𝐧𝐚=𝟏 ]

= k [𝒎𝒍𝒏(𝒎) − ∑ (𝐦𝐩𝐚) 𝐥𝐧(𝐦𝐩𝐚) 𝐧𝐚=𝟏 ] , pa≅

𝐦𝐚

𝐦 , m large

= k [𝒎𝒍𝒏𝒎− ∑ (𝐦𝐩𝐚) 𝐥𝐧(𝐩𝐚) − ∑ (𝐦𝐩𝐚) 𝐥𝐧 (𝐦)

𝐧𝐚=𝟏

𝐧𝐚=𝟏 ]

= m [−𝒌∑ 𝐩𝐚 𝐥𝐧 𝐩𝐚

𝐧𝐚=𝟏 ]

ΠΑΡΑΔΕΙΓΜΑ

𝓢(𝟖,𝟎) = −k8(1ln1+0ln0) = 0

𝓢(𝟔,𝟐)= −k8(𝟔

𝟖ln𝟔

𝟖+𝟐

𝟖ln𝟐

𝟖) =−8k(−0.216−0.347) = 8k 0.563

𝓢(𝟓,𝟑)= −k8(𝟓

𝟖ln𝟓

𝟖+𝟑

𝟖ln𝟑

𝟖) =−8k(−0.293−0.368) = 8k 0.661

𝓢(𝟒,𝟒) = −k8(𝟒

𝟖ln𝟒

𝟖+𝟒

𝟖ln𝟒

𝟖) = 8k 0.693

Υπολογιστε την Eντροπια Boltzmann για 4 καταστασεις αεριου 2Ν Μοριων 1) 2Ν μορια στο κελλι Ξ1 , 0 μορια στο κελλι Ξ2

2) 2Ν-λ μορια στο κελλι Ξ1 , λ μορια στο κελλι Ξ2

3) 2Ν-λ-1 μορια στο κελλι Ξ1 , λ+1 μορια στο κελλι Ξ2

4) Ν μορια στο κελλι Ξ1 , Ν μορια στο κελλι Ξ2

Τι διαπιστωνετε? Eργασια {𝟎. 𝟓}

Υπολογιστε την Eντροπια Boltzmann για 4 καταστασεις αεριου 2Ν λευκων Μοριων και 2Ν μαυρων Μοριων 1) 2Ν μαυρα μορια στο κελλι Ξ1 , 0 μαυρα μορια στο κελλι Ξ2

0 λευκα μορια στο κελλι Ξ1 , 2Ν λευκα μορια στο κελλι Ξ2

2) 2Ν-μ μαυρα μορια στο κελλι Ξ1 , μ μαυρα μορια στο κελλι Ξ2

λ λευκα μορια στο κελλι Ξ1 , 2Ν-λ λευκα μορια στο κελλι Ξ2

3) 2Ν-μ-1 μαυρα μορια στο κελλι Ξ1 , μ+1 μαυρα μορια στο κελλι Ξ2

λ+1 λευκα μορια στο κελλι Ξ1 , 2Ν-λ-1 λευκα μορια στο κελλι Ξ2

4) Ν μαυρα μορια στο κελλι Ξ1 , Ν μαυρα μορια στο κελλι Ξ2

Ν λευκα μορια στο κελλι Ξ1 , Ν λευκα μορια στο κελλι Ξ2

Τι διαπιστωνετε? Eργασια {𝟎. 𝟓}

Παραδειγμα: Ριψη 2 Ζαριων Δειγματοχωρος

𝜰 =

{

(𝟏, 𝟏), (𝟏, 𝟐), (𝟏, 𝟑), (𝟏, 𝟒), (𝟏, 𝟓), (𝟏, 𝟔)(𝟐, 𝟏), (𝟐, 𝟐), (𝟐, 𝟑), (𝟐, 𝟒), (𝟐, 𝟓), (𝟐, 𝟔)(𝟑, 𝟏), (𝟑, 𝟐), (𝟑, 𝟑), (𝟑, 𝟒), (𝟑, 𝟓), (𝟑, 𝟔)(𝟒, 𝟏), (𝟒, 𝟐), (𝟒, 𝟑), (𝟒, 𝟒), (𝟒, 𝟓), (𝟒, 𝟔)(𝟓, 𝟏), (𝟓, 𝟐), (𝟓, 𝟑), (𝟓, 𝟒), (𝟓, 𝟓), (𝟓, 𝟔)(𝟔, 𝟏), (𝟔, 𝟐), (𝟔, 𝟑), (𝟔, 𝟒), (𝟔, 𝟓), (𝟔, 𝟔)}

Kαταστασεις y= (κ,λ), κ,λ =1,2,3,… Μετρηση Sum RV

Observable Events Μετρησιμα Συνολα

Probability

2 Ξ2 ={ (1,1)} 1/36=3%

3 Ξ3 ={ (1,2), (2,1)} 2/36=6%

4 Ξ4 ={ (2,2), (1,3),(3,1)} 3/36=8%

5 Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4/36=11%

6 Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5/36=14%

7 Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6/36=17%

8 Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5/36=14% 9 Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4/36=11%

10 Ξ10 ={ (4,6), (5,5),(6,4)} 3/36=8%

11 Ξ11 ={ (5,6), (6,5)} 2/36=6%

12 Ξ12 ={ (6,6)} 1/36=3%

Eντροπια Boltzmann m ριψεων των 2 Ζαριων η Eντροπια παρατηρησης m Ισονομων και Ανεξαρτητων Tυχαιων Mεταβλητων Αποτελεσμα: m2 φορες το αθροισμα 2 m3 φορες το αθροισμα 3 … m12 φορες το αθροισμα 12 𝓢≅ m [−𝒌∑ 𝐩𝐚 𝐥𝐧 𝐩𝐚

𝟏𝟐𝐚=𝟐 ]

= 𝒎𝒌(−𝟐𝟏

𝟑𝟔𝒍𝒏

𝟏

𝟑𝟔− 𝟐

𝟐

𝟑𝟔𝒍𝒏

𝟐

𝟑𝟔− 𝟐

𝟑

𝟑𝟔𝒍𝒏

𝟑

𝟑𝟔− 𝟐

𝟒

𝟑𝟔𝒍𝒏

𝟒

𝟑𝟔− 𝟐

𝟓

𝟑𝟔𝒍𝒏

𝟓

𝟑𝟔−𝟔

𝟑𝟔𝒍𝒏

𝟔

𝟑𝟔)

= 𝒎𝒌 (𝟏

𝟏𝟖𝒍𝒏𝟑𝟔 +

𝟏

𝟗𝒍𝒏𝟏𝟖 +

𝟏

𝟔𝒍𝒏𝟏𝟐 +

𝟏

𝟖𝒍𝒏𝟗 +

𝟓

𝟏𝟖𝒍𝒏𝟑𝟔

𝟓+𝟏

𝟔𝒍𝒏𝟔)

= 𝒎𝒌 (𝟏

𝟏𝟖𝟑. 𝟓𝟖𝟑𝟓 +

𝟏

𝟗𝟐. 𝟖𝟗𝟎𝟒 +

𝟏

𝟔𝟐. 𝟒𝟖𝟒𝟗 +

𝟏

𝟖𝟐. 𝟏𝟗𝟕𝟐 +

𝟓

𝟏𝟖𝟏. 𝟗𝟕 +

𝟏

𝟔𝟏. 𝟕𝟗𝟏𝟖)

= 𝒎𝒌 (𝟎. 𝟏𝟗𝟗𝟎 + 𝟎. 𝟑𝟐𝟏𝟏 + 𝟎. 𝟒𝟏𝟒𝟏 + 𝟎. 𝟐𝟕𝟒𝟔 + 𝟎. 𝟓𝟒𝟕𝟐 + 𝟎. 𝟐𝟗𝟖𝟔)

𝓢 ≅ 𝒎𝒌 𝟐. 𝟎𝟓𝟒𝟔

Eντροπια Boltzmann ανα Μοριο

𝓢(𝒎𝟏,…,𝒎𝒏)𝑩𝑶𝑳𝑻𝒁𝑴𝑨𝑵𝑵

𝐦 ≅

𝐦 [−𝒌∑ 𝛒𝐚 𝐥𝐧 𝛒𝐚𝐧𝐚=𝟏 ]

𝐦 =−𝒌∑ 𝛒𝐚 𝐥𝐧 𝛒𝐚

𝐧𝐚=𝟏

Planck M. 1900, Verh. Deutsch. Phys. Ges., 2, 237

Planck M. 1930, Vorlesungen über Thermodynamik, De Gruyter Berlin, English Translation Dover 1945.

"the logarithmic connection between Entropy and Probability was first stated by L. Boltzmann in his kinetic theory of gases."

Gibbs Entropy is a generalization of Boltzmann Entropy

Eντροπια Gibbs 1878

𝓢𝑩𝑷𝑮[𝝆] = −𝒌∑ 𝝆𝒊 𝒍𝒏 𝝆𝒊𝒊 , for discrete microstates

𝓢𝑩𝑷𝑮[𝝆] = −𝒌∫𝑽 𝒅𝒚 𝝆(𝒚) 𝒍𝒏 𝝆(𝒚) , for continuous microstates

Gibbs J. 1902, Elementary Principles of Statistical Mechanics Yale Univ. Press; Dover Reprint, New York.

3 Παρατηρηση Γεγονοτων. Η Εντροπια ως Αναμενομενη Πληροφορια (Εκπληξη).

Ορισμος

Παρατηρηση Observation

1) Προετοιμασια (Preparation) Τι Παρατηρω? Πως Παρατηρω? Οργανο Παρατηρησης Ποιες οι Μετρησιμες Τιμες? Φασμα Μετρησεων 2) Πραξη Μετρησης (Measurement Operation) 3) Καταχωρηση (Registration) του Αποτελεσματος της Παρατηρησης στον Καταχωρητη (Register)

Ερωτηματα:

1 Ποια τα δυνατα Γεγονοτα? ⟺ Ποια τα δυνατα Μηνυματα? ⟺ Ποιες οι δυνατες Παρατηρησεις?

2 Πως οριζονται οι Πιθανοτητες των Γεγονοτων?

3 Ποια Κλάση Μεταβλητων Παρατηρουμε?

1 Ποια τα δυνατα Γεγονοτα?

⟺ Ποια τα δυνατα Μηνυματα? ⟺ Ποιες οι δυνατες Παρατηρησεις?

ΑΠΑΝΤΗΣΗ: Τα Μετρησιμα Συνολα Συγκροτουν την Λογικη 𝔖 των Γεγονοτων αποτελουν Αλγεβρα Βοοle

2 Πως οριζονται οι Πιθανοτητες των Γεγονοτων?

ΑΠΑΝΤΗΣΗ: Η κατανομη Πιθανοτητος ρ στα Γεγονοτα Εκτιμαται από Παρατηρησεις ειτε Οριζεται από Θεωρητικες Παραδοχες Ικανοποιει τα Αξιωματα Kolmogorov

3 Ποια Κλάση Μεταβλητων Παρατηρουμε?

ΑΠΑΝΤΗΣΗ: Οι Μετρησιμες Μεταβλητες Οριζουν Κοινη Διαμεριση Αποτελουν Γραμμικη Αλγεβρα

Ποια είναι τα Κριτηρια Επιλογης Θεωριας?

1) Μαθηματικη Θεμελιωση (Θεωρητικα Μαθηματικα) 2) Δυνατοτητα Προβλεψεων (Υπολογιστικα Μαθηματικα) 3) Επαληθευση Προβλεψεων (Παρατηρηση, Ελεγχος Υποθεσεων)

Ορισμος Χωρος Πιθανοτητος (Αξιωματα Kolmogorov 1933) Ω o Δειγματοχωρος, τα Δυνατα Αποτελεσματα (State Space) ℬ = ℬ[𝜴] μια σ-Αλγεβρα συλλογη υποσυνολων του Υ που αποτελουν τα Μετρησιμα Συνολα, Ενδεχομενα, Γεγονοτα (Events) ρ κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα p: ℬ ⟶ [0,1] : Ξ ⟼ p[Ξ] η Πιθανοτητα του Γεγονοτος Ξ 1) p[Ξ⋃Η] = p[Ξ]+ p[Η], αν Ξ∩Η=∅ 2) p[ ⋃ 𝛯𝑖𝑖 ] = ∑ p[𝛯ii ], αν Ξ𝑖∩Ξ𝑘=∅ Aξιωμα Κοlmogorov 3) Κανονικοποιηση: p[Y] = 1 p[∅] = 0

4) Δεσμευμενη Πιθανοτητα: P[Ξ|Η] = 𝑷[𝜩,𝜢]

𝑷[𝜢]

η Πιθανοτης του Ξ, δεδομενου ότι παρατηρηθηκε το Η 𝑃[𝛯, 𝛨] = 𝑃[𝛯 ∩ 𝛨] = 𝑃[𝐴 ∧ 𝐵] Η Κοινη Πιθανοτητα των Ξ και Η

ΣΧΟΛΙΟ: Παρατηρησιμες Μεταβλητες και Διαμερισεις An Experimental Set up consists of the Specification of the Class of Observable (Random) Variables} 𝑨𝝂 ∶ 𝜴 → ℝ, 𝝂 = 𝟏, 𝟐, . . . , 𝑵 The Random Variables 𝑨𝟏, 𝑨𝟐, … , 𝑨𝑵 define a common partition of Y 𝒚~𝒙 ⟺ 𝑨𝝂(𝒚) = 𝑨𝝂(𝒙) , for all 𝑨𝟏, 𝑨𝟐, … , 𝑨𝑵 ⟺ y,x are in the same cell Ξ of the partition associated with the ⟺ y,x cannot be distinguished by Observing 𝑨𝟏, 𝑨𝟐, … , 𝑨𝑵 ⟺ y,x are equivalent with respect to observing 𝑨𝟏, 𝑨𝟐, … , 𝑨𝑵 𝝎 = microstates 𝜩 = macrostates

A partition defines a coarse-grained description associated with the Observations available The idea of coarse-grained description of Mechanics goes back to Gibbs An experimental set up | preparation with finitely many outcomes σ1, σ2 ,..., σn is described by a finite partition {Ξ1, Ξ2 ,..., Ξn} = ξ of the sample space Ω. The possible outcomes are represented by the cells Ξ1, Ξ2 ,..., Ξn. «Tyche draws a point y from the sample space Y, according to the probability measure p, but she reveals to the experimenter only which cell (of ξ) contains the point y» [Billingsley P. 1965, Ergodic Theory and Information, Wiley, New York, p62] An Observation, Measurement, Trial determines which of the events Ξ1, Ξ2 ,..., Ξn occurs. We therefore call Ξ1, Ξ2 ,..., ΞΝ the possible results of the experiment [Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956, p6]

Οbservations are modelled by The Simple Functions on a Measurable Space Each Partition {Ξ1, Ξ2 ,..., ΞΝ} = ξ ≡ Yξ of Y is a specification of The elementary events associated with some observation The elementary cognitive units associated with learning The elementary causes associated with some causal dependence The elementary conditioning factors associated with some conditional dependence

Παραδειγμα: Ριψη 2 Ζαριων

Καταστασεις ω= (κ,λ), κ,λ =1,2,3,…

Δειγματοχωρος: Ω={ω|ω= (1,1), (1,2), (1,3), (1,4), (1,5), (1,6),

(2,1), (2,2), (2,3), (2,4), (2,5), (2,6), (3,1), (3,2), (3,3), (3,4), (3,5), (3,6), (4,1), (4,2), (4,3), (4,4), (4,5), (4,6),

(5,1), (5,2), (5,3), (5,4), (5,5), (5,6), (6,1), (6,2), (6,3), (6,4), (6,5), (6,6) }

Mεταβλητη: Α(ω) = το Αθροισμα των Ενδειξεων των 2 Ζαριων 𝜜(𝝎) =2∙𝟏𝜩𝟐(ω)+ 3∙𝟏𝜩𝟑(ω)+ 4∙𝟏𝜩𝟒(ω)+ 5∙𝟏𝜩𝟓(ω)+ 6∙𝟏𝜩𝟔(ω)+ 7∙𝟏𝜩𝟕(ω)+

+ 8∙𝟏𝜩𝟖(ω)+ 9∙𝟏𝜩𝟗(ω)+ 10∙𝟏𝜩𝟏𝟎(ω)+ 11∙𝟏𝜩𝟏𝟏(ω)+ 12∙𝟏𝜩𝟏𝟐(ω)

Ο Διαμερισμος της Μεταβλητης 𝜜: 𝝃𝜜 = { Ξ2 , Ξ3 , Ξ4 , Ξ5 , Ξ6 , Ξ7 , Ξ8 , Ξ9 , Ξ10 , Ξ11 , Ξ12 }

Cell Probability Ξ2 ={ (1,1)} 1

36

Ξ3 ={ (1,2), (2,1)} 2

36

Ξ4 ={ (2,2), (1,3), (3,1)} 3

36

Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4

36

Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5

36

Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6

36

Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5

36

Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4

36

Ξ10 ={ (4,6), (5,5),(6,4)} 3

36

Ξ11 ={ (5,6), (6,5)} 2

36

Ξ12 ={ (6,6)} 1

36

Mεταβλητη: Β(ω) = η απολυτη τιμη της Διαφορας των ενδειξεων των 2 Ζαριων Β(ω)=0∙𝟏𝜢𝟎(ω)+ 1∙𝟏𝜢𝟏(ω) )+ 2∙𝟏𝜢𝟐(ω) + 3∙𝟏𝜢𝟑(ω)+ 4∙𝟏𝜢𝟒(ω)+ 5∙𝟏𝜢𝟓(ω)

Ο Διαμερισμος της Μεταβλητης Β: 𝝃𝜝 { Η0 , Η1 , Η2 , Η3 , Η4 , Η5 } Cell Probability

Η0 ={ (1,1), (2,2),(3,3), (4,4), (5,5),(6,6)} 6

36

Η1 ={ (1,2), (2,3), (3,4), (4,5), (5,6), (6,5), (5,4), (4,3),(3,2), (2,1)} 10

36

Η2 ={ (1,3), (2,4), (3,5), (4,6), (6,4), (5,3),(4,2), (3,1)} 8

36

Η3 ={ (1,4), (2,5), (3,6), (6,3), (5,2),(4,1)} 6

36

Η4 ={ (1,5), (2,6), (6,2), (5,1)} 4

36

Η5 ={ (1,6), (6,1)} 2

36

Η κοινη ΤΜ (A,B) των Παραδειγματων στον Ορισμο της Εντροπιας οριζει την κοινη εκλεπτυνση ξ∨η των Διαμερισεων ξ,η: ξ∨η = {Ξκ ∩Ηλ |κ=2,3,...12 , λ=0,1,2,3,4,5} με 18 Κελλια λεπτοτερα των κελλιων των ξ, η Cell Probability Ξ2 ∩Η0 = Ξ2 ={ (1,1)} 1

32

Sum

41

32+ 14

2

32+ 0 = 1

Ξ4 ∩Η0 = Ξ4 ={ (2,2)} Ξ10 ∩ Η0 = { (5,5)} Ξ12 ∩ Η0 = Ξ12 ={ (6,6)} Ξ3 ∩Η1 = Ξ3 ={ (1,2), (2,1)}

2

32

Ξ5 ∩Η1 = {(2,3),(3,2)} Ξ5 ∩ Η3 = { (1,4), (4,1)} Ξ6 ∩ Η2 ={(2,4), (4,2)} Ξ6 ∩ Η4 = {(1,5), (5,1)} Ξ7 ∩ Η1 = {(3,4), (4,3)} Ξ7 ∩ Η3 = {(2,5), (5,2)} Ξ7 ∩ Η5 ={ (1,6), (6,1)} Ξ8 ∩ Η2 = { (3,5), (5,3)} Ξ8 ∩ Η4 = {(2,6), (6,2)} Ξ9 ∩ Η1 = {(4,5), (5,4)} Ξ9 ∩ Η3 = { (3,6), (6,3)} Ξ10 ∩ Η2 = { (4,6), (6,4)} Ξ11 ∩ Η1 = Ξ11 ={ (5,6), (6,5)} All other Intersections ∅ 0

18 Κελλια λεπτοτερα των κελλιων των ξ,η

Παραδοχες-Απαιτησεις για την Πληροφορια Γεγονοτων H Πληροφορια 𝒾 = 𝓲[𝜩] του Γεγονοτος 𝜩, 𝜩 ∈ 𝕾 μετρησιμο συνολο Γεγονοτων ειναι εκτιμηση της Αβεβαιοτητας που αιρεται μετα την Παρατηρηση του 𝜩

H Πληροφορια 𝒾 = 𝓲[𝜩] εξαρταται απο τον αριθμο των δυνατων περιπτωσεων-αποτελεσματων της παρατηρησης του Γεγονοτος Ξ Η Πληροφορια είναι πραγματικη συνολοσυναρτηση των Γεγονοτων: 𝓲: 𝔖 ⟶ℝ: 𝜩 ⟼ 𝓲[𝜩] με ιδιοτητες:

(1) 𝓲[𝜩] = 𝓲[𝜢], εαν 𝒑[𝜩] = 𝒑[𝜢] , για καθε Ξ, Η ∈ ℬ

(2) 𝓲[𝜩] > 𝓲[𝜢], εαν 𝒑[𝜩] < 𝒑[𝜢] , για καθε Ξ, Η ∈ ℬ

(3) 𝓲[𝜩] = 𝟎, αν 𝒑[𝜩] = 𝟏, για καθε 𝜩 ∈ 𝓑 (4) 𝓲[𝜩] ≥ 𝟎 , για καθε 𝜩 ∈ 𝕾[𝜴] (5) 𝓲[𝜨] = +∞ , εαν 𝒑[𝜨] = 𝟎 , 𝜨 ∈ 𝓑 [𝒀] αρα η συνολοσυναρτηση 𝓲[𝜩] δεν δυναται να είναι measure

(αν ηταν measure: 𝓲[𝜨] = 𝟎 , εαν 𝒑[𝜨] = 𝟎)

(6) 𝓲(𝜩𝝂) ⟶ 𝓲(𝜩), αν 𝝆[𝜩𝝂] ⟶ 𝝆[𝜩] Αλλως, η Πληροφορια του Ξ θα εξαρταται από τον τροπο προσεγγισης του Ξ (7) 𝓲[𝜩 ∩ 𝑯] = 𝓲[𝜩] + 𝓲[𝜢] , αν 𝜩,𝜢 Ανεξαρτητα Γεγονοτα: 𝒑[𝜩 ∩ 𝑯] = 𝒑[𝜩] 𝒑[𝜢]

Λημμα Οι (4), (5) προκυπτουν από τις (2), (3)

Αποδειξη (4) 𝒾[Ξ] ≥ 𝒾[Ω]=0 , για καθε Ξ ∈ ℬ από την (2),(3) (5) εαν p[Ν] = 0 , Ν ∈ ℬ, τοτε 𝒾[Ν] ≥ 𝒾[Ξ], για καθε Ξ ∈ 𝔖[Y] με p[Ξ] > 0, από την (2),(3)

Ποια συναρτηση της Πιθανοτητας ικανοποιεί τις 5 Εμπειρικες Απαιτησεις?

Θεωρημα Για συνεχεις συναρτησεις 𝒾[𝜌] η Λυση της Συναρτησιακης Εξισωσης Cauchy είναι η Λογαριθμικη Συναρτηση:

𝒾[𝜌] = −𝑘𝑙𝑜𝑔𝑏𝜌 = 𝑘𝑙𝑜𝑔𝑏 (1

𝜌) , 𝑏 > 0, 𝑏 ≠ 1

k πραγματικος αριθμος 𝒾(𝜌𝜋) = 𝒾(𝜌) + 𝒾(𝜋) Η (Λογαριθμικη) Συναρτησιακη Εξισωση Cauchy Αποδ. Ασκηση 0.1

H παραμετρος k και η βαση b οριζονται από το Συστημα Μοναδων

Η εκφραση: 𝒾[𝜩] = −𝒍𝒐𝒈𝟐𝒑[𝜩] εμφανιζεται στο κλασσικο βιβλιο του Wiener: Wiener N. 1948, Cybernetics: Or Control and Communication in the Animal and the Machine. Paris, (Hermann & Cie) & Camb. Mass. (MIT Press)

Ορισμος Πληροφορια Hartley

𝓲𝑯𝑨𝑹𝑻𝑳𝑬𝒀[𝜩] = −𝑙𝑜𝑔2𝒑[𝜩] = 𝑙𝑜𝑔2𝒎 Η Πληροφορια Γεγονοτος που λαμβανεται-επιλεγεται

από m ισοπιθανα Γεγονοτα: 𝒑[𝜩] =𝟏

𝒎

Για m=2 (δυαδικη επιλογη): 𝓲𝑯𝑨𝑹𝑻𝑳𝑬𝒀[𝜩] = 𝑙𝑜𝑔22 = 1 bit

Hartley R. 1928, Transmission of Information, Bell Systems Technical Journal, 7, 535-563

Ιδιοτητες Πληροφοριας Hartley

1) 𝒾(m) ≤ 𝒾(n) , if m<n , monotonicity 2) 𝒾(mn) = 𝒾(m) + 𝒾(n) 3) 𝒾(2) = 1

Αποδειξη Αμεση από τις Ιδιοτητες του Λογαριθμου

Θεωρημα

Οι ανωτερω Ιδιοτητες 1),2),3) καθοριζουν μονοσημαντως την Πληροφορια Hartley

Αποδειξη Ασκηση {0.5}

Ορισμος Εντροπια της Τυχαιας Mεταβλητης Ζ

Η Αναμενομενη (Μεση) Πληροφορια απο την Παρατηρηση της Mεταβλητης Ζ Εστω {z1, z2,…, zn} το φασμα τιμων της Mεταβλητης Ζ 𝑛 = το πληθος των διαφορετικων τιμων της Ζ, δηλαδη το πληθος των διαφορετικων γεγονοτων που παρατηρω δια της Z Ξ1 το Γεγονος Z= z1 με πιθανοτητα ρ[Ξ1] = ρ1

Ξ2 το Γεγονος Z= z2 με πιθανοτητα ρ[Ξ2] = ρ2 … Ξn το Γεγονος Z= zn με πιθανοτητα ρ[Ξn] = ρn

𝜉 = 𝜉𝑍 = {Ξν, ν=1,2,…,n}, nℕ η Διαμεριση που οριζει η Mεταβλητη Z

𝑍(𝜔) =∑𝑧𝑖1𝛯𝑖(𝜔)

Ν

𝑖=1

Καθε κελι Ξi, i=1,2,…,n , αντιστοιχει στο συμβολο zi, i=1,2,…,n

b-Εντροπια της Μεταβλητης Z με Κατανομη 𝜌 = {𝜌𝑖}: 𝒮 = −∑ 𝜌𝑖𝑙𝑜𝑔𝑏𝜌𝑖𝑖

4 Εντροπια Ορισμος Μοναδες

Ορισμος Εντροπια με βαση d

Εντροπια με βαση d της Διακριτης Kατανομης ρ με n τιμες {𝜌𝑖 , 𝑖 = 1,2, … , 𝑛}

𝒮𝑑[𝜌] = −𝑘∑𝜌𝑖𝑙𝑜𝑔𝑑𝜌𝑖

𝑛

𝑖=1

Εντροπια με βαση d της Μεταβλητης Ζ με Φασμα n Τιμων 𝑧1, 𝑧2, … , 𝑧𝑛

𝒮𝛧𝑑 = 𝒮𝑑[𝜌𝛧] = −𝑘 ∑ 𝜌

𝑖𝑍𝑙𝑜𝑔𝑑𝜌𝑖

𝑍

𝑛(𝑍)

𝑖=1

𝜌𝛧 η Κατανομη Πιθανοτητος της Μεταβλητης Z

𝜌𝑖𝑍 = 𝜌[𝑍 = 𝑧𝑖], 𝑖 = 1,2, … , 𝑛(𝑍)

Εντροπια με βαση d της Διακριτης Διαμερισης n Κελλιων 𝜉 = {𝛯𝑖 , 𝑖 = 1,2, … , 𝑛}

𝒮𝜉𝑑 = 𝒮𝑑[𝜌𝜉] = −𝑘∑ 𝜌

𝑖𝜉𝑙𝑜𝑔𝑑𝜌𝑖

𝜉

𝑛

𝑖=1

οπου: 𝜌𝑖𝜉 η Κατανομη Πιθανοτητος στα Κελλια της Διαμερισης ξ

𝜌𝑖𝜉= 𝜌[𝛯𝑖] οι πιθανοτητες των κελλιων 𝛯𝑖 , 𝑖 = 1,2, … , 𝑛 𝑖 = 1,2, … , 𝑛(𝜉)

Ορισμος Εντροπια με βαση d της Διακριτης Kατανομης Πιθανοτητας 𝜌 = {𝜌1, 𝜌2, … }

𝑑 −Εντροπια 𝒅 = 𝟐, 𝟑, …

𝒮𝑑[𝜌] = −∑𝜌𝑖𝑙𝑜𝑔𝑏𝜌𝑖𝑖

Εντροπια (Shannon)

𝒅 = 𝟐

𝓢[𝝆] = 𝓢𝑺𝜢𝜜𝜨𝜨𝜪𝜨[𝝆] = −∑ 𝝆𝒊𝒍𝒐𝒈𝟐𝝆𝒊𝒊

Εντροπια BPG Boltzmann Planck Gibbs

𝒅 = 𝒆

𝓢𝑩𝑷𝑮[𝝆] = −𝒌𝑩∑𝝆𝒊𝒍𝒏𝝆𝒊𝒊

𝓢𝐁𝐏𝐆[𝝆] = −𝒌𝑩∫ 𝒅𝒛 𝝆(𝒛) 𝒍𝒏𝝆(𝒛)

𝑘𝐵 =𝑅

𝑁𝐴𝑉𝑂𝐺𝐴𝐷𝑅𝑂≃ 1.38 × 10−23

𝐽𝑜𝑢𝑙𝑒

𝐾𝑒𝑙𝑣𝑖𝑛 the Boltzmann constant

𝑅 ≃ 8.3144621 𝐽𝑜𝑢𝑙𝑒

𝐾𝑒𝑙𝑣𝑖𝑛∙𝑚𝑜𝑙 the Gas constant

𝑁𝐴𝑉𝑂𝐺𝐴𝐷𝑅𝑂 ≃ 6.022140857 × 10−23 1

𝑚𝑜𝑙 the Avogadro constant

Ορισμος Εντροπια με βαση d της Απολυτως Συνεχους Kατανομης Πιθανοτητας 𝜌 = {𝜌(𝑧)} Εντροπια Boltzmann, Planck, Gibbs (BPG)

𝓢𝒅[𝜌] = −𝑘∫ 𝑑𝑧 𝜌(𝑧) 𝑙𝑜𝑔𝑑𝜌(𝑧) Για d=e προκυπτει η Εντροπια Boltzmann, Planck, Gibbs (BPG):

𝓢𝐁𝐏𝐆[𝝆] = 𝓢𝒆[𝜌] = −𝒌𝑩∫ 𝒅𝒛 𝝆(𝒛) 𝒍𝒏𝝆(𝒛)

𝑘𝐵 =𝑅

𝑁𝐴𝑉𝑂𝐺𝐴𝐷𝑅𝑂≃ 1.38 × 10−23

𝐽𝑜𝑢𝑙𝑒

𝐾𝑒𝑙𝑣𝑖𝑛 the Boltzmann constant

𝑅 ≃ 8.3144621 𝐽𝑜𝑢𝑙𝑒

𝐾𝑒𝑙𝑣𝑖𝑛∙𝑚𝑜𝑙 the Gas constant

𝑁𝐴𝑉𝑂𝐺𝐴𝐷𝑅𝑂 ≃ 6.022140857 × 1023 1

𝑚𝑜𝑙 the Avogadro constant

Θεωρημα Η Εντροπια γενικευεται για απειρες (Μετρησιμες) διαμερισεις

Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52 Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore

ΣΧΟΛΙΟ

Σχεση d-Εντροπιας και Εντροπιας Shannon: 𝒮𝑑[𝜌] =𝒮[𝜌]

𝑙𝑜𝑔2𝑏=

𝒮𝑆𝐻𝐴𝑁𝑁𝑂𝑁[𝜌]

𝑙𝑜𝑔2𝑑

𝒮𝑑[𝜌] = −∑𝜌𝑖𝑙𝑜𝑔𝑑𝜌𝑖𝑖

= −∑𝜌𝑖 (1

𝑙𝑜𝑔2𝑑∙ 𝑙𝑜𝑔2𝜌𝑖)

𝑖

=1

𝑙𝑜𝑔2𝑑(−∑𝜌𝑖𝑙𝑜𝑔2𝜌𝑖

𝑖

)

Change logarithm basis Formula: log𝑑x =log2x

log2d

ΛΗΜΜΑ: Computation of Dyadic logarithms

𝐥𝐨𝐠𝟐𝐱 = 𝐥𝐨𝐠𝟏𝟎𝐱

𝐥𝐨𝐠𝟏𝟎𝟐 = 𝒍𝝄𝒈𝒙

𝒍𝝄𝒈𝟐 =

𝒍𝝄𝒈𝒙

𝟎.𝟑𝟎𝟏𝟎𝟐𝟗𝟗𝟓

𝐥𝐨𝐠𝟐𝐱 = 𝐥𝐨𝐠𝒆𝐱

𝐥𝐨𝐠𝒆𝟐 = 𝒍𝒏𝒙

𝒍𝒏𝟐 =

𝒍𝒏𝒙

𝟎.𝟔𝟗𝟑𝟏𝟒𝟕𝟏𝟖

ΛΗΜΜΑ: Change logarithm basis Formula

𝐥𝐨𝐠𝛃𝐱 = 𝐥𝐨𝐠𝜶𝐱

𝐥𝐨𝐠𝜶𝛃 , x, α, β > 0 , α≠1, β ≠1

ΣΧΟΛΙΟ Η Πιθανοτητα ρ προκυπτει απο Παρατηρηση και Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση, Μοντελο

�̃� η Εμπειρικη Πιθανοτητα Από το Δειγμα

�̃� = −∑ �̃�𝑖𝑙𝑜𝑔2�̃�𝑖𝑖 η Εμπειρικη Εντροπια

�̂� η Εκτιμωμενη Πιθανοτητα �̂� = −∑ �̂�𝑖𝑙𝑜𝑔2�̂�𝑖𝑖 η Εκτιμωμενη Εντροπια

𝛒 η Θεωρητικη Πιθανοτητα 𝒮 = −∑ 𝜌𝑖𝑙𝑜𝑔2𝜌𝑖𝑖 η Θεωρητικη Εντροπια

J. Beirlant, E. J. Dudewicz, L. Gyorfi, and E. C. van der Meulen (1997) Nonparametric entropy estimation: An overview. In International Journal of Mathematical and Statistical Sciences, Volume 6, pp. 17– 39. T. Schürmann, Bias analysis in entropy estimation. In J. Phys. A: Math. Gen, 37 (2004), pp. L295–L301. doi:10.1088/0305-4470/37/27/L02

ΣΧΟΛΙΟ Πως οριζονται η παραμετρος k η βαση d της Λογαριθμικης Συναρτησης από το Συστημα Μοναδων? Οριζοντας την Μοναδα μετρησης της Πληροφοριας:

𝟏 = 𝓲(𝝆) = 𝒌𝒍𝒐𝒈𝒅 (𝟏

𝝆) ⟺ 𝒅

𝟏

𝒌 =𝟏

𝝆 ⟺ 𝒅 =

𝟏

𝝆𝒌

Η απλουστερη περιπτωση: Δυαδικη Πληροφορια

η Πληροφορια για 2 ισοπιθανα Γεγονοτα: 𝝆 =𝟏

𝟐, 𝒌 = 𝟏, 𝒃 = 𝟐

ΣΧΟΛΙΟ

Moναδες Μετρησης Πληροφοριας

b Πληροφορια Μοναδα Μετρησης Σχεση 2 Δυαδικη (Shannon) bit (binary digit) 3 Τριαδικη trit (trinary digit) 1 trit= 𝒍𝒐𝒈𝟐𝟑≃ 𝟏. 𝟓𝟖𝟓 𝒃𝒊𝒕𝒔

4 Τετραδικη πχ {A,G,C,T} DNA Letters

e Gibbs nat (natural logarithm) 1 nat= 𝒍𝒐𝒈𝟐𝒆≃ 𝟏. 𝟒𝟒𝟑 𝒃𝒊𝒕𝒔

10 Δεκαδικη ban = Hartley 1 ban= 𝒍𝒐𝒈𝟐𝟏𝟎≃ 𝟑. 𝟑𝟑𝟐 𝒃𝒊𝒕𝒔

1Byte=1B=23 bits=8bits 1KB=210 B=1024B=8142 bits 1MB=210 KB=1024KB=1048576B=8337408 bits 1GB=210 MB=1024MB=1048576KB=1073741824B ≅ 1.1x109B ≅ 8.8 x109bits

1TB=210 GB=1024GB=1048576MB=1073741824KB ≅ 1.1x1012B ≅ 8.8 x1012bits

ΣΧΟΛΙΟ 8 Κριτηρια βελτιστης Επιλογης της βασης d του Λογαριθμου 1) Υπολογιστικη Ευκολια Επεξεργαστων Δυαδικη Κωδικοποιηση d=2 2) Οικονομια Αναπαραστασης Πραγματικων Αριθμων

𝑬𝑪𝑶𝑵(𝒅, 𝒙) = 𝒅⌊𝒍𝒐𝒈𝒅(𝒙) + 𝟏⌋

⌊𝒙⌋ το (κατω) ακεραιο μερος του x (the floor function)

the cost of storing or processing the number x in base d Assumption: the cost of each "digit" is proportional to d. A base with a lower average radix economy is therefore, in some senses, more efficient than a base with a higher average radix economy. Μεγιστη Οικονομια: d=3 Ελαχιστη Οικονομια: d=e Οι βασεις d=2, d=4 είναι οι πιο Οικονομικες μετα την βαση d=3. d=3: (−𝟏, 𝟎, 𝟏) 3-αδικος Υπολογιστης (Ternary Computer) Ασκηση {1}

https://en.wikipedia.org/wiki/Radix_economy

ΣΧΟΛΙΟ 9 Information Amounts 1 Text Character 1 Byte = 8 bits

TV Image 1.4 x 106 bits (576 lines , 720 columns) = 414720 px and 10 luminosity scales

1 chromosome DΝΑ as 4 Symbol Message

100000bits = 2 x 105 bits

Information in Bacteria Memory Cells, E. Coli (2011)

900000 GB

Cells in the Human Body > 1014

Brain Neurons ~1011

Brain Synaptic Links ~1015

Brain Memory 2.5 PetaBytes = 1048576 GB ≈ 8.8 x 1018 bits

~ 300 years of TV and Audio recording ! Cyberspace 2007: 281 billion GB=281x109GB≅2.5x1021bits

Cyberspace 2016: ~1023 bits

Cyberspace Indexed Google 0.004%

1018 bits 2007 1.4 x 1018 bits 2012

Atoms in 12gr C 6,022 x 1023

Universe 10100 bits

Chess 1043 bits

GO 10200 bits ?

Eternity II 10550 bits

Borges Βabel Library 2.6 x101834103 Bytes

4 Ιδιοτητες Εντροπιας

Ιδιοτης (1) Η Εντροπια ως συναρτησιακο της Kατανομης Πιθανοτητος (𝛒𝟏 , . . . , 𝛒𝐧) 1) 𝒮(ρ1 , . . . , ρn) είναι Συνεχης συναρτηση. Δηλαδη μικρες μεταβολες της ρ επαγουν μικρες μεταβολες στην Εντροπια

2) Ισοδυναμες Κατανομες εχουν την αυτή Εντροπια: 𝒮(ρ1 , . . . , ρn) = 𝒮(ρ1 , . . . , ρn, ρ0), οπου ρ0 = 0

3) Η Εντροπια είναι Αναλλοιωτη ως προς μεταθεσεις των ρ1 , . . . , ρn (Permutation Invariant Functional) Δηλαδη η Εντροπια δεν εξαρταται από την αριθμιση των κελιων της Διαμερισης 𝒮(ρ1 , . . . , ρn) = 𝒮(𝜌𝜎(1) , . . . , 𝜌𝜎(𝑛)) , για καθε μεταθεση σ των 1,...,n Οπου: 𝒮: 𝒫𝐹 ⟶[0,+∞) : (𝜌1 , . . . , 𝜌𝑛) ⟼ 𝒮(𝜌1 , . . . , 𝜌𝑛) = −∑ 𝜌𝜈log2𝜌𝜈

𝑛ν=1 , n=1,2,…

𝒫𝐹 = ⋃ 𝒫𝑛n≥1 → [0,+∞) η Γραμμικη Αλγεβρα των Πεπερασμενων Κατανομων Πιθανοτητος (𝜌1 , . . . , 𝜌𝑛), n=1,2,…

𝒫𝑛 = η κλαση των κατανομων πιθανοτητος (𝜌1 , . . . , 𝜌𝑛) στο Συνολο {1,2,...,n}

𝒫≤𝑛 = ⋃ 𝒫𝜈𝜈≤𝑛 = η κλαση των κατανομων πιθανοτητος στα Συνολα {1,2,...,ν}, 𝜈 ≤ 𝑛 ΣΧΟΛΙΟ Η Εντροπια δεν εξαρταται από τις τιμες της Μεταβλητης, Η Εντροπια εξαρταται από την Διαμεριση και την Πιθανοτητα

Αποδειξη της (1) Η Εντροπια είναι αθροισμα συνεχων συναρτησεων Αποδειξη της 2) Τα Γεγονοτα Μηδενικης Πιθανοτητος δεν συμβαλλουν στο αθροισμα Αποδειξη της 3) Οι ΤΜ 𝜜 = 𝜶𝟏 𝟏𝜩𝟏 +⋯+ 𝜶𝒏 𝟏𝜩𝒏 και 𝜝 = 𝜶𝝈(𝟏) 𝟏𝜩𝟏 +⋯+ 𝜶𝝈(𝒏) 𝟏𝜩𝒏

Εχουν την αυτή Εντροπια

Ιδιοτης (2)

H Εντροπια είναι Γνησίως Κοιλη (Concave) Θετικη Συναρτηση

1) H Εντροπια 𝒮 = −∑ 𝑝𝑖𝑙𝑜𝑔2𝑝𝑖𝑛𝑖=1 είναι:

Αθροισμα ορων της Γνησίως Κοιλης (Concave) Θετικης Συναρτησης 𝓈(𝑥) =−𝑥log2𝑥:

𝒮:𝒫𝑛 → [0,∞): (𝜌1 , . . . , 𝜌𝑛) ⟼ 𝒮(𝜌1 , . . . , 𝜌𝑛) = −∑ 𝜌𝜈log2𝜌𝜈𝑛ν=1 = ∑ 𝓈(𝜌𝜈)

𝑛ν=1

2) H Εντροπια 𝒮 = −∑ 𝑝𝑖𝑙𝑜𝑔2𝑝𝑖

𝑛𝑖=1 είναι Γνησίως Κοιλο (Concave)

Συναρτησιακο της κατανομης ρ:

𝒮(𝜁𝑝 + (1 − 𝜁)𝑞) ≥ 𝜁𝒮(𝑝) + (1 − 𝜁)𝒮(𝑞), 0 ≤ 𝜁 ≤ 1

ΣΧΟΛΙΟ 1) Η Κοιλοτης της Εντροπιας εκφραζει ότι η Εντροπια του Μιγματος δυο Κατανομων είναι μεγαλυτερη από το Μιγμα των Εντροπιων εκαστου Συστηματος

2) Η Κοιλοτης ειναι θεμελιωδης Ιδιοτης της Θερμοδυναμικης Εντροπιας Lieb Ε., Yngvason J. 1999, The physics and mathematics of the second law of thermodynamics, Phys. Rep. 310, 1-96

Αποδειξη

𝓢(𝜻𝒑 + (𝟏 − 𝜻)𝒒) =∑𝓼(𝜻𝝆𝝂 + (𝟏 − 𝜻)𝒒𝝂)

𝒏

𝛎=𝟏

≥∑(𝜻𝓼(𝝆𝝂) + (𝟏 − 𝜻)𝓼(𝒒𝝂))

𝒏

𝛎=𝟏

=

= 𝜻∑𝓼(𝝆𝝂)

𝒏

𝛎=𝟏

+ (𝟏 − 𝜻)∑𝓼(𝒒𝝂)

𝒏

𝛎=𝟏

= 𝜻𝓢(𝒑) + (𝟏 − 𝜻)𝓢(𝒒)

Κοιλες Συναρτησεις

Κυρτη (Convex) Πραγματικη Συναρτηση Κοιλη (Concave) Πραγματικη Συναρτηση φ: [α,β]→ℝ

⟺ η περιοχη ανω του Γραφηματος της φ είναι κυρτη

⟺ για κάθε σημεια y1 and y2 στο [α,β], y1 ≠ y2

Και για καθε ζ στο [0,1]:

𝜑(𝜁𝑦1 + (1 − 𝜁)𝑦2) ≤ 𝜁𝜑(𝑦1) + (1 − 𝜁)𝜑(𝑦2)

Δηλαδη η χορδη με ακρα (y1,φ(y1)) και (y2,φ(y2)) κειται ανω του Γραφηματος της φ

⟺ φ(2) ≥ 0 , αν η φ είναι 2-Διαφορισιμη

φ: [α,β]→ℝ ⟺ η περιοχη κατω του Γραφηματος της φ είναι κoιλη

⟺ για κάθε σημεια y1 and y2 στο [α,β], y1 ≠ y2

Και για καθε p στο [0,1]:

𝜑(𝜁𝑦1 + (1 − 𝜁)𝑦2) ≥ 𝜁𝜑(𝑦1) + (1 − 𝜁)𝜑(𝑦2)

Δηλαδη η χορδη με ακρα (y1,φ(y1)) και

(y2,φ(y2)) κειται κατω του Γραφηματος της φ

⟺ −φ : [α,β]→ℝ Κυρτη

⟺ φ(2) ≤ 0 , αν η φ είναι 2-Διαφορισιμη

Γνησιως Κυρτη 𝜑(𝜁𝑦1 + (1 − 𝜁)𝑦2) < 𝜁𝜑(𝑦1) + (1 − 𝜁)𝜑(𝑦2)

Γνησιως Κοιλη

𝜑(𝜁𝑦1 + (1 − 𝜁)𝑦2) > 𝜁𝜑(𝑦1) + (1 − 𝜁)𝜑(𝑦2)

ΛΗΜΜΑ

Ο τυπος −𝒙𝒍𝒏𝒙 οριζει Συνεχη συναρτηση στο διαστημα [0,1] Η Συναρτηση Εντροπιας 𝓈(𝑥) είναι Συνεχης στο [0,1]

Ο τυπος −𝑥𝑙𝑛𝑥 οριζει συνεχη συναρτηση στο διαστημα (0,1]

lim𝑥→0+

(−𝑥𝑙𝑛𝑥) = 0 από το Θεωρημα L’ Hopital:

lim𝑥→0+

(−𝑥𝑙𝑛𝑥) = lim𝑥→0+

−𝑙𝑛𝑥

1𝑥

= lim𝑥→0+

−(𝑙𝑛𝑥)′

(1𝑥)′ = lim

𝑥→0+

−1𝑥

(−1𝑥2)= lim

𝑥→0+𝑥 = 0

Ο τυπος −𝑥𝑙𝑛𝑥 οριζει στο διαστημα [0,1]

την συνεχη συναρτηση 𝓈(𝑥) = {−𝑥𝑙𝑛𝑥, 0 < 𝑥 ≤ 1

0, 𝑥 = 0

𝓈(0) = −0𝑙𝑛0 = 0

ΛΗΜΜΑ

Η Συναρτηση 𝓈(𝑥) = {−𝑥𝑙𝑛𝑥, 0 < 𝑥 ≤ 1

0, 𝑥 = 0 είναι Συνεχης Κοιλη στο [0,1]

𝓈′(𝑥) = (−𝑥𝑙𝑛𝑥)′ = −𝑙𝑛𝑥 − 𝑥 (1

𝑥) = −𝑙𝑛𝑥 − 1

𝓈′′(𝑥) = (−𝑙𝑛𝑥 − 1)′ = −(1

𝑥) − 0 = −

1

𝑥<0

Ιδιοτητα (3) Πεδιο Τιμων Εντροπιας

1) 𝟎 ≤ 𝓢𝜜 ≤ 𝐥𝐨𝐠𝟐𝒏

𝑛 = το πληθος των διαφορετικων γεγονοτων (τιμων της Μεταβλητης Α)

Δηλαδη Η Εντροπια ειναι θετικος αριθμος μικροτερος η ισος απο την τιμη log2𝑛

2) Μεγιστη Τιμη: 𝒮𝛢 = log2n ⇔ pν = p[A=αν] = p[Ξν] = 1

𝑛 , ∀ ν=1,2,…,n

Δηλαδη η ισοπιθανη διαμεριση εχει την μεγιστη Εντροπια απο ολες τις διαμερισεις n κελλιων η ισοπιθανη Μεταβλητη εχει την μεγιστη Εντροπια απο τις Μεταβλητες που παιρνουν n-τιμες η ομοιομορφη κατανομη εχει την μεγιστη Εντροπια απο τις διακριτες κατανομες n-τιμων

3) 𝒮𝛢 = 0 ⟺ A is Constant with certainty (Deterministic) Variable: A(ω)=α, for all ω

Δηλαδη Η Παρατηρηση της Βεβαιας Μεταβλητης δινει παντα μια μονον τιμη με πιθανοτητα 1

Αποδειξη με βαση την Ανισοτητα Jensen Αποδειξη με βαση την Ανισοτητα Gibbs

ΣΧΟΛΙΟ

• Η Παρατηρηση της Ισοπιθανης Μεταβλητης παρεχει μεγιστη Πληροφορια Uniform RV are the most Random with maximum Entropy Η Ισοπιθανη Μεταβλητη είναι η πλεον αβεβαια

• Η Παρατηρηση της Βεβαιας Μεταβλητης δε παρεχει Πληροφορια Deterministic RV have no Randomness and no Entropy

Ορισμος

Τυποποιημενη Εντροπια

ℐ =𝒮

𝒮𝑚𝑎𝑥=−∑ ρνlog2ρν

nν=1

log2𝑛

0 ≤ ℐ ≤ 1

ℐ = 1 ⇔ Η ΤΜ Α κατανεμεται Ομοιομορφα

ℐ = 0 ⟺ Η ΤΜ Α λαμβανει μια μονον τιμη με πιθανοτητα 1

Πλεονασμος Redundancy της Μεταβλητης A

Redundancy = 𝒮𝑚𝑎𝑥 − 𝒮𝐴 = log2𝑛 − 𝒮𝐴

the difference of 𝒮𝐴from the maximum possible value 𝒮𝑚𝑎𝑥 = log2𝑛

The “unused” (by A) maximum possible available Information

Relative Redundancy of the Variable A

𝒮𝑚𝑎𝑥 − 𝒮𝐴𝒮𝑚𝑎𝑥

= log2𝑛 − 𝒮𝐴log2𝑛

ΛΗΜΜΑ

Η Τυποποιημενη Εντροπια δεν εξαρταται από την βαση του λογαριθμου:

ℐ =−∑ ρνlog2ρν

nν=1

log2𝑛=−∑ ρνlog𝒃ρν

nν=1

log𝒃𝑛

Αποδειξη

Αμεση από τον τυπο: log𝑏x =log2x

log2b

Αποδειξη (1),(2) απο την Ανισοτητα Jensen

ΛΗΜΜΑ: Ανισοτητα Jensen

For any strictly Convex, Real function f , λν ≥0 , ∑ 𝜆𝜈𝑛𝜈=1 = 1 :

𝑓 (∑ λνyνn𝜈=1 ) ≤ ∑ λνf(yν)

n𝜈=1

𝑓 (∑ λνyνn𝜈=1 ) = ∑ λνf(yν)

n𝜈=1 ⟺ y1 = y2 =…= yn

Rudin W. 1970, Real and Complex Analysis. McGraw-Hill, London

H συναρτηση f(x)=xlnx, x>0 είναι γνησιως κυρτη, διοτι 𝒇′′(𝒙) =𝟏

𝒙> 𝟎

Εφαρμοζεται η Ανισοτητα Jensen για yν = pν , λν =𝟏

𝒏

(∑𝟏

𝒏𝛒𝛎

𝐧𝝂=𝟏 ) 𝐥𝐧 (∑

𝟏

𝒏𝛒𝛎

𝐧𝝂=𝟏 ) ≤ ∑

𝟏

𝒏 𝛒𝛎𝐥𝐧𝛒𝛎

𝐧𝝂=𝟏

(∑𝟏

𝒏𝐩𝛎

𝐧𝝂=𝟏 ) 𝐥𝐧 (∑

𝟏

𝒏𝐩𝛎

𝐧𝝂=𝟏 ) = ∑

𝟏

𝒏 𝐩𝛎𝐥𝐧𝐩𝛎

𝐧𝝂=𝟏 ⟺ p1 = p2 =…= pn

(𝟏

𝒏) 𝐥𝐧 (

𝟏

𝒏) ≤ ∑

𝟏

𝒏 𝐩𝛎𝐥𝐧𝐩𝛎

𝐧𝝂=𝟏

(𝟏

𝒏) 𝐥𝐧 (

𝟏

𝒏) = ∑

𝟏

𝒏 𝐩𝛎𝐥𝐧𝐩𝛎

𝐧𝝂=𝟏 ⟺ p1 = p2 =…= pn

𝐥𝐧 (𝟏

𝒏) ≤ ∑ 𝐩𝛎𝐥𝐧𝐩𝛎

𝐧𝝂=𝟏

𝐥𝐧 (𝟏

𝒏) = ∑ 𝐩𝛎𝐥𝐧𝐩𝛎

𝐧𝝂=𝟏 ⟺ p1 = p2 =…= pn

Αποδειξη των (1) και (2) απο την Ανισοτητα Gibbs ΛΗΜΜΑ: Ανισοτητα Gibbs ∀ pν , qν ≥0, ∑ pν

n𝜈=1 = 1 , ∑ qν

n𝜈=1 = 1 :

∑ pνlnpν

qν

𝑛𝜈=1 ≥ 0

∑ pνlnpν

qν

nν=1 = 0 ⟺ pν = qν

Η διαφορα: 𝐥𝐨𝐠𝟐n − 𝓢[ξ] γραφεται:

𝐥𝐨𝐠𝟐𝒏 − 𝓢[ξ] = 𝐥𝐨𝐠𝟐𝒏 – (−∑ 𝐩𝛎𝐥𝐨𝐠𝟐𝐩𝛎𝐧𝝂=𝟏 ) =(∑ 𝐩𝛎

𝐧𝝂=𝟏 )𝐥𝐨𝐠𝟐𝒏 + ∑ 𝐩𝛎𝐥𝐨𝐠𝟐𝐩𝛎

𝐧𝝂=𝟏

=∑ 𝐩𝛎𝐥𝐨𝐠𝟐(𝐩𝛎𝐧)

𝐧𝝂=𝟏

= ∑ 𝐩𝛎𝐥𝐨𝐠𝟐𝐩𝛎

𝐪𝛎

𝐧𝝂=𝟏 , με qν =

𝟏

𝐧

Το αποδεικτεο προκυπτει από την Ανισοτητα Gibbs

και την σχεση: 𝐥𝐨𝐠𝟐𝐱 = 𝐥𝐧𝐱

𝐥𝐧𝟐

Ονομασια Ορων της Ανισοτητας Gibbs

∑ 𝐩𝛎 𝐥𝐨𝐠𝟐𝐩𝛎

𝐪𝛎

𝐧𝝂=𝟏 = 𝓢[𝐩: 𝐪] the Kullback – Leibler Entropy of p with respect to q

−∑ 𝐩𝛎 𝐥𝐨𝐠𝟐𝐪𝛎

𝐧𝝂=𝟏 = 𝓢𝑪𝑹𝑶𝑺𝑺[𝐩: 𝐪] the Cross Entropy of p with respect to q

Αποδειξη Ανισοτητας Gibbs από την Λογαριθμικη Ανισοτητα

1−𝟏

𝐱 ≤ lnx ≤ x−1

και lnx = x−1 ⟺ x=1 Ειναι: −lnx ≥ 1−x

−lnx = 1−x ⟺ x=1

Συνεπως: ∑ 𝐩𝛎𝐥𝐧𝐩𝛎

𝐪𝛎

𝒏𝝂=𝟏 = ∑ 𝐩𝛎 [−𝐥𝐧 (

𝐪𝛎𝐩𝛎)]𝐧

𝝂=𝟏 ≥ ∑ 𝐩𝛎 [𝟏−𝐪𝛎𝐩𝛎]𝐧

𝝂=𝟏 = ∑ 𝐩𝛎𝐧𝝂=𝟏 − ∑ 𝐪𝛎 =

𝐧𝝂=𝟏 𝟎

∑ 𝐩𝛎 [−𝐥𝐧 (𝐪𝛎

𝐩𝛎)]𝐧

𝝂=𝟏 = ∑ 𝐩𝛎 [𝟏 − (𝐪𝛎

𝐩𝛎)]𝐧

𝝂=𝟏 ⟺ 𝐪𝛎

𝐩𝛎= 𝟏

Αποδειξη Ανισοτητας Gibbs από την Ανισοτητα Jensen

Η Ανισοτητα Jensen για λν = qν , yν = 𝐩𝛎

𝒒𝛎 :

(∑ 𝐪𝛎𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ) 𝐥𝐧 (∑ 𝐪𝛎

𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ) ≤ ∑ 𝐪𝛎

𝐩𝛎𝐪𝛎𝐥𝐧

𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏

(∑ 𝐪𝛎𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ) 𝐥𝐧 (∑ 𝐪𝛎

𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ) ≤ ∑ 𝐪𝛎

𝐩𝛎𝐪𝛎𝐥𝐧

𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ⟺

𝐪𝟏

𝒑𝟏 = 𝐪𝟐

𝒑𝟐=…=

𝐪𝐧

𝒑𝐧

𝟎 ≤ ∑ 𝐩𝛎𝐥𝐧𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏

𝟎 = ∑ 𝐩𝛎𝐥𝐧𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏 ⟺

𝐪𝟏

𝒑𝟏 = 𝐪𝟐

𝒑𝟐=…=

𝐪𝐧

𝒑𝐧

Πρεπει 𝐩𝛎

𝐪𝛎= 𝟏, ν=1,2,…n, για να είναι: 𝟎 = ∑ 𝐩𝛎𝐥𝐧

𝐩𝛎𝐪𝛎

𝐧𝝂=𝟏

Αποδειξη της 3): 𝓢=0 ⟺ Α =α Εστω 𝜜 = 𝜶 με Πιθανοτητα 1 και οι άλλες τιμες με πιθανοτητα 0

𝓢𝜜 = −∑ 𝒑𝒊𝐥𝐨𝐠𝟐𝒑𝒊𝒏𝒊=𝟏 = −𝟏 ∙ 𝐥𝐨𝐠𝟐𝟏 − (𝐧 − 𝟏)(𝟎𝐥𝐨𝐠𝟐𝟎) = 𝟎 + 𝟎 = 𝟎

Αντιστροφως, εστω 𝓢𝜜=0 και Α μη σταθερα Μεταβλητη, τοτε

∃ τιμη αk με 0< pk <1

⟹ 𝓢𝜜 > − pk 𝐥𝐨𝐠𝟐pk >0 ΑΤΟΠΟΝ

ΟΕΔ

Ιδιοτης (4) Λεπτοτερες Διαμερισεις εχουν μεγαλυτερη Εντροπια 𝒮ξ ≤ 𝒮η , αν η διαμεριση η είναι λεπτοτερη της διαμερισης ξ: ξ ≤ 𝜂

Δεδομενου ότι: ξ ≤ η ⟺ καθε κελλι Ηλ της η περιεχεται σε καποιο κελλι Ξκ της ξ Η ιδιοτητα (4) σημαινει ότι: TΜ που λαμβανουν περισσοτερες τιμες περιεχουν περισσοτερη Πληροφορια διοτι η μετρηση τους παρεχει περισσοτερη Πληροφορια Δηλαδη Μετρησεις μεγαλυτερης ακριβειας παρεχουν περισσοτερη Πληροφορια

Αποδειξη Εστω 𝜩𝜿 , 𝜿 = 𝟏, 𝟐,… , 𝒏 τα κελια της διαμερισης ξ και 𝜢𝜿(𝝂𝜿) , 𝝂𝜿 = 𝟏, 𝟐, … ,𝒎𝜿 , 𝜿 =1,2,…,𝒏, τα κελια της η που εμπεριεχονται στο κελι 𝜩𝜿 της ξ :

𝜢𝜿(𝝂𝜿) ⊆ 𝜩𝜿 και ⋃ 𝜢𝜿(𝝂𝜿)𝒎𝒌𝝂=𝟏 = 𝜩𝜿 , ∑ 𝛒[𝜢𝜿(𝝂𝜿)]

𝒎𝜿𝝂𝜿=𝟏

= 𝛒[𝜩𝜿].

Η Εντροπια της Διαμερισης η ειναι:

𝓢𝛈 = −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)]

𝒎𝜿

𝝂𝜿=𝟏

𝒏

𝜿=𝟏

≥ −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒎𝜿

𝝂𝜿=𝟏

𝒏

𝜿=𝟏

Διοτι: −𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)] ≥ −𝒍𝒐𝒈𝟐𝛒[𝜩𝜿] > 𝟎 , από την Ανισοτητα: − 𝐥𝐨𝐠𝟐𝒚 > − 𝐥𝐨𝐠𝟐𝒙 , αν 0 < y < x ≤ 1

Είναι:

𝓢𝛈 ≥ −∑ (∑ 𝛒[𝜢𝜿(𝝂𝜿)]𝒏𝜿𝝂𝜿=𝟏

) ∙ 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]𝒏𝜿=𝟏 = −∑ 𝛒[𝜩𝜿] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒏𝜿=𝟏 = 𝓢𝛏 ΟΕΔ

Ιδιοτης (5) Η διαφορα 𝒮η − 𝒮ξ των Εντροπιων

Αν η Διαμεριση 𝜼 είναι λεπτοτερη της Διαμερισης 𝛏: 𝛏 ≤ 𝜼, τοτε:

𝒮η − 𝒮ξ =∑ ρ[𝛯𝜅] ∙ 𝒮

𝑛

𝜅=1

(ρ[𝛨𝜅(1)]

ρ[𝛯1],ρ[𝛨𝜅(2)]

ρ[𝛯2], … ,

ρ[𝛨𝜅(𝑚𝜅)]

ρ[𝛯𝑛])

ή ισοδυναμα:

𝒮(𝜌1(1), … 𝜌1(𝑛1), … , 𝜌𝑛(1), … 𝑝𝑛(𝑚𝑛)) − 𝒮(𝜌1, … 𝜌𝑛) = ∑𝜌𝜅 ∙ 𝒮

𝑛

𝜅=1

(𝜌𝜅(1)

𝜌𝜅, … ,

𝜌𝜅(𝑚𝜅)

𝜌𝜅)

Οπου: 𝜌𝜅 = ρ[𝛯𝜅] και 𝜌𝜅(𝜈𝜅) = ρ[𝛨𝜅(𝜈𝜅)], κ=1,2,…,n 𝜈𝜅 = 1,2, … ,𝑚𝜅

Αποδειξη Με τον συμβολισμο της Ιδιοτητος 5:

𝓢𝛈 = −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)]

𝒎𝜿

𝝂𝜿=𝟏

𝒏

𝜿=𝟏

= ∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝛒[𝜩𝜿])

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

=∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ (𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) + 𝒍𝒐𝒈𝟐(𝛒[𝜩𝜿]))

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

= ∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) − ∑

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐(𝛒[𝜩𝜿])

𝒎𝜿

𝝂𝜿=𝟏

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

=∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) − 𝒍𝒐𝒈𝟐(𝛒[𝜩𝜿]) ∑

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]

𝒎𝜿

𝝂𝜿=𝟏

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

=∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) − 𝒍𝒐𝒈𝟐(𝛒[𝜩𝜿]) ∙ 𝟏

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

= ∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿])

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

−∑𝛒[𝜩𝜿]𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒏

𝜿=𝟏

= −∑𝛒[𝜩𝜿]𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒏

𝜿=𝟏

+ ∑𝛒[𝜩𝜿] (− ∑𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]∙ 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿])

𝒎𝜿

𝝂𝜿=𝟏

)

𝒏

𝜿=𝟏

= 𝓢𝛏 +∑𝛒[𝜩𝜿] ∙ 𝓢

𝒏

𝜿=𝟏

(𝛒[𝜢𝜿(𝟏)]

𝛒[𝜩𝜿],𝛒[𝜢𝟐(𝟐)]

𝛒[𝜩𝜿], … ,

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿])

Ιδιοτητα (6) Ισεντροπικες Διαμερισεις είναι ισοδυναμες, αν η μια είναι λεπτοτερη της αλλης Αν 𝒮ξ = 𝒮η και ξ ≤ 𝜂, τοτε οι Διαμερισεις είναι ισοδυναμες

(εχουν το αυτό πληθος κελιων με την αυτή κατανομη πιθανοτητος

Αποδειξη Με τον Συμβολισμο της Ιδιοτητος 5:

𝓢𝛈 = 𝓢𝛏 ⟺ −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)]𝒎𝜿𝝂𝜿=𝟏

𝒏𝜿=𝟏 = −∑ 𝛒[𝜩𝜿] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒏𝜿=𝟏 ≥ 𝟎

⟺−∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)]

𝒎𝜿

𝝂𝜿=𝟏

𝒏

𝜿=𝟏

= −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿]

𝒎𝜿

𝝂𝜿=𝟏

𝒏

𝜿=𝟏

⟺ −∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ (𝒍𝒐𝒈𝟐𝛒[𝜢𝜿(𝝂𝜿)] − 𝒍𝒐𝒈𝟐𝛒[𝜩𝜿])𝒎𝜿𝝂𝜿=𝟏

𝒏𝜿=𝟏 =

⟺−∑ ∑ 𝛒[𝜢𝜿(𝝂𝜿)] ∙ 𝒍𝒐𝒈𝟐 (𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿])

𝒎𝜿𝝂𝜿=𝟏

𝒏𝜿=𝟏 = 𝟎

⟹ − 𝒍𝒐𝒈𝟐 (𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) = 𝟎, διοτι:− 𝒍𝒐𝒈𝟐 (

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]) ≥ 𝟎,

𝛒[𝜢𝜿(𝝂𝜿)]

𝛒[𝜩𝜿]≤ 𝟏

αρα: 𝛒[𝜢𝜿(𝝂𝜿)] = 𝛒[𝜩𝜿], 𝝂𝜿 = 𝟏, 𝟐, … , 𝒏𝜿 , κ=1,2,…,𝒏(𝝃) οεδ

Ιδιοτητα (7)

𝒮Α ≤ 𝒮Β , αν η Μεταβλητη Α είναι συναρτηση της Μεταβλητης Β: 𝛢 = 𝜑(𝛣) Αποδειξη

Από το Λημμα ισχυει: 𝜜 = 𝝋(𝜝) ⟺ 𝝃𝜜 ≤ 𝝃𝜝. Συνεπως 𝓢𝚨 ≤ 𝓢𝚩, από την Ιδιοτητα (3)

ΛΗΜΜΑ

𝛢 = 𝜑(𝛣) ⟺ 𝜉𝛢 ≤ 𝜉𝛣 𝝃𝜜 ≤ 𝝃𝜝 ⟺ Kαθε κελι 𝛯𝜆

𝛣 της 𝝃𝜝 εμπεριεχεται σε καποιο κελι 𝛯𝜅𝛢 της 𝝃𝜜

Οριζεται η απεικονιση 𝜑: 𝝈𝜝 ⟶ 𝝈𝚨: φ(βκ)=αν ⟺ 𝛯𝜅𝛢

⊆ 𝛯𝜆𝛣⟹ A = φ(B)

𝜎Α, 𝜎𝛣 τα φασματα τιμων των Μεταβλητων Α,Β Αν η φ one to one (injection), τοτε η διαμεριση 𝝃𝜜 συμπιπτει με την διαμεριση 𝝃𝜝 Αν η φ δεν είναι one to one, τοτε η διαμεριση 𝝃𝜜 είναι αδροτερη απο την διαμεριση 𝝃𝜝 A = φ(B) ⇔ Α(ω) = (φ∘Β)(ω) = φ(B(ω)) = φ(βκ), ∀ ω στο κελι Hκ

⟹ Kαθε κελι 𝛯𝜆𝛣 της 𝝃𝜝 εμπεριεχεται στο κελι 𝛯𝜅

𝛢 της 𝝃𝜜 με 𝜑(𝛽𝜅) = 𝛼𝜈 ⟺ 𝝃𝜜 ≤ 𝝃𝜝

Ιδιοτης (8)

Διαταξη Κατανομων ως προς την Εντροπια

H Εντροπια 𝒮 = −∑ 𝑝𝑖𝑙𝑜𝑔2𝑝𝑖𝑛𝑖=1

οριζει την Ολικη Διαταξη: 𝜌 ≽ 𝑞⟺ 𝒮(ρ) ≥ 𝒮(𝑞) στην Κλαση των πεπερασμενων κατανομων Πιθανοτητας 𝜌: Η κατανομη 𝜌 είναι πιο Στοχαστικη από την κατανομη q, αν και μονον αν η Εντροπια της 𝜌 είναι μεγαλυτερη ή ιση από την Εντροπια της 𝑞

Αποδειξη Αποδεικνυονται αμεσα οι ιδιοτητες της Ολικης Διαταξης στο συνολο 𝓟 1) Ανακλαστικη: 𝝆 ≤ 𝝆 , ∀ 𝝆 ∈ 𝓟 2) Μεταβατικη: Αν 𝝆 ≤ 𝒒 και 𝒒 ≤ 𝝅 , τοτε 𝝆 ≤ 𝝅 , ∀ 𝒙, 𝒚, 𝒛 ∈ 𝓟 3) Αντισυμμετρικη: Αν 𝝆 ≤ 𝒒 και 𝒒 ≤ 𝝆 , τοτε 𝝆 = 𝒒 4) Συγκρισιμοτης: ∀ 𝝆, 𝒒 ισχυει: 𝝆 ≤ 𝒒 ή 𝒒 ≤ 𝝆

Ιδιοτης (9) Η Εντροπικη Διαταξη Κατανομων επεκτείνει την Στοχαστικη Διαταξη Shur 1) Η Ολικη Διαταξη ≽ της Εντροπιας (Ιδιοτης 8) συμπιπτει με την Στοχαστικη Διαταξη (Domination, Majorization) των Διανυσματων Πιθανοτητων (οριζεται κατωτερω) 2) Καθοτι η Στοχαστικη Διαταξη είναι Μερικη Διαταξη (Λημμα 1 κατωτερω), η Ολικη Διαταξη ≽ της Εντροπιας ειναι Eπεκταση της Στοχαστικης Διαταξης.

Αποδειξη 1) Η Εντροπια είναι το αθροισμα: 𝓢 = −∑ 𝝆𝝂𝐥𝐨𝐠𝟐𝝆𝝂

𝒏𝛎=𝟏 = ∑ 𝓼(𝝆𝝂)

𝒏𝛎=𝟏

Οπου 𝓼(𝒙) = −𝒙𝐥𝐨𝐠𝟐𝒙, Κοιλη (Concave) Θετικη Πραγματικη Συναρτηση. Αρα από το Θεωρημα Hardy, Littlewood, Polya (κατωτερω) 𝓢(𝛒) ≥ 𝓢(𝐪) , αν 𝛒 ≽ 𝐪 Δηλαδη η Διαταξη της Εντροπιας συμπιπτει με την Στοχαστικη Διαταξη

2) Η Εντροπια ως Ολικη Διαταξη επεκτεινει την Στοχαστικη Διαταξη σε ολες τις Κατανομες Πιθανοτητος

Ορισμος Διαταξη (Domination, Majorization) Shur Πραγματικων Διανυσματων (𝜌1 , . . . , 𝜌𝑛) ≽ (𝑞1 , . . . , 𝑞𝑛), 𝜌𝜈 , 𝑞𝜈 , 𝜈 = 1,2, … , 𝑛 Πραγματικοι Αριθμοι. Το Διανυσμα 𝜌 = (𝜌1 , . . . , 𝜌𝑛) Υπερεχει του Διανυσματος 𝑞 = (𝑞1 , . . . , 𝑞𝑛) ⟺ 1) 𝜌1⟩ + 𝜌2⟩ +⋯+ 𝜌𝜈⟩ ≤ 𝑞1⟩ + 𝑞2⟩ +⋯+ 𝑞𝜈⟩, 𝜈 = 1,2, … , 𝑛 − 1

2) 𝜌1 + 𝜌2 +⋯+ 𝜌𝑛 = 𝑞1 + 𝑞2 +⋯+ 𝑞𝑛

(𝑥1⟩, 𝑥2⟩, … , 𝑥𝑛⟩) το αναδιαταγμενο διανυσμα (𝑥1, 𝑥2, … , 𝑥𝑛) κατά φθινουσα ταξη

𝑥𝜈⟩ η ν-μεγιστη συνιστωσα του x: 𝑥1⟩ ≥ 𝑥2⟩ ≥ ⋯ ≥ 𝑥𝜈⟩, 𝜈 = 1,2, … , 𝑛 − 1

Η Διαταξη ≽ μεταξυ Διανυσματων Πιθανοτητος καλειται Στοχαστικη Διαταξη

Η Διαταξη ≽ μεταξυ Πραγματικων Διανυσματων οριστηκε από τον Shur

I. Schur 1923, ϋber eine Klasse von Mittelbildungen mit Anwendungen auf die Determinantentheorie, Sitzber. Berl. Math. Ges. 22, 9-20

ΠΑΡΑΔΕΙΓΜΑ Στοχαστικη Διαταξη Γραμματων Αγγλικης Γλωσσας

(𝝆𝒂 , 𝝆𝒃, 𝝆𝒄, . . . , 𝝆𝒛) (𝝆𝒆⟩, 𝝆𝒕⟩, 𝝆𝒂⟩, … , 𝝆𝒛⟩)

Παραδειγμα Στοχαστικη Διαταξη

(𝝆𝟏 , . . . , 𝝆𝒏) ≽ (𝒒𝟏 , . . . , 𝒒𝒏), σημαινει ότι η κατανομη ρ είναι πιο «χαωδης», πιο «απλωμενη» από την κατανομη q Η ομοιομορφη Κατανομη 𝜨 τιμων είναι πιο Στοχαστικη από την Ομοιομορφη

Κατανομη 𝜨− 𝜿 τιμων

(𝟏

𝑵,𝟏

𝑵,… ,

𝟏

𝑵,𝟏

𝑵) ≻ (

𝟏

𝑵 − 𝟏,𝟏

𝑵 − 𝟏,… ,

𝟏

𝑵 − 𝟏, 𝟎) ≻ (

𝟏

𝟑,𝟏

𝟑,𝟏

𝟑, 𝟎, … , 𝟎)

(𝟏

𝟑,𝟏

𝟑,𝟏

𝟑, 𝟎, … , 𝟎) ≻ (

𝟏

𝟐,𝟏

𝟐, 𝟎, … , 𝟎) ≻ (𝟏, 𝟎, 𝟎, … , 𝟎)

Λημμα 1 Η Διαταξη Schur είναι Μερικη Διαταξη μεταξυ των Πραγματικων Διανυσματων

Αποδειξη Αποδεικνυεται αμεσα η Μερικη Διαταξη (Ανακλαστικη, Μεταβατικη, Αντισυμμετρικη) Η Διαταξη Schur δεν είναι Ολικη Διαταξη διοτι δεν είναι όλα τα Διανυσματα συγκρισιμα. Παραδειγμα κατανομων Πιθανοτητας που δεν είναι Συγκρισιμες:

(𝟑

𝟏𝟐,𝟑

𝟏𝟐,𝟑

𝟏𝟐,𝟑

𝟏𝟐, 𝟎) , (

𝟓

𝟏𝟐,𝟑

𝟏𝟐,𝟐

𝟏𝟐,𝟏

𝟏𝟐,𝟏

𝟏𝟐)

𝟑

𝟏𝟐<𝟓

𝟏𝟐

𝟑

𝟏𝟐+𝟑

𝟏𝟐<𝟓

𝟏𝟐+𝟑

𝟏𝟐

𝟑

𝟏𝟐+𝟑

𝟏𝟐+𝟑

𝟏𝟐<𝟓

𝟏𝟐+𝟑

𝟏𝟐+𝟐

𝟏𝟐

𝟑

𝟏𝟐+𝟑

𝟏𝟐+𝟑

𝟏𝟐+

𝟑

𝟏𝟐>𝟓

𝟏𝟐+𝟑

𝟏𝟐+𝟐

𝟏𝟐+𝟏

𝟏𝟐

𝟑

𝟏𝟐+𝟑

𝟏𝟐+𝟑

𝟏𝟐+

𝟑

𝟏𝟐+ 𝟎 =

𝟓

𝟏𝟐+𝟑

𝟏𝟐+𝟐

𝟏𝟐+𝟏

𝟏𝟐+𝟏

𝟏𝟐= 𝟏

Θεωρημα

Hardy, Littlewood, Polya Το Διανυσμα 𝑥 = (𝑥1 , . . . , 𝑥𝑛) Υπερεχει του Διανυσματος 𝑦 = (𝑦1 , . . . , 𝑦𝑛) 𝑥 ≽ 𝑦 ⟺ 𝜑(𝑥1) + 𝜑(𝑥2) + ⋯+ 𝜑(𝑥𝑛) ≥ 𝜑(𝑦1) + 𝜑(𝑦2) + ⋯+ 𝜑(𝑦𝑛) Για κάθε Κοιλη Πραγματικη Συναρτηση φ

Το θεωρημα διατυπωθηκε από τους Hardy, Littlewood και Polya Hardy G., Littlewood J., Polya G. 1929, Some simple inequalities satisfied by convex functions, Messenger Math. 58 (1929), 145-152.

Για την Αποδειξη:

• Karamata J. 1932, Sur une inegalite relative aux fonctions convexes, Publ. Math. Univ. Belgrade 1, 145-148

• Hardy, G. H., Littlewood, J. E. and Polya, G. 1952, Inequalities., Cambridge University Press, London

• Marshall A., Olkin I., Arnold B. 2011, Inequalities: Theory of Majorization and Its Applications, 2nd Edition, Springer Science+Business Media

• Simon B. 2011, Convexity. An Analytic Viewpoint, Cambridge United Kingdom

6 Εφαρμογες Εντροπιας

Παραδειγμα: Μεταβλητη Bernoulli

𝑿 = {𝟏, 𝝁𝜺 𝜫𝜾𝜽𝜶𝝂𝝄𝝉𝜼𝝉𝜶 𝒑 𝟎, 𝝁𝜺 𝜫𝜾𝜽𝜶𝝂𝝄𝝉𝜼𝝉𝜶 𝟏 − 𝒑

𝓢𝟐(𝒑) = 𝓢𝟐𝟐(𝒑) = −𝒑𝐥𝐨𝐠𝟐𝒑 − (𝟏 − 𝒑)𝐥𝐨𝐠𝟐(𝟏 − 𝒑)

Η Δυαδικη Εντροπια = The Binary Entropy Function

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

p

h

Μεγιστη Δυαδικη Εντροπια

𝓢𝟐,𝒎𝒂𝒙 = 𝓢𝟐 (𝟏

𝟐) = −

𝟏

𝟐𝐥𝐨𝐠𝟐

𝟏

𝟐−𝟏

𝟐𝐥𝐨𝐠𝟐

𝟏

𝟐= 𝟏 (bit)

Η Εντροπια Παρατηρησης 2 ισοπιθανων Γεγονοτων 𝒑 =𝟏

𝟐:

𝒅𝓢𝟐𝒅𝒑

= −𝐥𝐨𝐠𝟐 (𝒑

𝟏 − 𝒑)

Λογιστικη Παλινδρομιση

Ριψη 1 Ζαριου

𝜴 = {𝟏, 𝟐, 𝟑, 𝟒, 𝟓, 𝟔}

Ζαρι

Ψηφιο 1 2 3 4 5 6

Ζ Συχνοτης

𝟏

𝟔

𝟏

𝟔

𝟏

𝟔

𝟏

𝟔

𝟏

𝟔

𝟏

𝟔

Α Συχνοτης

𝟏

𝟏𝟎

𝟏

𝟏𝟎

𝟏

𝟏𝟎

𝟏

𝟏𝟎

𝟏

𝟏𝟎

𝟏

𝟐

Β Συχνοτης

𝟏

𝟐𝟎

𝟏

𝟐𝟎

𝟏

𝟐𝟎

𝟏

𝟐𝟎

𝟏

𝟐𝟎

𝟑

𝟒

𝓢𝜡 = −∑(𝟏

𝟔𝐥𝐨𝐠𝟐

𝟏

𝟔)

𝟔

𝝂=𝟏

= 𝐥𝐨𝐠𝟐𝟔 ≃ 𝟐. 𝟓𝟖

𝐥𝐨𝐠𝟐𝟔 =

𝒍𝒏𝟔

𝒍𝒏𝟐 =

𝒍𝒏𝟔

𝟎.𝟔𝟗𝟑𝟏𝟒𝟕𝟏𝟖=

𝟏,𝟕𝟗𝟏𝟕𝟓𝟗𝟒𝟕

𝟎.𝟔𝟗𝟑𝟏𝟒𝟕𝟏𝟖≃ 𝟐. 𝟓𝟖

𝓢𝜜 = 𝟓(−𝟏

𝟏𝟎𝐥𝐨𝐠𝟐

𝟏

𝟏𝟎 ) + (−

𝟏

𝟐𝐥𝐨𝐠𝟐

𝟏

𝟐 ) =

𝟏

𝟐𝐥𝐨𝐠𝟐𝟏𝟎 +

𝟏

𝟐𝐥𝐨𝐠𝟐𝟐 = 𝟏. 𝟔𝟔𝟏 +

𝟏

𝟐= 𝟐. 𝟏𝟔𝟏

𝓢𝜝 = 𝟓(−𝟏

𝟐𝟎𝐥𝐨𝐠𝟐

𝟏

𝟐𝟎 ) + (−

𝟑

𝟒𝐥𝐨𝐠𝟐

𝟑

𝟒 ) =

𝟏

𝟒𝐥𝐨𝐠𝟐𝟐𝟎 −

𝟑

𝟒𝐥𝐨𝐠𝟐

𝟑

𝟒 = 𝟏. 𝟎𝟖𝟎 + 𝟎. 𝟑𝟑𝟏

= 𝟏. 𝟒𝟏𝟏

𝟐. 𝟓𝟖 > 𝟐. 𝟏𝟔 > 𝟏. 𝟒𝟏

𝓢[𝜡𝜶𝝆𝜾 𝜯𝝊𝝌𝜶𝜾𝝄] > 𝓢[𝜡𝜶𝝆𝜾 𝜫𝜺𝜾𝝆𝜶𝜸𝝁𝜺𝝂𝝄] > 𝓢[𝜡𝜶𝝆𝜾 𝜫𝝄𝝀𝝊 𝜫𝜺𝜾𝝆𝜶𝜸𝝁𝜺𝝂𝝄]

𝟐. 𝟓𝟖

𝟐. 𝟓𝟖> 𝟐. 𝟏𝟔

𝟐. 𝟓𝟖>𝟏. 𝟒𝟏

𝟐. 𝟓𝟖

𝟏. 𝟎𝟎 > 𝟎. 𝟖𝟒 > 𝟎. 𝟓𝟓

𝓘[𝜡𝜶𝝆𝜾 𝜯𝝊𝝌𝜶𝜾𝝄] > 𝓘[𝜡𝜶𝝆𝜾 𝜫𝜺𝜾𝝆𝜶𝜸𝝁𝜺𝝂𝝄] > 𝓘[𝜡𝜶𝝆𝜾 𝜫𝝄𝝀𝝊 𝜫𝜺𝜾𝝆𝜶𝜸𝝁𝜺𝝂𝝄] Το Πειραγμενο Ζαρι αιρει κατα 16% την Αβεβαιοτητα Το Πολύ Πειραγμενο Ζαρι αιρει κατα 45% την Αβεβαιοτητα

Το Πολύ Πειραγμενο Ζαρι αιρει κατα 34% (𝟎.𝟖𝟒−𝟎.𝟓𝟓

𝟎.𝟖𝟒) την Αβεβαιοτητα

του Πειραγμενου Ζαριου

Παραδειγμα: Ριψη 2 Ζαριων Δειγματοχωρος Ω={ω|ω= (1,1), (1,2), (1,3), (1,4), (1,5), (1,6),

(2,1), (2,2), (2,3), (2,4), (2,5), (2,6), (3,1), (3,2), (3,3), (3,4), (3,5), (3,6), (4,1), (4,2), (4,3), (4,4), (4,5), (4,6),

(5,1), (5,2), (5,3), (5,4), (5,5), (5,6), (6,1), (6,2), (6,3), (6,4), (6,5), (6,6) }

Tυχαια Mεταβλητη: Z(ω) = ω, το Αποτελεσμα της ριψης των 2 ζαριων

𝓢𝜡 = −∑(𝟏

𝟑𝟔𝐥𝐨𝐠

𝟐

𝟏

𝟑𝟔)

𝟑𝟔

𝝂=𝟏

= 𝐥𝐨𝐠𝟐𝟑𝟔 ≅ 𝟓. 𝟏𝟕

Mεταβλητη: Α(ω) = το Αθροισμα των Ενδειξεων των 2 Ζαριων Α(ω)=2∙𝟏𝜩𝟐(ω)+ 3∙𝟏𝜩𝟑(ω)+ 4∙𝟏𝜩𝟒(ω)+ 5∙𝟏𝜩𝟓(ω)+ 6∙𝟏𝜩𝟔(ω)+ 7∙𝟏𝜩𝟕(ω)+

+ 8∙𝟏𝜩𝟖(ω)+ 9∙𝟏𝜩𝟗(ω)+ 10∙𝟏𝜩𝟏𝟎(ω)+ 11∙𝟏𝜩𝟏𝟏(ω)+ 12∙𝟏𝜩𝟏𝟐(ω)

Ο Διαμερισμος της Μεταβλητης 𝜜: 𝝃𝜜 = { Ξ2 , Ξ3 , Ξ4 , Ξ5 , Ξ6 , Ξ7 , Ξ8 , Ξ9 , Ξ10 , Ξ11 , Ξ12 }

Cell Probability Ξ2 ={ (1,1)} 1

36

Ξ3 ={ (1,2), (2,1)} 2

36

Ξ4 ={ (2,2), (1,3), (3,1)} 3

36

Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4

36

Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5

36

Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6

36

Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5

36

Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4

36

Ξ10 ={ (4,6), (5,5),(6,4)} 3

36

Ξ11 ={ (5,6), (6,5)} 2

36

Ξ12 ={ (6,6)} 1

36

𝓢𝑨 = −(𝟐𝟏

𝟑𝟔𝐥𝐨𝐠𝟐

𝟏

𝟑𝟔 + 𝟐

𝟐

𝟑𝟔𝐥𝐨𝐠𝟐

𝟐

𝟑𝟔 + 𝟐

𝟑

𝟑𝟔𝐥𝐨𝐠𝟐

𝟑

𝟑𝟔+ 𝟐

𝟒

𝟑𝟔𝐥𝐨𝐠𝟐

𝟒

𝟑𝟔+ 𝟐

𝟓

𝟑𝟔𝐥𝐨𝐠𝟐

𝟓

𝟑𝟔+𝟔

𝟑𝟔𝐥𝐨𝐠𝟐

𝟔

𝟑𝟔)

𝓢𝑨 = (𝟏

𝟏𝟖𝐥𝐨𝐠𝟐𝟑𝟔 +

𝟏

𝟗𝐥𝐨𝐠𝟐𝟏𝟖 +

𝟏

𝟔𝐥𝐨𝐠𝟐𝟏𝟐+

𝟏

𝟖𝐥𝐨𝐠𝟐𝟗+

𝟓

𝟏𝟖𝐥𝐨𝐠𝟐

𝟑𝟔

𝟓+𝟏

𝟔𝐥𝐨𝐠𝟐𝟔)

𝓢𝑨 = (𝟏

𝟏𝟖𝟓.𝟏𝟕 +

𝟏

𝟗𝟒.𝟏𝟕 +

𝟏

𝟔𝟑.𝟓𝟖 +

𝟏

𝟖𝟑.𝟏𝟕 +

𝟓

𝟏𝟖𝟐.𝟖𝟓 +

𝟏

𝟔𝟐.𝟓𝟖)

𝓢𝑨 = (𝟎.𝟐𝟖𝟕 + 𝟎.𝟒𝟔𝟑 + 𝟎.𝟓𝟗𝟕 + 𝟎.𝟒𝟔𝟐 + 𝟎.𝟕𝟗𝟐 + 𝟎.𝟒𝟑𝟎)

𝓢𝑨 = 𝟑.𝟎𝟑𝟏

Mεταβλητη: Β(ω) = η απολυτη τιμη της Διαφορας των ενδειξεων των 2 Ζαριων Β(ω)=0∙𝟏𝜢𝟎(ω)+ 1∙𝟏𝜢𝟏(ω) )+ 2∙𝟏𝜢𝟐(ω) + 3∙𝟏𝜢𝟑(ω)+ 4∙𝟏𝜢𝟒(ω)+ 5∙𝟏𝜢𝟓(ω)

Ο Διαμερισμος της Μεταβλητης Β: 𝝃𝜝 { Η0 , Η1 , Η2 , Η3 , Η4 , Η5 } Cell Probability

Η0 ={ (1,1), (2,2),(3,3), (4,4), (5,5),(6,6)} 6

36

Η1 ={ (1,2), (2,3), (3,4), (4,5), (5,6), (6,5), (5,4), (4,3),(3,2), (2,1)} 10

36

Η2 ={ (1,3), (2,4), (3,5), (4,6), (6,4), (5,3),(4,2), (3,1)} 8

36

Η3 ={ (1,4), (2,5), (3,6), (6,3), (5,2),(4,1)} 6

36

Η4 ={ (1,5), (2,6), (6,2), (5,1)} 4

36

Η5 ={ (1,6), (6,1)} 2

36

𝓢𝜝 = −(𝟐𝟔

𝟑𝟔𝐥𝐨𝐠𝟐

𝟔

𝟑𝟔 +𝟏𝟎

𝟑𝟔𝐥𝐨𝐠𝟐

𝟏𝟎

𝟑𝟔 +

𝟖

𝟑𝟔𝐥𝐨𝐠𝟐

𝟖

𝟑𝟔+𝟒

𝟑𝟔𝐥𝐨𝐠𝟐

𝟒

𝟑𝟔+𝟐

𝟑𝟔𝐥𝐨𝐠𝟐

𝟐

𝟑𝟔)

𝓢𝜝 = (𝟏

𝟑𝐥𝐨𝐠𝟐𝟔 +

𝟓

𝟏𝟖𝐥𝐨𝐠𝟐

𝟑𝟔

𝟏𝟎 +𝟐

𝟗𝐥𝐨𝐠𝟐

𝟗

𝟐+𝟏

𝟗𝐥𝐨𝐠𝟐𝟗+

𝟏

𝟏𝟖𝐥𝐨𝐠𝟐𝟏𝟖)

𝓢𝜝 = (𝟏

𝟑𝟐.𝟓𝟖 +

𝟓

𝟏𝟖𝟏.𝟖𝟓 +

𝟐

𝟗𝟐.𝟏𝟕 +

𝟏

𝟗𝟑.𝟏𝟕 +

𝟏

𝟏𝟖𝟒.𝟏𝟕)

𝓢𝜝 = (𝟎.𝟖𝟔 + 𝟎.𝟓𝟏 + 𝟎.𝟒𝟖 + 𝟎.𝟑𝟓 + 𝟎.𝟐𝟑)

𝓢𝜝 = 𝟐.𝟒𝟑

𝟓. 𝟏𝟕 > 𝟑. 𝟎𝟑𝟏 > 𝟐. 𝟒𝟑

𝓢[𝜠𝝂𝜹𝜺𝜾𝝃𝜼 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓢[𝑨𝜽𝝆𝝄𝜾𝝈𝝁𝜶 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓢[𝜟𝜾𝜶𝝋𝝄𝝆𝜶 𝜡𝜶𝝆𝜾𝝎𝝂]

𝟓. 𝟏𝟕

𝟓. 𝟏𝟕> 𝟑. 𝟎𝟑𝟏

𝟓. 𝟏𝟕>𝟐. 𝟒𝟑

𝟓. 𝟏𝟕

𝟏. 𝟎𝟎 > 𝟎. 𝟓𝟗 > 𝟎. 𝟒𝟕

𝓘[𝜠𝝂𝜹𝜺𝜾𝝃𝜼 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓘[𝑨𝜽𝝆𝝄𝜾𝝈𝝁𝜶 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓘[𝜟𝜾𝜶𝝋𝝄𝝆𝜶 𝜡𝜶𝝆𝜾𝝎𝝂] Η Μεταβλητη Aθροισμα Ζαριων αιρει κατα 41% την Αβεβαιοτητα Η Μεταβλητη Διαφορα Ζαριων αιρει κατα 53% την Αβεβαιοτητα Η Μεταβλητη Διαφορα Ζαριων αιρει κατα 20% την Αβεβαιοτητα της Μεταβλητης Aθροισμα Ζαριων

Με την Τυποποιημενη Εντροπια μπορουμε να συγκρινουμε την αβεβαιοτητα Μεταβλητων διαφορετικων Πειραματων.Παραδεγμα 1 Ζαρι, 2 Ζαρια

Τυποποιημενη Εντροπια Μεταβλητη

𝟏. 𝟎𝟎 Ριψη 1 Ζαριου, Ριψη 2 Ζαριων 𝟎. 𝟖𝟒 Ριψη 1 Ζαριου «Πειραγμενου» 𝟎. 𝟓𝟗 Αθροισμα 2 Ζαριων 𝟎. 𝟓𝟓 Ριψη 1 Ζαριου «Πολύ Πειραγμενου» 𝟎. 𝟒𝟕 Διαφορα 2 Ζαριων

Ποια η Αβεβαιοτητα στην Επιλογη του πρωτου ψηφιου ενος (Φυσικου) αριθμου?

Υποθετω ότι η επιλογη του πρωτου ψηφιου είναι ισοπιθανη.

𝓢𝑼𝑵 = −𝐥𝐨𝐠𝟐𝟗 = 𝟑. 𝟎 Ευρεθει όμως ότι η συχνοτης εμφανισης των πρωτων ψηφιων δεν είναι ομοιομορφη. Είναι η Κατανομη Newcomb - Benford:

p(x) = 𝒍𝒐𝒈𝟏𝟎 (𝟏 +𝟏

𝒙) = 𝒍𝒐𝒈𝟏𝟎 (

𝒙+𝟏

𝒙) = 𝒍𝒐𝒈𝟏𝟎(𝒙 + 𝟏) − 𝒍𝒐𝒈𝟏𝟎(𝒙)

∑𝒍𝒐𝒈𝟏𝟎 (𝟏 +𝟏

𝒙)

𝟗

𝒙=𝟏

= 𝒍𝒐𝒈𝟏𝟎(𝟏𝟎) − 𝒍𝒐𝒈𝟏𝟎(𝟏) = 𝟏

Newcomb S. 1881, "Note on the frequency of use of the different digits in natural numbers". American Journal of Mathematics Vol. 4, No. 1) 4 (1/4): 39–40. doi:10.2307/2369148 Benford F. 1938, "The law of anomalous numbers". Proceedings of the American Philosophical Society 78 (4): 551–572.

Ψηφιο 1 2 3 4 5 6 7 8 9 Συχνοτης 𝟎. 𝟑𝟎𝟏 𝟎. 𝟏𝟕𝟔 𝟎. 𝟏𝟐𝟓 𝟎. 𝟎𝟗𝟕 𝟎. 𝟎𝟕𝟗 𝟎. 𝟎𝟔𝟕 𝟎. 𝟎𝟓𝟖 𝟎. 𝟎𝟓𝟏 𝟎. 𝟎𝟒𝟔

𝓢𝑵𝑩 = −(𝟎. 𝟑𝟎𝟏𝐥𝐨𝐠𝟐𝟎. 𝟑𝟎𝟏 + 𝟎. 𝟏𝟕𝟔𝐥𝐨𝐠𝟐𝟎. 𝟏𝟕𝟔 + 𝟎. 𝟏𝟐𝟓𝐥𝐨𝐠𝟐𝟎. 𝟏𝟐𝟓 + 𝟎. 𝟎𝟗𝟕𝐥𝐨𝐠𝟐𝟎. 𝟎𝟗𝟕+ 𝟎. 𝟎𝟕𝟗𝐥𝐨𝐠𝟐𝟎. 𝟎𝟕𝟗 + 𝟎. 𝟎𝟔𝟕𝐥𝐨𝐠𝟐𝟎. 𝟎𝟔𝟕 + 𝟎. 𝟎𝟓𝟖𝐥𝐨𝐠𝟐𝟎. 𝟎𝟓𝟖 + 𝟎. 𝟎𝟓𝟏𝐥𝐨𝐠𝟐𝟎. 𝟎𝟓𝟏+ 𝟎. 𝟎𝟒𝟔𝐥𝐨𝐠𝟐𝟎. 𝟎𝟒𝟔)

𝓢𝑵𝑩 = 𝟎. 𝟓𝟐𝟏 + 𝟎. 𝟒𝟒𝟑 + 𝟎. 𝟑𝟕𝟓 + 𝟎. 𝟑𝟐𝟔 + 𝟎. 𝟐𝟖𝟗 + 𝟎. 𝟐𝟔𝟏 + 𝟎. 𝟐𝟑𝟖 + 𝟎. 𝟐𝟏𝟗 + 𝟎. 𝟐𝟎𝟒

= 𝟐. 𝟖𝟕𝟔

𝓢𝑵𝑩 < 𝓢𝑼𝜨 ΑΣΚΗΣΗ 1) Ισχυει ο Ν. Newcomb- Benford για τα αλλα συστηματα αριθμησεως? 3,4,5,….,21? 2) Από τις κατανομες 𝝆𝟑 , 𝝆𝟒, … , 𝝆𝟐𝟏 υπολογιστε τις αντιστοιχες Εντροπιες 3) Πως Eξαρταται από το Ν? Βαθμος 1) 0.5, 2) 0.5, 3) 0.5 +Οριακο Θεωρημα 0.5

Εντροπια Γλωσσων. Μαθηματικη Γλωσσολογια SYMBOL PROBABILITY

Μηδενικη Υποθεση: Όλα τα Συμβολα της Γλωσσας ειναι Ισοπιθανα

𝓢𝒎𝒂𝒙 = 𝟐𝟕(−𝟏

𝟐𝟕𝒍𝒐𝒈𝟐

𝟏

𝟐𝟕) = 𝒍𝒐𝒈𝟐𝟐𝟕 ≃ 𝟒. 𝟕𝟓

𝓢𝑬𝑵𝑮𝑳𝑰𝑺𝑯 = −∑𝒑𝝂𝒍𝒐𝒈𝟐𝒑𝝂

𝟐𝟕

𝝂=𝟏

≃ 𝟒. 𝟏𝟏

Shannon 1951 Prediction and Entropy of Printed English Bell Syst. Tech. J. 30, 50-64

space 0.1859 A 0.0642 B 0.0127 C 0.0218 D 0.0317 E 0.1031 F 0.0208 G 0.0152 H 0,0467 I 0.0575 J 0.0008 K 0.0049 L 0.0321 M 0.0198 N 0.0574 O 0.0632 P 0.0152 Q 0.0008 R 0.0484 S 0.0514 T 0.0796 U 0.0228 V 0.0083 W 0.0175 X 0.0013 Y 0.0164 Z 0.0005

Η Εντροπια 𝓢𝑬𝑵(𝜮) δεν επαρκει για τον Μαθηματικο χαρακτηρισμο της Αγγλικης Γλωσσας

(και κάθε Γλωσσας) διοτι δεν εμπεριεχει τις Πιθανοτητες εμφανισης Lεξεων ουτε το Νοημα Ο Zipf εκτιμησε την Πιθανοτητα εμφανισης Λεξεων:

𝒑𝒏 =𝟎. 𝟏

𝒏

𝒏 : η ταξη συχνης εμφανισης των λεξεων Zipf G. 1949, Human Behavior and the Principle of Least Effort, Addison-Wesley, Readiisg, Massachusetts

Επειδη

∑𝟎.𝟏

𝒏

∞

𝒏=𝟏

= ∞

Ο Shannon τονισε ότι η κατανομη Zipf περιοριζει το λεξικo σε λεξεις ταξεως το πολύ 8727 ωστε να είναι η 𝒑𝒏 κατανομη Πιθανοτητος:

∑𝟎.𝟏

𝒏

𝟖𝟕𝟐𝟕

𝒏=𝟏

= 𝟏

Οποτε:

𝓢𝑬𝑵(𝜦) ≃ − ∑ (𝟎. 𝟏

𝒏) 𝒍𝒐𝒈𝟐 (

𝟎. 𝟏

𝒏)

𝟖𝟕𝟐𝟕

𝒏=𝟏

≃ 𝟏𝟏. 𝟖𝟐

Shannon 1951, Prediction and Entropy of Printed English, Bell Syst. Tech. J. 30, 50-64

Ο Yavuz διορθωσε την εκτιμηση Shannon ανεβαζοντας to «αποδεκτο» λεξικο σε 12366 λεξεις, οποτε:

𝓢𝑬𝑵(𝜦) ≃ − ∑ (𝟎. 𝟏

𝒏) 𝒍𝒐𝒈𝟐 (

𝟎. 𝟏

𝒏)

𝟏𝟐𝟑𝟔𝟔

𝒏=𝟏

≃ 𝟗. 𝟕𝟐

Yavuz D. 1974, Zipf's Law and Entropy, IΕΕΕ Transactions on Information Theory, Sept. 1974, 650.

Για την Εντροπια στην Γλωσσολογια:

• Dobrushin R.L. 1961, Mathematical methods in Linguistics, Mat. Prosveschchenie 6, 37-59

• Montemurro Μ., Zanette Δ. 2011, Universal Entropy of Word Ordering Across Linguistic Families, PLoS ONE, Vol. 6, Issue 5, DOI: 10.1371/journal.pone.0019875.

Καλπες με Λευκους,Μαυρους, Κοκκινους βωλους [Y 51] Η Καλπη Α περιεχει 10 λευκους, 5 μαυρους, 5 κοκκινους Βωλους (20) Η Καλπη Β περιεχει 8 λευκους, 8 μαυρους, 4 κοκκινους Βωλους (20) Επιλεγω (τυχαια) ενα Βωλο απο καθε Καλπη Ποια Επιλογη ειναι πιο Bεβαια για να στοιχηματισω? Πιο Βεβαια η Επιλογη Μικροτερης Εντροπιας

𝓢Α = −pλ,A 𝐥𝐨𝐠𝟐(pλ,A) –pμ,A 𝐥𝐨𝐠𝟐(pμ,A)− pκ,A 𝐥𝐨𝐠𝟐(pκ,A) = − 𝟏

𝟐𝐥𝐨𝐠𝟐

𝟏

𝟐− 𝟏

𝟒𝒍𝒐𝒈𝟐

𝟏

𝟒−

𝟏

𝟒𝒍𝒐𝒈𝟐

𝟏

𝟒

=𝟏

𝟐∙ 𝟏 +

𝟏

𝟒∙ 𝟐 +

𝟏

𝟒∙ 𝟐 = 𝟏. 𝟓bits

pλ,A=𝟏

𝟐 pμ,A=

𝟏

𝟒 pκ,A=

𝟏

𝟒

𝒮Β= −pλ,Β 𝐥𝐨𝐠𝟐(pλ,Β) –pμ,Β 𝐥𝐨𝐠𝟐(pμ,Β)− pκ,Β ld(pκ,Β)= − 𝟐

𝟓 𝐥𝐨𝐠𝟐

𝟐

𝟓− 𝟐

𝟓 𝐥𝐨𝐠𝟐

𝟐

𝟓−

𝟏

𝟓 𝐥𝐨𝐠𝟐

𝟏

𝟓 ≅

𝟒

𝟓∙ 𝟏, 𝟑𝟐 +

𝟏

𝟓∙

𝟐, 𝟑𝟐 ≅ 𝟏. 𝟓𝟐bits

pλ,A=𝟐

𝟓 pμ,A=

𝟐

𝟓 pκ,A=

𝟏

𝟓

𝓢Α < 𝓢Β Απαντηστε με Θεωρια Πιθανοτητων Εργασια {1}

Πως Στοιχηματιζω?

Οdds =𝐩

𝟏−𝐩

The language of odds for intuitively estimated risks is found in the 16th century,

before the invention of mathematical probability.

Shakespeare 1560, Henry IV, Part II, Act I scene 1 lines 181-2:

“Knew that we ventured on such dangerous seas

that if we wrought out life 'was ten to one”

Στρατηγικη Στοιχηματων

Kelly J. L., Jr. 1956 , A New Interpretation of Information Rate,

Bell System Technical Journal 35: 917–926

Ερμηνεια Πληροφοριας μεσω Στοιχηματων Συστηματικη Θεωρια Στοιχηματων-Επενδυσεων Εργασια {2}

Προβλεψη Καιρου Απο Παρατηρησεις σε ενα τοπο οι στατιστικες εκτιμησεις εδειξαν οτι την ημερα Α η πιθανοτητα βροχης ειναι 0.4 την ημερα Β η πιθανοτητα βροχης ειναι 0.65 και η πιθανοτητα χιονοπτωσης ειναι 0.15 Ποια Προβλεψη Καιρου ειναι πιο Βεβαιη? Σε Ποια Περιπτωση ειναι ασφαλεστερο να παρω ομπρελλα? [Y 52] Πιο Βεβαια η Προβλεψη Μικροτερης Πληροφοριας Προβλεψη Καιρου 𝓢Α=−pA,βροχη𝒍𝒐𝒈𝟐pA,βροχη−pA,oχι βροχη𝒍𝒐𝒈𝟐pA,οχι βροχη≅−0.4𝒍𝒐𝒈𝟐0.4−0.6𝒍𝒐𝒈𝟐0.6 = 0.97bits 𝓢B=−pB,βροχη∙𝒍𝒐𝒈𝟐pB,βροχη−pB,χιονι ∙𝒍𝒐𝒈𝟐pΒ,χιονι−pB,οχι βροχη, οχι χιονι ∙𝒍𝒐𝒈𝟐pΒ,οχι βροχη, οχι χιονι = =−0.65∙𝒍𝒐𝒈𝟐0.65−0.15∙𝒍𝒐𝒈𝟐0.15−0.2∙𝒍𝒐𝒈𝟐0.2 ≅ 1,28bits 𝓢Α < 𝓢B

Ο καιρος πιο απροβλεπτος την ημερα Β

Προβλεψη Ομπρελλας Ξ = Βροχη ειτε Χιονι pA,Ξ = pA,βροχη=0.4 pΒ,Ξ = pΒ,βροχη + pB,χιονι =0.8 Ξc = Oxι Βροχη και Οχι χιονι 𝒑𝐀,𝜩𝒄 = pA,oxι βροχη=0.6

𝒑𝚩,𝜩𝒄 = 1−pΒ,βροχη −pB,χιονι =0.2

𝓢Α=−pA,Ξ 𝐥𝐨𝐠𝟐pA,Ξ−𝒑𝐀,𝜩𝒄 𝐥𝐨𝐠𝟐𝒑𝐀,𝜩𝒄=−0.4 𝐥𝐨𝐠𝟐0.4−0.6 𝐥𝐨𝐠𝟐0.6≅0.97bits

𝓢B=− pΒ,Ξ 𝐥𝐨𝐠𝟐pΒ,Ξ −𝒑𝚩,𝜩𝒄 𝐥𝐨𝐠𝟐𝒑𝚩,𝜩𝒄 =−0.8∙ 𝐥𝐨𝐠𝟐0.8−0.2∙ 𝐥𝐨𝐠𝟐0.2 ≅ 0,72bits

𝓢Α > 𝓢B

Α: Η πιθανοτης να χρειαστω ομπρελλα ειναι 0.4 με Αβεβαιοτητα Προβλεψης 0.97 bits Β: Η πιθανοτης να χρειαστω ομπρελλα ειναι 0.6 με Αβεβαιοτητα Προβλεψης 0.72 bits Απαντηστε με Θεωρια Πιθανοτητων Εργασια {1}

Διαχειριση Ψευδους 1 Oι κατοικοι της πολης Α ειναι παντα ειλικρινεις Oι κατοικοι της πολης Β ειναι παντα ψευτες Ενας ξενος που γνωριζει τα ηθη τους βρεθηκε σε μια απο τις 2 πολεις, αλλα δεν γνωριζει σε ποια απο τις 2 Ποσες ερωτησεις με απαντηση ΝΑΙ/ΟΧΙ πρεπει να ρωτησει εναν περαστικο (κατ ελαχιστον)

για να μαθει σε ποια πολη ευρισκεται (Στην πολη μπορει να ευρισκονται δημοτες απο τις αλλες πολεις) [Υ 101] Π= η πολη στην οποια ευρισκεται ο ξενος , {Α ,Β} Δ= η πολη στην οποια ειναι δημοτης ο περαστικος , {Α , Β} Υπαρχουν 4 εκδοχες (Π,Δ)={(Α,Α),(Α,Β),(Β,Α),(Β,Β)} που μπορουμε να θεωρησουμε ισοπιθανες ελλειψει αλλων δεδομενων

𝓢(Π,Δ) = 4 (−𝟏

𝟒𝐥𝐨𝐠𝟐

𝟏

𝟒) = 𝐥𝐨𝐠𝟐4 = 2

Παραδειγμα 1) Η ερωτηση 1+1=2 ? αποφαινεται την Δ 2) Η ερωτηση Ειμαι στην πολη Α? αποφαινεται την Π

Διαχειριση Ψευδους 2

Oι κατοικοι της πολης Α ειναι παντα ειλικρινεις Oι κατοικοι της πολης Β ειναι παντα ψευτες Oι κατοικοι της πολης Γ ειναι αλλοτε ειλικρινεις, αλλοτε ψευτες Ενας ξενος που γνωριζει τα ηθη τους βρεθηκε σε μια απο τις 3 πολεις, αλλα δεν γνωριζει σε ποια απο τις 3 Ποσες ερωτησεις με απαντηση ΝΑΙ/ΟΧΙ πρεπει να ρωτησει εναν περαστικο κατ ελαχιστον για να μαθει σε ποια πολη ευρισκεται (Στην πολη μπορει να ευρισκονται δημοτες απο τις αλλες πολεις) [Υa , 101] Π=η πολη στην οποια ευρισκεται ο ξενος , {Α ,Β,Γ} Δ= η πολη στην οποια ειναι δημοτης ο περαστικος , {Α , Β,Γ} Υπαρχουν 9 εκδοχες (Π,Δ)={(Α,Α),(Α,Β),(Α,Γ),(Β,Α), (Β,Β),(Β,Γ), (Γ,Α), (Γ,Β),(Γ,Γ)} που μπορουμε να θεωρησουμε ισοπιθανες ελλειψει αλλων δεδομενων

𝓢(Π,Δ) = 9 (−𝟏

𝟗∙ 𝐥𝐨𝐠𝟐

𝟏

𝟗) = 𝐥𝐨𝐠𝟐9 ≃ 3.17 ≥ 𝐥𝐨𝐠𝟐8=3

3 ≤ 𝓢(Π,Δ) ≤ 3+1 Πρεπει να κανει τουλαχιστον 4 Ερωτησεις Παραδειγμα 1) Ειμαι στην πολη Α ειτε στην πολη Β? 2) Ειμαι στην πολη Γ ? 3) Εισαι Δημοτης της πολης Γ ? 4) Ειμαι στην πολη Α?

Διακριση γνησιων / καλπικων Νομισματων

Εχω n Νομισματα του 1 ευρω. Τα n – 1 εχουν ισο βαρος, το 1 εχει διαφορετικο βαρος. Ποσες ζυγισεις με ζυγο 2 δισκων ειναι αναγκαιες για να βρω το καλπικο νομισμα και να εξακριβωσω εαν ειναι βαρυτερο η ελαφροτερο? [108] Εργασια {1}

“Entropy really measures the degrees of freedom of the system (rather than the ‘disorder’ of the system)”. Jun S. and Andrew Wright Α. 2010, Entropy as the driver of chromosome Segregation, Nature Reviews 8, 600-607

Entropy as Estimation of Disorder, Surprise, Diversity McDonald G. 2003, Biogeography: Space, Time and Life, Wiley, New York

7 Eντροπια Κατανομων Πιθανοτητας

ENTΡΟΠΙΑ Διακριτων Κατανομων

Binomial RV: ρ(x) = 𝐍!

𝐱!(𝐍−𝐱)! 𝐩𝐱(𝟏 − 𝐩)𝐍−𝐱 , 0≤ p ≤1

x=0,1,2,…,N , o αριθμος επιτυχιων σε N =1,2,3,… δοκιμες Bernoulli H Aπλουστερη περιπτωση: Μια Ριψη Νομισματος: N=1 ρ(1) = p , ρ(0) = 1 − p H Πληροφορια της Διωνυμικης Μεταβλητης ειναι η Πληροφορια που αποκτω οταν μαθω το αποτελεσμα της ριψης

Eντροπια Διακριτων Kατανομων Μεταβλητη Κατανομη ρ(x) Διακυμανση Εντροπια 𝒮[ρ] = −∑ 𝑝𝑎𝑙𝑜𝑔2

𝑛𝑎=1 𝑝𝑎 (bits)

Oμοιομορφη 𝜌(𝑥) =

1

𝑛

x = 1,2,… , n

𝜎2 =𝑛2 − 1

12 𝑙𝑜𝑔2𝑛 =

1

2𝑙𝑜𝑔2 (12𝜎

2 + 1)

Bernoulli ρ0 = p, ρ1=(1−p)

x = 0,1

𝜎2 = p(1 − p) J2(ρ) = −𝑝𝑙𝑜𝑔2𝑝 − (1 − 𝑝)𝑙𝑜𝑔2(1 − 𝑝)

= −1+√1−𝜎2

2𝑙𝑜𝑔2

1+√1−𝜎2

2−1−√1−𝜎2

2𝑙𝑜𝑔2

1−√1−𝜎2

2

Binomial 𝜌(𝑥) =n!

x! (n − x)! px(1 − p)n−x

0≤ p ≤1

x = 0,1,2, … , n

𝜎2 = np(1 − p) 𝑙𝑜𝑔2𝜎 +𝑙𝑜𝑔2 (2𝜋𝑒)

2+ 𝛰 (

1

𝑛)

Γεωμετρικη 𝜌(𝑥) = px (1−p)

x = 0,1,2, … , n

𝜎2 =𝑝

(1 − 𝑝)2

1

1−p J2(ρ) = −

𝑝

1−𝑝𝑙𝑜𝑔2𝑝 − 𝑙𝑜𝑔2(1 − 𝑝)

Poisson 𝜌(𝑥) =e−x𝜆𝑥

x! , λ ∈[0,+∞)

x = 0,1,2, … , n

𝜎2 = 𝜆 𝜎2(1 − 𝑙𝑜𝑔2𝜎

2) + 𝑒−𝜎2∑

𝜎2𝜈𝑙𝑜𝑔2(𝜈!)

𝜈!

∞

𝜈=0

Zipf Power Law

𝜌(𝑥) =𝑥−𝛼

𝜁𝑛(𝛼)

ζ𝑛(𝛼) = ∑ 𝜈−𝛼𝑛

𝜈=1

x = 1,2,… , n

Απειρη

𝑙𝑜𝑔2(ζ𝑛(𝛼)) + 𝑎

ζ𝑛(𝛼)∑𝜈−𝑎𝑙𝑜𝑔2(𝜈)

𝑛

𝜈=1

Knessl C. 1998, Integral Representations and Asymptotic Expansions for Shannon and Renyi Entropies, Appl. Math. Let. 11, 69-7

Eντροπια (Απολυτως) Συνεχων Kατανομων και Διαταξη ως προς την Εντροπια Mεταβλητη Κατανομη ρ(x) Διακυμανση Εντροπια 𝓢(ρ)= −∫dx ρ(x) lnρ(x) (nats) Rayleigh ρ(x) = 2𝛼2𝑥 𝑒−𝛼

2𝑥21[0,+∞)(x) 𝜎2 =4 − 𝜋

4𝛼2 𝑙𝑛σ + 1 +

𝑙𝑛(4 − 𝜋) + 𝛾

2

≅ 𝑙𝑛σ+1.50

Gauss ρ(x) =

1

𝜎√2𝜋 e−

1

2(x−m

𝜎)2

𝜎2

𝑙𝑛σ +𝑙𝑛(2𝜋𝑒)

2

≅ 𝑙𝑛σ+1.42

Laplace ρ(x) =

1

2𝜏 𝑒−

|x−𝑚|

𝜏

𝜎2 = 2𝜏2 𝑙𝑛σ + 1 +

𝑙𝑛2

2

≅ 𝑙𝑛σ+1.35

Oμοιομορφη στο [α,β] ρ(x) =

1

𝛽 − 𝛼 1[α,β](x) 𝜎2 =

(𝛽 − 𝛼)2

12 𝑙𝑛σ +

𝑙𝑛(12)

2 ≅ 𝑙𝑛σ+1.24

Μaxwell-Boltzmann ρ(x)=

1

𝛼3√2

𝜋 𝑥2𝑒

− 𝑥2

2𝑎2 𝜎2 = 𝛼23𝜋 − 8

𝜋 𝑙𝑛𝜎 + 𝑙𝑛

𝜋√2

3𝜋 − 8+ 𝛾 −

1

2

≅ 𝑙𝑛σ+1.05

Εκθετικη ρ(x) =

1

𝜏 𝑒−

x𝜏 1[0,+∞)(x)

𝜎2 = 𝜏2 𝑙𝑛σ + 1 = 𝑙𝑛σ + 1

Pareto ρ(x)= (𝑎 − 1)𝜉𝛼−1𝑥−α 1[ξ,∞)(x)

𝜎2 =𝛼𝜉2

(𝛼−1)2(𝛼−2)

α>2 𝑙𝑛σ + 𝑙𝑛 (

𝛼 − 1

𝛼√𝛼 − 2

𝛼) +

𝛼 + 1

𝛼

≅ 𝑙𝑛σ + 0.62

𝛼 = 4

Cauchy-Lorentz ρ(x) =

1

𝜋

𝛼

𝑎2 + (𝑥 − α)2

Απειρη 𝑙𝑛(4𝜋 𝛼) ≅ 2.53 𝛼 = 1

Levy

ρ(x) = √𝑎

2𝜋 𝑒−

𝑎2𝑥

𝑥32⁄ 1[0,∞)(x)

Απειρη 1 + 3𝛾 + 𝑙𝑛(16𝜋𝑎2)

2

≅ 3.32 𝛼 = 1

𝛾 = ∑ [1

𝜈− 𝑙𝑛 (1 +

1

𝜈)]∞

𝜈=1 ≅ 0.57721566 : Euler’s Number

3 distributions with equal Mean and Variance and Different Entropies

Distribution Formula Mean Variance Entropy Laplace (Red)

𝜌(𝑥) =√2

2 𝑒−|𝑥|√2

𝑚 = 0

𝜎 = 1

1.35

Gauss (Green) 𝜌(𝑥) =

1

√2𝜋𝑒−

12𝑥2

1.42

Uniform (Blue) 𝜌(𝑥) =

1

√121[−√122,+√122](𝑥)

1.24

ΣΧΟΛΙΟ Παρατηρουμε ότι η Διαταξη ως προς την Εντροπια δεν συναδει με την Διαταξη ως προς την Τυπικη Αποκλιση Συνεπως δεν διαφαινεται καποια σχεση μεταξυ Ακριβειας (Accuracy) και η Εστιασης-Ευστοχιας (Precision) Εργασια Υπολογιστε την Εντροπια 5 Kατανομων:

{0.1} βαθμος για κάθε Κατανομη (Πληρης Υπολογισμος)

8 H Eντροπια ως Στατιστικη Παραμετρος Διασπορας

ΣΧΟΛΙΟ

Τhe Entropy estimates the uncertainty about the outcome of the Observation of the Variable. This uncertainty arises because we cannot predict exactly what the actual outcome of the Observation will be. The probability distribution is our estimation or Hypothesis about the state of the system and the means for prediction There is no assumption about the existence of the value of the RV before Observation

But the statement:

Τhe Entropy estimates the uncertainty about the value of the Variable.

Implicitly assumes that the value of the RV A exists but we do not know it

ΣΧΟΛΙΟ

Entropy is a Dispersion Index (Δεικτης Διασπορας) for both Quantitative and Qualitative Variables Entropy is included in the list of Statistical Parameters

Entropy indicates how “randomly” the values of the Variable are distributed Max Entropy means maximum randomness

ΣΧΟΛΙΟ

Entropy is different from Variance

The Variance estimates the uncertainty of the outcome of the Observation of a Numerical RV, taking into account the distance of the outcome values from the mean value.

𝝈𝟐 =Var(X) = Ε[ (X−m)2 ]

𝝈𝟐 = ∑ (𝐱𝝂 − 𝐦)𝟐 𝒑𝝂

𝟐𝝂 , for Discrete Variables

𝝈𝟐 = ∫ (𝒙 −𝒎)𝟐𝝆(𝒙)𝒅𝒙+∞

−∞ , for Continuous Variables

Where 𝒎 = 𝜠[𝜲] the Expectation Value of the Variable X

𝒎 = ∑ 𝐱𝝂 𝒑𝝂𝝂 , for Discrete Variables

𝒎 = ∫ 𝒙𝝆(𝒙)𝒅𝒙 +∞

−∞, for Continuous Variables

ΣΧΟΛΙΟ

Τhe Entropy may exist even when the Variance is Infinite (Kατανομες Zipf, Cauchy-Lorentz, Levy)

ΣΧΟΛΙΟ

Τhe Entropy 𝓢 is in some cases related to the Variance 𝝈𝟐 with the simple formula:

𝓢 = 𝐥𝐧𝛔+𝜶 , 𝜶 > 𝟎 (Kατανομες Binomial, Uniform Continuous, Exponential, Laplace, Gauss, Rayleigh, Μaxwell-Boltzmann) In other cases the relation of Entropy and Variance is more complicated (Uniform Discrete, Bernoulli, Geometric, Poisson)

ENTROPY and VARIANCE

Same Variance (Accuracy)

Low Entropy High Precision

High Entropy Low Precision

Same Entropy (Precision)

High Variance Low Accuracy

Low Variance High Accuracy

ΣΧΟΛΙΟ Σφαλματα (Errors) που οδηγουν σε Απατες (Delusions) Ατομικες-Συλλογικες

Syntactic Processing Errors

Observation Errors Τυχαια, Ακριβειας (Accuracy) Τυπικη Αποκλιση

Συστηματικα, Σαφηνειας (Precision) Εντροπια

Approximation Εrrors Analytic Approximations

Asymptotic Approximations

Computation Εrrors (Finite Representation)

Rounding Στρογγυλευση π =3.1415926535…≃3.1416

Truncation Αποκοπη π ≃3.1415926535…≃3.1415

Logical Errors Processing Errors, Paradoxes

Statistical Errors Estimation-Decision Errors

Testing Hypothesis Errors, Validation Errors

Semantic Processing Errors

Perception Errors (Σφαλματα Aντιληψης), Hallucinations

Deception (Αυταπατη), Cognitive Bias, Glamour,

Πλανη (Illusions, Misinterpretation, Ontological Errors, Λαθος Πλαισιο)

Significance Errors

Εμμονη σε Subjective Υποθεσεις-Beliefs-Representations of Reality που είναι Eσφαλμενες

Λαθος είναι το Σφαλμα που Λανθανει της Προσοχης και για το οποιο δεν εχουμε Επιγνωση Tα Σφαλματα μπορει να ωφειλονται και σε Υλικες Δυσλειτουργιες (Hardware Malfunctions), όπως Brain Deficits (Ανοια, Μωρια, Χημικες Παρεμβασεις-Αλλοιωσεις).

9 Κατανομες Μεγιστης Εντροπιας

Definition Maximum Entropy Probability Distribution (within a class of Probabilities) a probability distribution whose entropy is not less than the Entropy of the other members of the class of distributions. Principle of Maximum Entropy Select the probability distributions with maximum Entropy among distributions in a certain class. Reasons: 1) Maximum Entropy Probability Distributions have minimal prior information (maximum Uncertainty), are most random 2) Maximum Entropy Probability Distributions are Equilibrium Distributions for many physical systems 3) Initial Distributions evolve towards Maximum Entropy Probability Distributions for many physical systems. ⟺ Maximum Entropy Distributions are global asymptotic Attractors for many physical systems Jaynes E. 2005, Probability Theory. The Logic of Science, Cambridge University Press

What is the Probability Density associated with Maximum Entropy

The distributions which maximize entropy under certain natural conditions are simple.

3 basic cases: 1) The RV Χ is supported on the Real Interval [α,β] Uniform Distribution

2) The RV Χ takes only non-negative values and has finite mean value m Exponential Distribution

3) The RV Χ takes all real values and has finite variance σ2 Gaussian Distribution with zero mean and variance σ2

The RV Χ takes all real values and has fixed mean m and variance σ2

Gaussian Distribution with mean m and variance σ2

1) The RV Χ is supported on the Real Interval [α,β]

𝓢(Χ)=−∫ 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙)𝛃

𝛂

∫𝒅𝒙𝝆(𝒙) = 𝟏

𝛃

𝛂

ρΜ(x)= 𝟏

𝜷−𝜶 Uniform Distribution

𝓢Μ =ln(β−α) the MAX Entropy Microcanonical Distribution SM

Γενικευση: 𝓢Μ = 𝟏

𝐥𝐧𝓿 , 𝓿= ο ογκος του πεδιου μεταβολης της ΤΜ Α=(Α1, Α2, …, ΑΝ)

ρΜ(α)= 𝟏

𝓿

2) The RV Χ takes only non-negative values and has finite mean value m

𝓢(Χ)=−∫ 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙)+∞

𝟎

∫ 𝒅𝒙𝝆(𝒙) = 𝟏

+∞

𝟎

∫ 𝒅𝒙 𝒙 ∙ 𝝆(𝒙) = 𝒎

+∞

𝟎

ρΜ(x)= 𝟏

𝒎𝐞−

𝐱

𝐦 Exponential Distribution

𝓢Μ = lnm+1 the MAX Information Canonical Distribution SM

3) The RV Χ takes all real values and has finite variance σ2

𝓢(Χ)=−∫ 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙)+∞

−∞

∫ 𝒅𝒙𝝆(𝒙) = 𝟏

+∞

−∞

∫ 𝒅𝒙 𝒙𝟐 ∙ 𝝆(𝒙) = 𝝈𝟐+∞

−∞

ρΜ(x)= ρ(x)=𝟏

√𝟐𝝅𝝈exp (−

𝐱

𝝈√𝟐)𝟐 Gaussian Distribution

𝓢Μ = ln√𝟐𝝅𝒆𝝈 the MAX Information

Grand Canonical Distribution SM

4) The RV Χ takes all real values and has fixed mean m and variance σ2

Entropy is maximised by the Gaussian Distribution

Aποδ. 1) Με Gibbs inequality 2) Functions of Several Real Variables Μaxima with Constraints Langrange Multipliers Table of Maximum Entropy Distributions: Park S. Y., Bera A. K. 2009, Maximum entropy autoregressive conditional heteroskedasticity model, Journal of Econometrics 150, 219-230 ΕΡΓAΣΙΑ {0.25} για κάθε Αποδειξη Επιλεξτε το πολύ 4 Maximum Entropy Distributions

10 Εντροπια και Πιθανοτητα

Εαν διαθετω μοντελο πιθανοτητος p, τοτε οριζω την Πληροφορια. Ισχυει το Αντιστροφο? Δηλαδη: Μπορω να ορισω Πληροφορια χωρις Πιθανοτητα και να προκυψει η Πιθανοτητα απο την Πληροφορια? ΝΑΙ! Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301 Πιθανοθεωρητικη ερμηνεια της Πληροφοριας Πληροφοριακη ερμηνεια της Πιθανοτητας

ΣΧΟΛΙΟ “Information theory must precede probability theory, and not be based on it. By the very essence of this discipline, the foundations of information theory have a finite combinatorial character. The applications of probability theory can be put on a uniform basis. It is always a matter of consequences of hypotheses about the impossibility of reducing in one way or another the complexity of the description of the objects in question. Naturally, this approach to the matter does not prevent the development of probability theory as a branch of mathematics being a special case of general measure theory. The concepts of information theory as applied to infinite sequences give rise to very interesting investigations, which, without being indispensable as a basis of probability theory, can acquire a certain value in the investigation of the algorithmic side of mathematics as a whole.” Kolmogorov 1970 talk at Nice published in Kolmogorov A.N. 1983, Combinatorial Foundations of Information Theory and the Calculus of Probabilities, Russian Math. Surveys 38:4 , 29-40