Μαθηματικά Mathematicscosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 5... ·...

Μαθηματικά και Στατιστικη στην Βιολογια

ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ (1ο)

Mathematics and Statistics

in Biology

WINTER SEMESTER (1st)

Τμημα Βιολογιας Αριστοτελειο Πανεπιστημιο

Θεσσαλονικης

School of Biology Aristotle University of

Thessaloniki

5. Δεικτες Παραμετροι

Iωαννης Αντωνιου Χαραλαμπος Μπρατσας [email protected] [email protected] Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

mailto:[email protected]

mailto:[email protected]

Σκοπος-Περιεχομενο Ποιοι οι βασικοι Δεικτες- Στατιστικες Παραμετροι Στατιστικοι Δεικτες- Παραμετροι Θεση Κατανομης (Location Parameters)

Μέση Τιμή (mean) Ροπες (Moments) Kορυφες (modes) Διάμεσος (median). Ποσοστημορια (Quantiles, Percentiles)

Eξαπλωση- Εκταση Κατανομης (Spread or Dispersion)

Εύρος (range). Διασπορα (variance) Τυπική Απόκλιση (standard deviation) Σχετικο Σφαλμα (relative error) = Mεταβλητοτης (CV) Αποστασεις Ποσοστημοριων Eντροπια Entropy (και για κατηγορικες μεταβλητες)

Σχημα Κατανομης (Shape Parameters)

Λοξότητα (skewness). Κύρτωση (kurtosis).

Εξαρτηση Μεταβλητων

Συντελεστης Συνδιασπορας Pearson Αμοιβαια Πληροφορια (Mutual Information) (και για κατηγορικες μεταβλητες)

Στατιστικοι Δεικτες- Παραμετροι Οι Στατιστικοι Δεικτες (Παραμετροι) οριζονται: • Θεωρητικα από την Κατανομη Πιθανοτητας 𝜌:

𝜽 = 𝜽 𝝆 • Εμπειρικα από τα Δεδομενα των Παρατηρησεων θεωρωντας ως Πιθανοτητα την Εμπειρικη Σχετικη Συχνοτητα.

𝜽� = 𝓓� (Data) 𝒟�: Η Εμπειρικη Εκτιμητρια (Συναρτηση) της Παραμετρου • Διαπιστωθηκε όμως ότι οι Εμπειρικες Παραμετροι 𝜃� δεν ειναι παντοτε ικανοποιητικες Εκτιμησεις Η Εμπειρικη Τυπικη Αποκλιση δεν είναι Αμεροληπτη. Διορθωση Bessel 1830. Τεθηκαν ως εκ τουτου Κριτηρια Αξιολογησης- Επιλογης Εκτιμησεων από Δεδομενα Παρατηρησεων και προεκυψαν διαφορες Εκτιμητριες των Παραμετρων που συμβολιζονται ως:

𝜽� = 𝓓� (Data) 𝒟�: Η Εκτιμητρια (Συναρτηση) της Παραμετρου

Θεση Κατανομης (Location Parameters)



Εύρος (range). Διασπορα (variance) Τυπική Απόκλιση (standard deviation) Σχετικο Σφαλμα (relative error) = Mεταβλητοτης (CV)

Αποστασεις Ποσοστημοριων

Eντροπια (και για κατηγορικες μεταβλητες) Σχημα Κατανομης (Shape Parameters)



Συντελεστης Συνδιασπορας Pearson Αμοιβαια Πληροφορια (Mutual Information)

Μεση Τιμη 𝑚 = 𝑋� = 𝛦 𝛸 the Expectation Value of the Variable X 𝑚 = ∑ x𝜈 𝑝𝜈𝜈 , για Διακριτες Μεταβλητες

𝑚 = ∫ 𝑥𝜌(𝑥)𝑑𝑥 +∞−∞ , για Συνεχεις Μεταβλητες

η Μεταβλητη Αθροισμα Ενδειξεων 2 Ζαριων Μέση Τιμή m= 2 1

36+ 3 2

36+ 4 3

36+ 5 4

36+ 6 5

36+ 7 6

36+ 8 5

36+ 9 4

36+ 10 3

36+ 11 2

36+ 12 1

36

m= 2

36+ 6

36+ 12

36+ 20

36+ 30

36+ 42

36+ 40

36+ 36

36+ 30

36+ 22

36+ 12

36= 7

Το Αθροισμα των ενδειξεων 2 Ζαριων

Παρατηρησιμα Γεγονοτα (Κελια) Observable Events (Cells)

Πιθανοτητα Probability

2 Ξ2 ={ (1,1)} 1/36=3% 3 Ξ3 ={ (1,2), (2,1)} 2/36=6% 4 Ξ4 ={ (2,2), (1,3),(3,1)} 3/36=8% 5 Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4/36=11% 6 Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5/36=14% 7 Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6/36=17% 8 Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5/36=14% 9 Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4/36=11%

10 Ξ10 ={ (4,6), (5,5),(6,4)} 3/36=8% 11 Ξ11 ={ (5,6), (6,5)} 2/36=6% 12 Ξ12 ={ (6,6)} 1/36=3%

Μεση Τιμη Ιδιοτητες Θεωρημα 1) Γραμμικοτης E[cX]= cE[X], c πραγματικος αριθμος E[X1+X2]= E[X1] + E[X2] 2) Θετικοτης E[Χ] ≥0, εάν Χ ≥0 3) Κανονικοποιηση E[1]=1, 1(y)=1, η Μεταβλητη με σταθερη τιμη 1 Ε[Ο]=0, Ο(y)= 0, η Μεταβλητη με σταθερη τιμη 0 4) E[X1] ≤ E[X2], αν X1 ≤ X2 5) |Ε[Χ]| ≤ E[|X|] 6) Ε[g(Χ)] ≠ g(E[X]), g:Χ→ℝ, πραγματικη συναρτηση της μεταβλητης Χ Οπου: Ε[g(Χ)] = g(x1) p1+ g(x2)p2+… για διακριτες μεταβλητες = ∫ 𝑔(𝑥)𝜌(𝑥)𝑑𝑥+∞

−∞ για συνεχεις μεταβλητες

Μεση Τιμη Ιδιοτητες Θεωρημα: Ανισοτητα Μarkov

P[|X| ≥α] ≤ E |X|𝛼

, α>0 E |X|

𝛼 είναι το ποσοστο τιμων της Μεταβλητης Χ με μεγεθος τουλαχιστον α

Παραδειγμα: X = Το Αθροισμα των ενδειξεων 2 Ζαριων

P[|X| ≥7] ≤ 𝐄 |𝐗|𝟖

= 𝟕𝟕

= 𝟏

P[|X| ≥7]= 𝟔𝟑𝟔

+ 𝟓𝟑𝟔

+ 𝟒𝟑𝟔

+ 𝟑𝟑𝟔

+ 𝟐𝟑𝟔

+ 𝟏𝟑𝟔

= 𝟐𝟏𝟑𝟔

= 𝟎. 𝟓𝟖 P[|X| ≥8] ≤ 𝐄 |𝐗|

𝟖= 𝟕

𝟖= 𝟎. 𝟖𝟕𝟓

P[|X| ≥8]= 𝟓𝟑𝟔

+ 𝟒𝟑𝟔

+ 𝟑𝟑𝟔

+ 𝟐𝟑𝟔

+ 𝟏𝟑𝟔

= 𝟏𝟓𝟑𝟔

= 𝟎. 𝟒𝟏

P[|X| ≥9] ≤ 𝐄 |𝐗|𝟗

= 𝟕𝟗

= 𝟎. 𝟕𝟕𝟖

P[|X| ≥9]= 𝟒𝟑𝟔

+ 𝟑𝟑𝟔

+ 𝟐𝟑𝟔

+ 𝟏𝟑𝟔

= 𝟏𝟎𝟑𝟔

= 𝟎. 𝟐𝟕𝟖

Μεση Τιμη Εκτιμηση από το Δειγμα Μ Μετρησεις: 𝜒1, … , 𝜒𝛭 Φασμα n Tιμων: 𝑥1, … , 𝑥𝑛, n≤M

𝑚� =𝜒1 + ⋯ + 𝜒𝛭

𝛭=

𝑥1𝑓1 + ⋯ + 𝑥𝑛𝑓𝑛

𝑛= 𝑥1𝜌�1 + ⋯ + 𝑥𝑛𝜌�𝑛

Η Εμπειρικη Μεση Τιμη είναι Αμεροληπτη Εκτιμητρια

Poπη ν-ταξεως, ν=1,2,3,… mν = E[Xν ] = (x1)νρ1+ (x2)ν ρ2+…

= ∫ 𝑥𝜈𝜌(𝑥)𝑑𝑥+∞−∞

ΣΧΟΛΙΑ 1) m1 = m = E[X], η πρωτη ροπη είναι η Μεση Τιμη 2) m2 = E[X2] η «Ισχυς» ή «Ροπη Αδρανειας» ή Μεση Τιμη Τετραγωνου (mean square) της Μεταβλητης X 3) Aν γνωριζουμε τις ροπες, γνωριζουμε την κατανομη, υπο προυποθεσεις (moment problem). Συνηθως στην πραξη αρκουν οι 4 πρωτες ροπες για προσεγγιση της κατανομης

Παραδειγμα: X = Το Αθροισμα των ενδειξεων 2 Ζαριων E[𝑿𝟐] = 𝟐𝟐 𝟏

𝟑𝟔+ 𝟑𝟐 𝟐

𝟑𝟔+ 𝟒𝟐 𝟑

𝟑𝟔+ 𝟓𝟐 𝟒

𝟑𝟔+ 𝟔𝟐 𝟓

𝟑𝟔+ 𝟕𝟐 𝟔

𝟑𝟔+ 𝟖𝟐 𝟓

𝟑𝟔+ 𝟗𝟐 𝟒

𝟑𝟔+ 𝟏𝟎𝟐 𝟑

𝟑𝟔+ 𝟏𝟏𝟐 𝟐

𝟑𝟔+ 𝟏𝟐𝟐 𝟏

𝟑𝟔

E[𝑿𝟐] = 𝟒 𝟏

𝟑𝟔+ 𝟗 𝟐

𝟑𝟔+ 𝟏𝟔 𝟑

𝟑𝟔+ 𝟐𝟓 𝟒

𝟑𝟔+ 𝟑𝟔 𝟓

𝟑𝟔+ 𝟒𝟗 𝟔

𝟑𝟔+ 𝟔𝟒 𝟓

𝟑𝟔+ 𝟖𝟏 𝟒

𝟑𝟔+ 𝟏𝟎𝟎 𝟑

𝟑𝟔+ 𝟏𝟐𝟏 𝟐

𝟑𝟔+ 𝟏𝟒𝟒 𝟏

𝟑𝟔

E[𝑿𝟐] = 𝟎. 𝟏𝟏 + 𝟎. 𝟓 + 𝟏. 𝟑𝟑 + 𝟐. 𝟕𝟖 + 𝟓 + 𝟖. 𝟏𝟕 + 𝟖. 𝟖𝟗 + 𝟗 + 𝟖. 𝟑𝟑 + 𝟔. 𝟕𝟐 + 𝟒 E[𝑿𝟐] = 54.83 η Ισχυς της Χ

Ροπες Εκτιμηση από το Δειγμα

𝑚�𝜈 = 𝑥1𝜈𝜌�1 + ⋯ + 𝑥𝑛

𝜈𝜌�𝑛

Η Εμπειρικες Ροπες είναι Αμεροληπτες Εκτιμητριες

Κορυφες η Επικρατουσες Τιμες (Μοdes) Οι τιμες x=ξmode στις οποιες η Κατανομη ρ(x) εχει (τοπικα) μεγιστα Μονοκορυφες κατανομες (Unimodal) εχουν 1 μεγιστο Δικορυφες κατανομες (Βimodal) εχουν 2 μεγιστα

Διάμεσος (Median)

H τιμη x=𝜉1/2 : P[x< x1/2] ≤ 12 ≤ P[x ≤ x1/2]

Χρησιμοποιηθηκε από τον G. Fechner

Fechner Law 1860: Perception of Stimulus B = k ln 𝑩𝑩𝟎

B0 = the threshold of stimulus below which no stimulus is perceived B ≥ B0

Keynes, J.M. (1921) A Treatise on Probability, Pt II Ch XVII §5 (p 201)


Διαμεσος 𝝃𝟏/𝟐 = 7 = m = ξmode

Σχεση Μεσης Τιμης, Διαμεσου, Κορυφης Θεωρημα Για συμμετρικες κατανομες: Μεση Τιμη = Διαμεσος = Κορυφη Για λιγο ασυμμετρες κατανομες: Μεση Τιμη− Κορυφη ≈ 3(Μεση Τιμη− Διαμεσος) Για ασυμμετρες κατανομες προς τα αριστερα: α3 > 0 Μεση Τιμη > Διαμεσος > Κορυφη Για ασυμμετρες κατανομες προς τα δεξια: α3 < 0 Μεση Τιμη < Διαμεσος < Κορυφη

α−Ποσοστημοριο, 0<α<1 α−Quantile Η τιμη της μεταβλητης 𝑥 = 𝑥𝛼 , 0<α<1 με πιθανοτητα το πολύ α:

P[X < 𝑥𝛼] ≤ α ≤ P[x ≤ 𝑥𝛼] Αν F συνεχης και γνησιως αυξουσα, τοτε το α−Ποσοστημοριο είναι η λυση της Εξισωσης: 𝐹 𝐱 = α

𝑥𝛼 = 𝐹−1 𝜶

x1/4 = x0.25 το πρωτο τεταρτημοριο x1/2 = x0.50 το δευτερο τεταρτημοριο (η διαμεσος) x3/4 = x0.75 το τριτο τεταρτημοριο


x1/4 = x0.25 = 4

x1/2 = x0.50 = 7

x3/4 = x0.75 = 9

𝑥0.1 , 𝑥0.2 , … , 𝑥0.9 τα 9 Δεκατημορια (Deciles) Παραδειγμα: τα 9 Δεκατημορια της Κανονικης Κατανομης:

Εύρος H εκταση του φασματος: |xmax − xmin| Εύρος Δειγματος: xn − x1


Eυρος |xmax − xmin| = 12 – 2 = 10

Διακυμανση (Fluctuation) H τιμη (Χ – m) = (Χ – E[X]) ΣΧΟΛΙΟ Η Διακυμανση δειχνει ποσο απεχει η μετρηση από την Μεση Τιμη Συνεπως η Μεση Διακυμανση είναι εκτιμηση της Μεταβλητοτητος της Χ Θεωρημα H μεση Διακυμανση μηδενιζεται: Ε[(Χ – E[X])]=0 Αποδειξη Ε[(Χ – E[X])]= Ε[Χ] – E[Ε[X] = Ε[Χ] – Ε[X] = 0 ΣΧΟΛΙΟ Ειμαστε υποχρεωμενοι να ορισουμε άλλες παραμετρους για την Μεταβλητοτητα

Κεντρικη Poπη ν-ταξεως, ν= 1,2,3,… 𝓬ν = E[(Χ – m)ν ] = (x1−m)νp1+ (x2 −m)ν p2+… = ∫ (𝑥 − 𝑚)𝜈𝜌(𝑥)𝑑𝑥+∞

−∞ ΣΧΟΛΙΑ 1) 𝓬1 = Ε[(Χ – E[X])] = 0 2) Η 𝓬2 = Ε[(Χ – E[X])2] (η ροπη 2ας ταξεως της Μεταβλητης (Χ – m) ) είναι η Μεση Τιμη του Τετραγωνου (mean square) της Διακυμανσης Η απλουστερη εκτιμηση της Μεταβλητοτητας Θεωρημα Oι Κεντρικες Ροπες αρτιας Ταξεως Συμμετρικων ως προς τον Μεσο Κατανομων, μηδενιζονται

Διασπορα (Variance) var(X) = Ε[(X−m)2] = (x1−m)2p1+ (x2 −m)2 p2+… = ∫ (𝑥 − 𝑚)2𝜌(𝑥)𝑑𝑥+∞

−∞ Θεωρημα. Ιδιοτητες της Διασπορας • var[Χ] ≥0 • var [X+c] = var[X] Η τυπική απόκλιση δεν μεταβάλλεται άν στις τιμές της μεταβλητής Χ προστεθεί μια σταθερά • var [cX]= c2 var [X] , c πραγματικος αριθμος • var [X1+X2] = var [X1] + var [X2] • var [X] = E[X2]− (E[X])2 = E[X2]− m2 Aποδειξη Από τον ορισμο με Αλγεβρικες Πραξεις

Παραδειγμα: X = Το Αθροισμα των ενδειξεων 2 Ζαριων E[(𝑿 − 𝟕)𝟐] = (𝟐 − 𝟕)𝟐 𝟏

𝟑𝟔+ (𝟑 − 𝟕)𝟐 𝟐

𝟑𝟔+ (𝟒 − 𝟕)𝟐 𝟑

𝟑𝟔+ (𝟓 − 𝟕)𝟐 𝟒

𝟑𝟔+ (𝟔 − 𝟕)𝟐 𝟓

𝟑𝟔+ (𝟕 − 𝟕)𝟐 𝟔

𝟑𝟔 +

+(𝟖 − 𝟕)𝟐 𝟓

𝟑𝟔+ (𝟗 − 𝟕)𝟐 𝟒

𝟑𝟔+ (𝟏𝟎 − 𝟕)𝟐 𝟑

𝟑𝟔+ (𝟏𝟏 − 𝟕)𝟐 𝟐

𝟑𝟔+ (𝟏𝟐 − 𝟕)𝟐 𝟏

𝟑𝟔

E[(𝑿 − 𝟕)𝟐] = 𝟓𝟐 𝟏

𝟑𝟔+ 𝟒𝟐 𝟐

𝟑𝟔+ 𝟑𝟐 𝟑

𝟑𝟔+ 𝟐𝟐 𝟒

𝟑𝟔+ 𝟏𝟐 𝟓

𝟑𝟔+ 𝟎𝟐 𝟔

𝟑𝟔+ 𝟏𝟐 𝟓

𝟑𝟔+ 𝟐𝟐 𝟒

𝟑𝟔+ 𝟑𝟐 𝟑

𝟑𝟔+ 𝟒𝟐 𝟐

𝟑𝟔+ 𝟓𝟐 𝟏

𝟑𝟔

E[(𝑿 − 𝟕)𝟐] = 𝟐𝟓 𝟏𝟑𝟔

+ 𝟏𝟔 𝟐𝟑𝟔

+ 𝟗 𝟑𝟑𝟔

+ 𝟒 𝟒𝟑𝟔

+ 𝟏 𝟓𝟑𝟔

+ 𝟎 + 𝟏 𝟓𝟑𝟔

+ 𝟒 𝟒𝟑𝟔

+ 𝟗 𝟑𝟑𝟔

+ 𝟏𝟔 𝟐𝟑𝟔

+ 𝟐𝟓 𝟏𝟑𝟔

E[(𝑿 − 𝟕)𝟐] = 𝟒. 𝟗𝟒𝟓

Θεωρημα. Ανισοτητα Chebychev

P[|X−m| ≥α ] = var Xα2 , α>0

var Xα2 , α>0 είναι το ποσοστο τιμων της Μεταβλητης Χ

με αποσταση από τη μεση τιμη τουλαχιστον α Παραδειγμα: X = Το Αθροισμα των ενδειξεων 2 Ζαριων

P[|X−7| ≥5 ] = 𝟒.𝟗𝟗𝟓𝟓𝟐 = 𝟎. 𝟏𝟗𝟗𝟖

Τυπικη Αποκλιση Standard Deviation = the root mean square fluctuation = rms fluctuation

𝜎 = var[X] ⟺ 𝜎2 = var[X] Η Τυπικη Αποκλιση είναι η συνηθης εκτιμηση των σφαλματων (θεωρουνται ως αποκλισεις από την μεση τιμη) ΣΧΟΛΙΟ Πως συγκρινουμε τα σφαλματα διαφορετικων Μεταβλητων?


E[(𝐗 − 𝟕)𝟐] = 𝟒. 𝟗𝟒𝟓 σ= 𝐯𝐯𝐯[𝐗] = 𝟒. 𝟗𝟒𝟓 = 𝟐. 𝟐𝟑

Σχετικο η Ποσοστιαιο Σφαλμα (από την Μεση Τιμη) ή Συντελεστης Μεταβλητοτητος (από την Μεση Τιμη) Relative Deviation

σm

= v𝑎𝑎[X] Ε[Χ]

ΣΧΟΛΙΟ σm

μικρο ⇔ οι τιμες της X είναι πλησιον της μεσης τιμης m με μεγαλη πιθανοτητα σm

μεγαλο ⇔ οι τιμες της X είναι μακραν της μεσης τιμης m με μεγαλη πιθανοτητα Ο Συντελεστής Μεταβλητοτητος εκφράζεται επί τοις εκατό και είναι ανεξάρτητος από τις μονάδες μέτρησης. Εκφράζει ένα μέτρο σχετικής διασποράς των τιμών της μεταβλητής. Ένα δείγμα τιμών μιας μεταβλητής θεωρείται ομοιογενές όταν ο Συντελεστής Μεταβλητοτητος είναι μικρότερος ή ίσος του 10%. Παραδειγμα: X = Το Αθροισμα των ενδειξεων 2 Ζαριων

𝜎𝑚

=𝑣𝑣𝑣[𝑋] 𝛦[𝛸]

=2.23

7= 0.319

Ασκηση {Βαθμος 0.3} Υπολογιστε το σχετικο σφαλμα της Μεταβλητης Α = "Αθροισμα των ενδειξεων 2 Ζαριων" Στις εξης περιπτωσεις: 1) Για 2 oμοια ζαρια με 𝐩 𝟏 = 𝟏

𝟑 , 𝐩 𝟐 = 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟐

𝟏𝟓

2) Για 2 oμοια ζαρια με 𝐩 𝟏 = 𝟏𝟑

, 𝐩 𝟐 = 𝟏𝟔

, 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟏𝟖

3) Ένα Ζαρι με 𝐩 𝟏 = 𝐩 𝟐 = 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟏𝟔 και

Ένα Ζαρι με 𝐩 𝟏 = 𝟏𝟑

, 𝐩 𝟐 = 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟐𝟏𝟓

4) Ένα Ζαρι με 𝐩 𝟏 = 𝐩 𝟐 = 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟏𝟔 και

Ένα Ζαρι με 𝐩 𝟏 = 𝟏𝟑

, 𝐩 𝟐 = 𝟏𝟔

, 𝐩 𝟑 = 𝐩(𝟒) = 𝐩(𝟓) = 𝐩(𝟔) = 𝟏𝟖

Συγκρινατε τα Αποτελεσματα των 5 περιπτωσεων

Κεντρικες Ροπες Εκτιμηση από το Δειγμα Εμπειρικες Κεντρικες Ροπες:

�̃�𝜈 = 𝑥1 − 𝑚� 𝜈𝜌�1 + ⋯ + 𝑥𝑛 − 𝑚� 𝜈𝜌�𝑛

Εμπειρικη Διασπορα:

𝜎�2 = (𝜒1−𝑚� )2+ ⋯+(𝜒𝛭−𝑚� )2

𝛭= (𝜒1 − 𝑚�)2𝜌�1 + ⋯ + (𝜒𝑛 − 𝑚�)2𝜌�𝑛

Εμπειρικη Τυπικη Αποκλιση:

𝜎� = (𝜒1−𝑚� )2+ ⋯+(𝜒𝛭−𝑚� )2

𝛭= (𝜒1 − 𝑚�)2𝜌�1 + ⋯ + (𝜒𝑛 − 𝑚�)2𝜌�𝑛

Η Εμπειρικες Κεντρικες Ροπες δεν είναι Αμεροληπτες Εκτιμητριες

Αμεροληπτη Τυπικη Αποκλιση:

s = (𝜒1−𝑚� )2+ ⋯+(𝜒𝛭−𝑚� )2

𝛭−1

𝑚� = η Εμπειρικη Μεση Τιμη Η διoρθωση (Μ − 1 αντι Μ) Bessel 1830

lim𝛭→∞

𝑠(𝑀) − 𝜎 = 0

Oρισμος

Σχετικό Σφάλμα Δειγματος 𝛔�𝐦�

Oρισμος

Αμεροληπτο Σχετικό Σφάλμα (relative error) Δειγματος 𝒔𝐦�

Oρισμος Τυπικό Σφάλμα Μεσης Τιμης Δειγματος (Standard Error of the Mean)

SE= 𝑠𝑁

= (𝜒1−𝑚� )2+ ⋯+(𝜒𝛭−𝑚� )2

𝛭(𝛭−1)

Αποστασεις Ποσοστημοριων =Ενδοποσοστημοριακό Ευρος (interquantile range). |xα − x1−α| Η απόσταση των συμπληρωματικών α-Ποσοστημορίων xα και x1−α Το Ενδοποσοστημοριακό Ευρος αποτελει εκτιμηση της εξαπλωσης-εκτασης των τιμών της μεταβλητης Χ. |x0.75 – x0.25| το ενδοτεταρτημοριακό ευρος (interquartile range). |x0.90 – x0.10| το ενδοδεκατημοριακό ευρος (interdecile range).

Εντροπια (Shannon)

𝓢 = 𝓢[𝝆] = 𝓢𝑺𝜢𝜢𝜢𝜢𝜢𝜢[𝝆] = − � 𝝆𝒊𝒍𝒍𝒍𝟐𝝆𝒊

𝒏

𝒊=𝟏

𝝆 = 𝝆𝒊 = 𝝆(𝒙𝒊), i=1,2,…,n η Κατανομη Πιθανοτητος της Διακριτης Μεταβλητης Χ (Αριθμητικης ή Κατηγορικης) με φασμα τιμων 𝒙𝟏, 𝒙𝟐,…, 𝒙𝒏 Τις τιμες της Μεταβλητης (Αριθμητικης ή Κατηγορικης) Παρατηρω στο Πειραμα ή Υποθετω στο πλαισιο καποιου Μοντελου 𝒍𝒍𝒍𝟐𝝃 = 𝐥𝐥𝝃

𝐥𝐥𝟐 , 𝜉 > 0 , ln2=0.693147180559945

Εντροπια Συνεχους Κατανομης

𝓢 = − � 𝑑𝑥 𝑝 𝑥 ln𝑝 𝑥∞

−∞

Εντροπια (Shannon) Θεωρημα Φασμα Τιμων Εντροπιας

• 𝟎 ≤ 𝓢𝚾 ≤ 𝒍𝒍𝒍𝟐𝒏

• Ελαχιστη Τιμη Εντροπιας: 𝓢𝜲 = 𝟎 ⟺ Η Μεταβλητη Χ λαμβανει μια και μονο μια από τις Τιμες 𝑥1, 𝑥2,…, 𝑥𝑛 , εστω την 𝑥𝑘 , με βεβαιοτητα ⟺ οι Τιμες 𝑥1, 𝑥2,…, 𝑥𝑛 ακολουθουν Καθορισμενη κατανομη:

𝜌𝑖 = 𝜌 𝑥𝑖 = 1, 𝑖 = 𝑘0, 𝑖 ≠ 𝑘 , i=1,2,…,n

• Μεγιστη Τιμη Εντροπιας: 𝓢𝜲 = 𝒍𝒍𝒍𝟐𝒏 ⟺ Η Μεταβλητη Χ λαμβανει ολες τις Τιμες 𝑥1, 𝑥2,…, 𝑥𝑛 με την αυτή Πιθανοτητα ⟺ οι Τιμες 𝑥1, 𝑥2,…, 𝑥𝑛 ακολουθουν Ομοιομορφη κατανομη: 𝜌𝑖 = 𝜌 𝑥𝑖 = 1

𝑛, i=1,2,…,n

H Eντροπια είναι εκτιμητρια: • της Αταξιας-Τυχαιοτητος της κατανομης

• της Ποικιλοτητος της κατανομης

• της Πολυπλοκοτητος της κατανομης • της Αβεβαιοτητας- Ρισκου Προβλεψης με βαση την κατανομη • της Πληροφοριας (πληθος bits) που χρειαζομαι για να περιγραψω-κωδικοποιησω το προβλημα

(Δυαδικη) Πληροφορια Moναδες Μετρησης • 1Byte=1B=23 bits=8bits • 1KB=210 B=1024B=8142 bits • 1MB=210 KB=1024KB=1048576B=8337408 bits • 1GB=210 MB=1024MB≅ 8.8 x109bits • 1TB=210 GB=1024GB≅ 8.8 x1012bits • 1PB=210 TB=1024TB ≅ 8.8 x1015bits

Information Amounts 1 Text Character 1 Byte = 8 bits TV Image 1.4 x 106 bits

(576 lines × 720 columns) = 414720 px,10 luminosity scales 1 chromosome DΝΑ as 4 Symbol Message

100000bits = 2 x 105 bits

Information in Bacteria Memory Cells, E. Coli, 2011

900000 GB

Cells in the Human Body > 1014 Brain Neurons ~1011 Brain Synaptic Links ~1015 Brain Memory 2.5 PetaBytes = 1048576 GB ≈ 8.8 x 1018 bits

~ 300 years of TV and Audio recording ! Cyberspace 2007: 281 billion GB=281x109GB≅2.5x1021bits Cyberspace 2016: ~1023 bits Cyberspace Indexed Google 0.004%

1018 bits 2007 1.4 x 1018 bits 2012

Atoms in 12gr C 6,022 x 1023 Universe 10100 bits Chess 1043 bits GO 10200 bits ? Eternity II 10550 bits Borges Βabel Library 2.6 x101834103 Bytes

Genetic Alphabet Eors Szathmary 1992 What is the Optimum Size for the Genetic Alphabet? Proc. Natl. Acad. Sci. USA 89, 2614-2618

DNA Digital Storage Church G. Gao Y., Kosuri S. 2012, Next-Generation Digital Information Storage in DNA Science DOI: 10.1126/science.1226355 “DNA is among the most dense and stable information media known. The development of new technologies in both DNA synthesis and sequencing make DNA an increasingly feasible digital storage medium. We develop a strategy to encode arbitrary digital information in DNA, write a 5.27-megabit book (HTML draft) using DNA microchips, and read the book using next-generation DNA sequencing. A,C → 0 G,T → 1 DNA Advantages over traditional digital storage media. 1) DNA can be easily copied, and is often still readable after thousands of years in non-ideal conditions. 2) the Techniques required to read and write DNA information are as old as life on Earth, unlike ever-changing electronic storage formats such as magnetic tape and DVDs.

Εντροπια Βιβλιογραφια Shannon C. , Weaver W. 1949, The Mathematical Theory of Communication, University of Illinois, Urbana, Illinois. Kempton R. and Wedderburn R. 1978, A Comparison of Three Measures of Species Diversity, Biometrics 34, 25-37 Kuppers B.-O. 1990, Information and the Origin of Life, MIT Press, Cambridge, Massachusetts Traub J. , Werschulz A. 1998, Complexity and Ιnformation, Cambridge University Press, Cambridge. McDonald G. 2003, Biogeography: Space, Time and Life, Wiley, New York Yockey H. 2005, Information theory, Εvolution and the origin of Life, Cambridge University Press, Cambridge.

Παραδειγμα: Ριψη 2 Ζαριων Δειγματοχωρος

𝒴=

1,1 , 1,2 , 1,3 , 1,4 , 1,5 , 1,6(2,1), (2,2), (2,3), (2,4), (2,5), (2,6),(3,1), (3,2), (3,3), (3,4), (3,5), (3,6),(4,1), (4,2), (4,3), (4,4), (4,5), (4,6),

(5,1), (5,2), (5,3), (5,4), (5,5), (5,6), (6,1), (6,2), (6,3), (6,4), (6,5), (6,6)

Tυχαιες Mεταβλητες: Ζ(𝓎) = το Αποτελεσμα της ριψης των 2 ζαριων Α(𝓎) = το Αθροισμα των Ενδειξεων των 2 Ζαριων Δ(𝓎) = η απολυτη τιμη της Διαφορας των ενδειξεων των 2 Ζαριων (Α(𝓎),Δ(𝓎)) = η Κοινη Παρατηρηση των Μεταβλητων (Α,Δ)

𝒮Ζ = − �1

36 𝑙𝑙𝑔21

36

36

𝜈=1

= 𝑙𝑙𝑔236 ≅ 5.17

𝒮Α = − 2 1

36 𝑙𝑙𝑔21

36 + 2 236 𝑙𝑙𝑔2

236 + 2 3

36 𝑙𝑙𝑔23

36 + 2 436 𝑙𝑙𝑔2

436 + 2 5

36 𝑙𝑙𝑔25

36 + 636 𝑙𝑙𝑔2

636

= 118

5.17 + 19

4.17 + 16

3.58 + 18

3.17 + 518

2.85 + 16

2.58

= 3.031

𝒮Δ = − 26

36𝑙𝑙𝑔2

636

+1036

𝑙𝑙𝑔21036

+8

36𝑙𝑙𝑔2

836

+4

36𝑙𝑙𝑔2

436

+2

36𝑙𝑙𝑔2

236

= 2.43

𝒮Α,Β = − 41

32𝑙𝑙𝑔2

132

+ 142

32𝑙𝑙𝑔2

232

= 1

8𝑙𝑙𝑔2 32 + 7

8𝑙𝑙𝑔2 16

= 1

85,000001 + 7

84,000001

= 0.625 + 3.500 = 4.125

𝑙𝑙𝑔2𝑥 =

𝑙𝑛𝑥𝑙𝑛𝑙 =

𝑙𝑛𝑥0.693147

𝑙𝑙𝑔2

32 = 𝑙𝑛 32

0.693147 =3.4657360.693147 = 5,000001

𝑙𝑙𝑔2

16 = 𝑙𝑛 16

0.693147 =2.7725880.693147 = 4,000001

𝑙𝑙𝑔2

16 = 𝑙𝑙𝑔2

322 = 𝑙𝑙𝑔

232 − 𝑙𝑙𝑔

22 = 𝑙𝑙𝑔

232 − 1

Συνοψη 𝒮Ζ = 5.17 𝒮Α = 3.031 𝒮Δ = 2.43 𝒮Α,Δ = 4.125 𝒮ΑΠΟΤΕΛΕΣΜΑ > 𝒮ΑΘΡΟΙΣΜΑ,ΔΙΑΦΟΡΑ > 𝒮ΑΘΡΟΙΣΜΑ > 𝒮ΔΙΑΦΟΡΑ

Ποια η Αβεβαιοτητα «Πειραγμενου» Ζαριου? Εντροπια Ισοπιθανου Ζαριου

𝒮𝑀𝑀𝑀 = 6 −16

𝑙𝑙𝑔216

= 𝑙𝑙𝑔26 = 𝟐. 𝟓𝟖𝟔

Εντροπια «Πειραγμενου» Ζαριου

𝒮𝛢 = 5 −1

10 log2

110 + −

12 log

2

12 =

12 log

210 +

12 log

22 = 1.661 +

12 = 𝟐. 𝟏𝟔𝟏

𝒮𝛣 = 5 −1

20 log2

120 + −

34 log

2

34 =

14 log

220 −

34 log

2

34 = 1.080 + 0.331 = 𝟏. 𝟒𝟏𝟏

𝓢𝜝 < 𝓢𝜢 < 𝓢𝑴𝑴𝑿

Ψηφιο 1 2 3 4 5 6

Ζαρι Α

Συχνοτης

𝟏𝟏𝟎

𝟏

𝟏𝟎

𝟏𝟏𝟎

𝟏

𝟏𝟎

𝟏𝟏𝟎

𝟏𝟐

Ζαρι Β

Συχνοτης

𝟏𝟐𝟎

𝟏𝟐𝟎

𝟏𝟐𝟎

𝟏𝟐𝟎

𝟏𝟐𝟎

𝟑𝟒

Εντροπια Συνεχων Κατανομων Kατανομη Τυπος Εντροπια

Gauss 𝝆 𝒙 =𝟏𝟐𝝅

𝒆−𝟏𝟐𝒙𝟐

, 𝒎 = 𝟎, 𝝈 = 𝟏 𝟏. 𝟒𝟐

Laplace 𝝆 𝒙 =

𝟐𝟐

𝒆−|𝒙| 𝟐, 𝒎 = 𝟎, 𝝈 = 𝟏 𝟏. 𝟑𝟓

Εντροπια και Διασπορα

Εντροπια Εκτιμηση από το Δειγμα Εμπειρικη Εντροπια:

�̃� = − � ρ�ilο𝑔2ρ�i

𝑛

i=1

Η Εμπειρικη Εντροπια δεν είναι Αμεροληπτη Εκτιμητρια Miller G. 1955, Note on the bias of information estimates, In Information Theory in Psychology: Problems and Methods, pp. 95–100. Πολλες Εκτιμητριες εχουν προταθει. Korbinian Schürmann T. 2015, A Note on Entropy Estimation, Neural Comput. 2015 Oct;27(10):2097-106. doi: 10.1162/NECO_a_00775. Epub 2015 Aug 27

Εντροπια. Εκτιμηση από το Δειγμα Εντροπια Συρρικνωσης Shrinkage: (η βελτιστη προς το παρον)

𝓢� = − ∑ 𝝆�𝑖lο𝑔2𝝆�𝑖𝑛ν=1

𝜌�𝑖 = 𝜌� 𝑥𝑖 = 𝜁1𝑛

+ (1 − 𝜁)𝜌�𝑖

𝜁 = 𝑚𝑖𝑛 1−∑ 𝜌�𝑖2𝑛

𝑖=1

(𝑀−1) ∑ 1𝑛−𝜌�𝑖

2𝑛𝑖=1

, 1 , The Shrinkage Intensity

Hausser J., Strimmer K. 2009, Entropy Inference and the James-Stein Estimator, with Application to Nonlinear Gene Association Networks, Journal of Machine Learning Research 10, 1469-1484 Πούρικα Α. 2016, Εκτίμηση Εντροπίας και Συνεκτικοτης Εγκεφάλου, Διπλωματικη Εργασια, Μεταπτυχιακο Προγραμμα Σπουδων Στατιστικης και Μοντελοποιησης, Τμημα Μαθηματικων

Σφαλμα (Error) είναι κάθε διαφορα-αποκλιση της Εκτιμησης-Προβλεψης-Γνωμης μας από την Παρατηρηση της Πραγματικοτητος Tα Σφαλματα μπορει να ωφειλονται και σε Υλικες Δυσλειτουργιες (Hardware Malfunctions), όπως Brain Deficits (Ανοια, Μωρια, Μαλακυνσις, Χημικες Παρεμβασεις-Αλλοιωσεις). Λαθος είναι το Σφαλμα που Λανθανει της Προσοχης και για το οποιο δεν εχουμε Επιγνωση

Λοξότητα (skewness)

α3= 𝒸3𝜎3

𝓬3 = E[(Χ – m)ν ] η Κεντρικη Poπη 3ης -ταξεως,

Κύρτωση (Kurtosis) α4 = 𝓬𝟒

𝝈𝟒 𝒸4𝜎4 > 3 Λεπτοκυρτη κατανομη 𝒸4𝜎4 = 3 Μεσοκυρτη κατανομη, προσεγγιζεται από την κανονικη Κατανομη 𝒸4𝜎4 < 3 Πλατυκυρτη κατανομη 𝒸4𝜎4 – 3 = Εxcess Kurtosis

Ασκηση {Βαθμος 0.2=0.1+0.1} Επιλεξατε μια συμμετρικη και μια ασυμμετρη Διακριτη κατανομη πιθανοτητος (από τον Καταλογο) Υπολογιστε τις 8 Παραμετρους {0.1} • Μέση Τιμή (Μean) • Kορυφες (Μodes) • Διάμεσος (Μedian) • Τυπική Απόκλιση (Standard Deviation) • Σχετικο Σφαλμα (Relative Error) • Λοξότητα (Skewness) • Κύρτωση (Kurtosis) • Εντροπια (Entropy) Εξεταστε τις Σχεσεις Μεσης Τιμης, Διαμεσου, Κορυφης {0.1}

Oρισμος Συντελεστης Συνδιασπορας Pearson των Mεταβλητων X,Y

𝒓𝜲𝜰 = 𝒄𝒍𝒄 𝑿, 𝒀

𝒄𝒗𝒓 𝑿 𝒄𝒗𝒓 𝒀 =

𝝈𝜲𝜰𝝈𝜲𝝈𝜰

Οπου: 𝜎𝑀𝑋 = cov(X,Y)= Ε[(X-Ε[X])(Y-Ε[Y])]= Ε[(X− mX)(Y−mY)] = Ε[XY] − 𝓂𝑀𝓂𝑋 Η Συνδιασπορα των Mεταβλητων X,Y (Covariance) E[XY]= cor(X,Y) = <X,Y> Η Συσχετιση των Mεταβλητων X,Y (Correlation) 𝜎𝑀𝑀 = 𝜎2 = var(X) η Διασπορα της Μεταβλητης X cor(XX) = E[X2] = <X,X> = 𝑋2 η Ισχυς της Μεταβλητης X

Θεωρημα 1) Ο Συντελεστης Pearson λαμβανει τιμες στο διαστημα [-1,1]: −1 ≤ 𝑣𝛸𝛸 ≤ 1 2) 𝑣𝛸𝛸 = +1 ⟺ Οι Μεταβλητες Χ,Υ συνδεονται με την σχεση: 𝚼 = 𝜶 + 𝜷𝚾, β>0 α πραγματικος αριθμος

𝑌 = 𝑚𝑋 − 𝜎𝑌𝜎𝛸

𝑚𝑀 + 𝜎𝑌𝜎𝛸

𝑋 3) 𝑣𝛸𝛸 = −1 ⟺ Οι Μεταβλητες Χ,Υ συνδεονται με την σχεση: 𝚼 = 𝜶 − 𝜷𝚾, β>0 α πραγματικος αριθμος

𝑌 = 𝑚𝑋 − 𝜎𝑌𝜎𝛸

𝑚𝑀 − 𝜎𝑌𝜎𝛸

𝑋

4) 𝑣𝛸𝛸 = 0 για Ανεξαρτητες Μεταβλητες (𝜌 𝑥, 𝑦 = 𝜌𝑀(x)∙𝜌Υ(y), για κάθε τιμες x,y) αλλα το αντιστροφο δεν ισχυει. Δηλαδη υπαρχουν Μεταβλητες με 𝑣𝛸𝛸 = 0 που δεν είναι Ανεξαρτητες

Αποδειξη 1),2),3) Από την Ανισοτητα Cauchy–Schwarz 4) Ε 𝑋𝑌 = ∑ 𝜌 𝑥, 𝑦 𝑥𝑦𝑥,𝑦 = ∑ 𝜌𝑀(x) 𝜌Υ(y)𝑥𝑦 = ∑ 𝜌𝑀(x)𝑥𝑥 (∑ 𝜌Υ(y) 𝑦) = E[X]E[Y]𝑦𝑥,𝑦 Παραδειγμα: οι Μεταβλητες Χ με E[X]=0 και Υ=Χ2 δεν είναι Ανεξαρτητες αλλα: 𝑣𝛸𝛸 = 0 Feller 1970, An Introduction to Probability Theory and its Applications, Volume I, 3rd ed.Th. 3, p. 222

Oρισμος Οι Χ, Υ είναι Ασυσχετιστες Μεταβλητες (Uncorrelated Variables) ⟺ 𝑣𝛸𝛸 = 0 ⟺ 𝑐𝑙𝑣 𝑋, 𝑌 =0 ⟺ E[XY] = 𝓂𝑀𝓂𝑋 Δηλαδη οι Μεταβλητες Χ, Υ δεν σχετιζονται "γραμμικα" ΣΧΟΛΙΟ Από το Θεωρημα συναγεται ότι: Οι Ανεξαρτητες Μεταβλητες είναι Ασυσχετιστες ('Γραμμικα"), αλλα οι Ασυσχετιστες ('Γραμμικα") Μεταβλητες δεν είναι κατ'αναγκην Ανεξαρτητες

Συντελεστης Pearson Galton 1888 (Kληρονομικοτης Υψους), εξαδελφος του C. Darwin Pearson 1895 συνεργατης και συνεχιστης του εργου του Galton Pearson K. 1920, Notes on the History of Correlation, Biometrika 13, 25-45 Rodgers J. L. , Nicewander W. A. 1988, Thirteen ways to look at the correlation coefficient, The American Statistician, 42(1), 59–66 Stigler S. M. 1989, Francis Galton's Account of the Invention of Correlation, Statistical Science 4 (2): 73–79

Παραδειγμα Ποσο σχετιζονται οι Μεταβλητες Α, Β στην Ριψη 2 ζαριων? Α: το Αθροισμα των Ενδειξεων 2 Ζαριων Β: η Διαφορα των Ενδειξεων 2 Ζαριων

Ασκηση {0.2}

Συντελεστης Pearson Εκτιμηση από Δειγμα

Εμπειρικος Συντελεστης Pearson

�̃�𝑀𝑋 =∑ 𝜒𝜈 − 𝑚�𝛸 𝜓𝜈 − 𝑚�𝛸

𝑀𝜈=1

∑ (𝜒𝜈 − 𝑚�𝛸)2𝑀𝜈=1 ∑ (𝜓𝜈 − 𝑚�𝛸)2𝑀

𝜈=1

Data Matrix 𝜧 × 𝟐 M Observations of the Variables X,Y Variable X Y

Observation 1 𝜒1 𝜓1

Observation 2 𝜒2 𝜓2

⋮ ⋮ ⋮

Observation Μ 𝜒𝛭 𝜓𝛭

Αμεροληπτος Συντελεστης Pearson Προταση Ο Εμπειρικος Συντελεστης Pearson ταυτιζεται με τον Αμεροληπτο Συντελεστη Pearson

𝒓�𝑿𝒀 =𝝈�𝑿𝒀

𝝈�𝜲𝝈�𝜰=

𝒔𝜲𝒀

𝒔𝜲𝒔𝜰=

∑ 𝜒𝜈 − 𝑚�𝛸 𝜓𝜈 − 𝑚�𝛸𝑀𝜈=1

∑ (𝜒𝜈 − 𝑚�𝛸)2𝑀𝜈=1 ∑ (𝜓𝜈 − 𝑚�𝛸)2𝑀

𝜈=1

Αποδειξη

�̃�𝑀𝑋 =𝜎�𝑀𝑋

𝜎�𝛸𝜎�𝛸=


𝑀∑ (𝜒𝜈 − 𝑚�𝛸)2𝑀

𝜈=1𝑀

∑ (𝜓𝜈 − 𝑚�𝛸)2𝑀𝜈=1

𝑀

= ∑ 𝜒𝜈−𝑚� 𝛸 𝜓𝜈−𝑚� 𝛶𝑀𝜈=1

∑ (𝜒𝜈−𝑚� 𝛸)2𝑀𝜈=1 ∑ (𝜓𝜈−𝑚� 𝛶)2𝑀

𝜈=1

𝑠𝛸𝑋

𝑠𝛸𝑠𝛸=


𝑀 − 1∑ (𝜒𝜈 − 𝑚�𝛸)2𝑀

𝜈=1𝑀 − 1

∑ (𝜓𝜈 − 𝑚�𝛸)2𝑀𝜈=1

𝑀 − 1

=

= ∑ 𝜒𝜈−𝑚� 𝛸 𝜓𝜈−𝑚� 𝛶𝑀𝜈=1

∑ (𝜒𝜈−𝑚� 𝛸)2𝑀𝜈=1 ∑ (𝜓𝜈−𝑚� 𝛶)2𝑀

𝜈=1

Συντελεστης Pearson Προβληματα 1) Ο Συντελεστης Pearson δεν εφαρμοζεται σε Κατηγορικες Μεταβλητες

2) Η συνθηκη 𝑣𝛸𝛸 = 0, είναι ικανη αλλα οχι αναγκαια για να ειναι οι Μεταβλητες Χ,Υ Ανεξαρτητες

3) Η τιμη του Συντελεστη Pearson 2 Μεταβλητων, δειχνει ποσο ισχυρη είναι η "γραμμικη συσχετιση" τους, αλλα δεν χαρακτηριζει γενικωτερα την σχεση τους Damghani Β., Welch D. , O'Malley C. Knights S. 2012, The Misleading Value of Measured Correlation, Wilmott 1, 64–73. doi:10.1002/wilm.10167

Παραδειγμα: Τα 4 συνολα Δεδομενων του Anscombe Anscombe F. 1973, Graphs in statistical analysis, The American Statistician 27, 17–21. doi:10.2307/2682899

http://en.wikipedia.org/wiki/Digital_object_identifier

http://dx.doi.org/10.1002/wilm.10167

Προβλημα: Οι Στατιστικοι Δεικτες δεν είναι παντοτε Ικανοποιητικοι Τα 4 Συνολα Δεδομενων του Anscombe

Δεικτης Τιμες στα 4 Συνολα Δεδομενων Μεση Τιμη της Χ 𝑚�𝑀 = 9

Διασπορα της Χ 𝜎�𝑀 = 3,32

Μεση Τιμη της Υ 𝑚�𝛸 =7,50 Διασπορα της Υ 2,030 ≤ 𝜎�𝑀 ≤ 2,031

Συντελεστης Pearson 𝑣𝑀𝑋 = 0.816

Ηθικον Διδαγμα: Πρωτα Παρατηρουμε την γραφικη Παρασταση των Δεδομενων και Κατοπιν Προχωρουμε στην Μαθηματικη Αναλυση Anscombe F. 1973, Graphs in statistical analysis, The American Statistician 27, 17–21. Chatterjee S., Firat A. 2007, Generating Data with Identical Statistics but Dissimilar Graphics: A Follow up to the Anscombe Dataset, American Statistician 61, 248–254

Tυποποιημενη Αμοιβαια Πληροφορια των Mεταβλητων X,Y

𝐼𝑀𝑋 = ℐ𝑀;𝑋 = 𝒮𝑀 + 𝒮𝑋 − 𝒮𝑀,𝑋

𝑚𝑖𝑛 {𝒮𝑀, 𝒮𝑋}

οπου:

𝒮𝑀 =− ∑ ρ x log2ρ(x)x Η Εντροπια της Μεταβλητης X 𝒮Y =− ∑ ρ y log2ρ(y)y Η Εντροπια της Μεταβλητης Y 𝒮𝑀,𝑋 = ∑ ρ x, y log2ρ x, yx,y Η Κοινη Εντροπια των Μεταβλητων X,Y

Θεωρημα Φασμα Τιμων Tυποποιημενης Αμοιβαιας Πληροφοριας • 0 ≤ 𝐼𝑀𝑋≤ 1 • 𝐼𝑀𝑋 = 0 ⟺ X , Y Ανεξάρτητες Μεταβλητές • 𝐼𝑀𝑋 = 1 ⟺ η Μεταβλητή μικρότερης Εντροπίας είναι συνάρτηση της άλλης Μεταβλητής μεγαλύτερης Εντροπίας (αιτιώδης - καθορισμένη εξάρτηση)

Συγκριση Tυποποιημενης Αμοιβαιας Πληροφοριας και Συντελεστη Pearson

Συντελεστης Pearson -1 ≤ 𝑣𝑀𝑋≤ 1

Tυποποιημενη Αμοιβαια Πληροφορια 0 ≤ 𝐼𝑀𝑋≤ 1

εφαρμοζεται μονο σε Αριθμητικες Μεταβλητες

εφαρμοζεται σε οιαδηποτε Μεταβλητη

Η συνθηκη 𝑣𝛸𝛸 = 0, ισχυει αν οι Μεταβλητες Χ,Υ είναι Ανεξαρτητες Αλλα δεν διασφαλιζει οτι οι Μεταβλητες Χ,Υ είναι Ανεξαρτητες

Η συνθηκη 𝛪𝛸𝛸 = 0, ισχυει αν οι Μεταβλητες Χ,Υ είναι Ανεξαρτητες Και διασφαλιζει οτι οι Μεταβλητες Χ,Υ είναι Ανεξαρτητες

Η τιμη του Συντελεστη Pearson δειχνει ποσο ισχυρη είναι η "γραμμικη συσχετιση" τους, αλλα δεν χαρακτηριζει γενικωτερα την σχεση τους

Η τιμη της Tυποποιημενης Αμοιβαιας Πληροφοριας, δειχνει ποσο ισχυρη είναι η αλληλεξαρτηση τους και χαρακτηριζει γενικωτερα την σχεση τους

Ο Συντελεστης Pearson διακρινει μεταξυ θετικης Εξαρτησης και αρνητικης Εξαρτησης

Η Tυποποιημενη Αμοιβαια Πληροφορια δεν διακρινει μεταξυ θετικης Εξαρτησης και αρνητικης Εξαρτησης

Παραδειγμα: Αν οι Μεταβλητες Χ,Υ ακολουθουν Κοινη Κανονικη Κατανομη

𝜌 𝑥, 𝑦 =1

𝑙𝜋𝜎Χ𝜎Y 1 − 𝑣2 𝑒𝑥𝑝 −

12(1 − 𝑣2)

𝑥 − 𝑚𝑀

𝜎𝑀

2

+𝑧 − 𝑚𝑋

𝜎𝑋

2

− 𝑙𝑣𝑥 − 𝑚𝑀

𝜎𝑀

𝑦 − 𝑚𝑋

𝜎𝑋

Τοτε η Tυποποιημενη Αμοιβαια Πληροφορια είναι:

𝐼 = −𝑙𝑛 1− 𝑎2

𝑙𝑛 2𝜋𝑒 𝜎2 Oπου: 𝜎 = min(𝜎𝛸, 𝜎𝛸 ) ΣΧΟΛΙΟ: 𝑣 = 0 ⟺ 𝐼 = 0 Δηλαδη στις Κανονικες Κατανομες η συνθηκη 𝑣 = 0 είναι ικανη και αναγκαια για να είναι αν οι Μεταβλητες Χ,Υ Ανεξαρτητες

Tυποποιημενη Αμοιβαια Πληροφορια Εκτιμηση από το Δειγμα Εμπειρικη Tυποποιημενη Αμοιβαια Πληροφορια:

𝐼𝑀𝑋 = ℐ̃𝑀;𝑋 = �̃�𝑀 + �̃�Y − �̃�𝑀,𝑋

𝑚𝑖𝑛 {�̃�𝑀, �̃�𝑋}

οπου: 𝒮𝑀 = − ∑ 𝜌� 𝑥 𝑙𝑙𝑔2𝜌�(𝑥)𝑥 Η Εμπειρικη Εντροπια της Μεταβλητης X

�̃�𝑋 = − � 𝜌� 𝑦 𝑙𝑙𝑔2𝜌� 𝑦𝑦

Η Εμπειρικη Εντροπια της Μεταβλητης Υ

�̃�𝑀,𝑋 = � ρ� x, y log2ρ� x, yx,y

Η Κοινη Εμπειρικη Εντροπια των Μεταβλητων X,Y

Η Εμπειρικη Tυποποιημενη Αμοιβαια Πληροφορια δεν είναι Αμεροληπτη Εκτιμητρια Καθοτι η Εμπειρικη Εντροπια δεν είναι Αμεροληπτη Εκτιμητρια. Οριζουμε, με βαση την Εντροπια Συρρικνωσης, την Tυποποιημενη Αμοιβαια Πληροφορια Συρρικνωσης (Shrinkage):

𝐼𝑀𝑋 = ℐ̂𝑀;𝑋 = �̂�𝑀 + �̂�Y − �̂�𝑀,𝑋

𝑚𝑖𝑛 {�̂�𝑀, �̂�𝑋}

οπου: �̂�𝑀 = − ∑ 𝜌� 𝑥 𝑙𝑙𝑔2𝜌�(𝑥)𝑥 Η Εντροπια Shrinkage της Μεταβλητης X

�̂�𝑋 = − � 𝜌� 𝑦 𝑙𝑙𝑔2𝜌� 𝑦𝑦

Η Εντροπια Shrinkage της Μεταβλητης Y

�̂�𝑀,𝑋 = � ρ� x, y log2ρ� x, yx,y

Η Κοινη Εντροπια Shrinkage των Μεταβλητων X,Y

Παραδειγμα Συσχετιση Χρωματος Οφθαλμων με το Χρωμα Μαλιων των Φοιτητων του 2012-3 Οι Υπολογισμοι εγιναν από τους κ. Ρ.-Ν. Τασακη και Ε. Καραπουλια Πρωτοετεις Φοιτητες Βιολογιας ΑΠΘ του 2012-3 Εστω Χ=Χρωμα Οφθαλμων Τιμες: Κ=Καφε, Γ=Γαλαζιο, ΚΠ=Καστανοπρασινο, Π=Πρασινο, ΓΠ=Γαλαζοπρασινο Υ=Χρωμα Μαλλιων Τιμες: μ=Μαυρο, ξ=Ξανθο, κ=Καστανο, κξ=Καστανοξανθο

Υπολογισμος Εμπειρικης Tυποποιημενης Αμοιβαιας Πληροφοριας

𝐼𝑀𝑋 =�̃�𝑀 + �̃�𝑋 − �̃�𝑀,𝑋

𝑚𝑖𝑛 {�̃�𝑀, �̃�𝑋}

�̃�𝑀 = −3452

∙ log23452 −

352

∙ log23

52 −8

52∙ log2

852 −

652

∙ log26

52 −1

52∙ log2

152 ≈ 1,523

�̃�𝑋 = −8

52∙ log2

852 −

152

∙ log21

52 −3152

∙ log23152 −

1252

∙ log21252 ≈ 1,458

�̃�𝑀,𝑋 = −2 ∙4

52 log24

52 −2652 log2

2652 − 4 ∙

152 log2

152 − 4 ∙

252 log2

252 − 2 ∙

352 log2

352 ≈ 2,706

𝑚𝑖𝑛 {�̃�𝑀, �̃�𝑋} = �̃�𝑋 = 1,458

𝑰�𝑿𝒀 =𝓢�𝑿 + 𝓢�𝒀 − 𝓢�𝑿,𝒀

𝒎𝒊𝒏 {𝓢�𝑿, 𝓢�𝒀}=

𝟏, 𝟓𝟐𝟑 + 𝟏, 𝟒𝟓𝟖 − 𝟐, 𝟕𝟎𝟔𝟏, 𝟒𝟓𝟖

= 𝟎, 𝟏𝟖𝟖𝟔

• Μικρη Αμοιβαια Εξαρτηση • Με τον Συντελεστη Pearson δεν είναι εφικτη η εκτιμηση της Εξαρτησης

Κατηγορικων Μεταβλητων

Ασκηση {Βαθμος 0.5} Υπολογιστε την Εμπειρικη Tυποποιημενη Αμοιβαια Πληροφορια για εκαστο Συνολο Δεδομενων Anscombe. Τι Συμπεραινετε?

Μαθηματικά Mathematicscosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 5... ·...

Documents

Transcript of Μαθηματικά Mathematicscosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 5... ·...