Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π....

24
Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 1 Β.Ε.Π. UPatras Θέματα Στατιστικής στη γλώσσα R Η εμπειρική αθροιστική συνάρτηση κατανομής Γραφικός έλεγχος καλής προσαρμογής qqplot Lab_3.pdf σελ.1-12 Το κριτήριο των Kolmogorov-Smirnov (KS) Έλεγχοι για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors έλεγχος των Shapiro–Wilk

Transcript of Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π....

Page 1: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 1 Β.Ε.Π. UPatras

Θέματα Στατιστικής στη γλώσσα R Η εμπειρική αθροιστική συνάρτηση κατανομής

Γραφικός έλεγχος καλής προσαρμογής – qqplot Lab_3.pdf σελ.1-12

Το κριτήριο των Kolmogorov-Smirnov (KS)

Έλεγχοι για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors έλεγχος των Shapiro–Wilk

Page 2: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 2

Οπτικός έλεγχος κανονικότητας-Κώδικας

Page 3: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο

Οπτικός έλεγχος κανονικότητας-Κώδικας Lab_3.pdf σελ.7-8, 11-12

3

Page 4: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 4

Οπτικός έλεγχος καλής προσαρμογής σε κατανομή -Κώδικας

Page 5: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 5

Οπτικός έλεγχος καλής προσαρμογής σε Εκθετική(1) -Κώδικας γίνεται για οποιαδήποτε κατανομή αντικαθιστώντας την Φ-1((i-0.5)/n)=qnorm((i-0.5)/n) από την αντίστροφη συνάρτηση της αντίστοιχης αθροιστικής

Page 6: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 6

Έ λ ε γ χ ο ς Υ π ό θ ε σ η ς ( γ ι α έ ν α δ ε ί γ μ α ) ε ά ν π ρ ο έ ρ χ ε τ α ι α π ό κ α τ α ν ο μ ή (με συγκεκριμένες παραμέτρους) Η 0: F ( x ) = F 0( x ) γ ι α κ ά θ ε x є IR Η 0: F ( x ) = F 0( x ) Η 0: F ( x ) = F 0( x ) Η 1: F ( x ) ≠ F 0( x ) Η 1: F ( x ) > F 0( x ) Η 1: F ( x ) < F 0( x ) F 0≡ N ( 0 , 1 ) F 0≡ N ( 1 , 1 ) F 0≡ N ( 1 , 0 . 5 2) - - - F 0≡ N ( Mx , Sx

2) όπου Mx = mean(x)= 0.77 Sx

2= var(x)= 0.972

Το κριτήριο των Kolmogorov-Smirnov (KS)

Δεν επιτρέπεται, οι παράμετροι εξαρτώνται από το δείγμα

Page 7: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 7

Σύγκριση της εμπειρικής α.σ.κ. του δείγματος με την α.σ.κ. που αντιστοιχεί στην F 0 Βλέπε Lab_3.pdf σελ. 3-6, 9

Το κριτήριο των Kolmogorov-Smirnov (KS)

Page 8: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 8

F 0≡ N ( 0 , 1 )

Το κριτήριο των Kolmogorov-Smirnov (KS)

Page 9: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 9

Το κριτήριο των Kolmogorov-Smirnov (KS)

Page 10: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 10

F 0≡ N ( 1 , 1 )

Το κριτήριο των Kolmogorov-Smirnov (KS)

Page 11: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 11

Το κριτήριο των Kolmogorov-Smirnov (KS) F 0≡ N ( Mx , Sx

2) όπου Mx = mean(x)= 0.77 Sx

2= var(x)= 0.972

Page 12: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 12

F 0≡ E x p ( 1 )

Το κριτήριο των Kolmogorov-Smirnov (KS)

Page 13: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 13

Έλεγχος για κανονικότητα έλεγχος των Shapiro–Wilk

ε ά ν π ρ ο έ ρ χ ε τ α ι α π ό κ α ν ο ν ι κ ή κ α τ α ν ο μ ή (με οποιεσδήποτε παραμέτρους) Η 0: F ( x ) = Ν ( μ , σ 2) για κάποια μ є IR, σ 2 > 0

Η 1: F ( x ) ≠ Ν ( μ , σ 2) για όλα τα δυνατά ζεύγη (μ , σ 2 )

( δείγμα από Exp(1) )

Page 14: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 14

Έλεγχος για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors

Comprehensive R Archive Network

Page 15: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 15

Έλεγχος για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors

https://cran.r-project.org/web/packages/nortest/nortest.pdf

έτυχε

Page 16: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 16

Έλεγχος για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors

Page 17: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 17

Έλεγχος για κανονικότητα βασισμένος στο KS, έλεγχος του Lilliefors

S-Plus ks.gof

SPSS Kolmogorov-Smirnov

Page 18: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 18

Έλεγχος για κανονικότητα έλεγχος του Lilliefors το κριτήριο των Kolmogorov-Smirnov

Στο Kolmogorov-Smirnov οποιαδήποτε παραδοχή για τις τιμές των παραμέτρων δεν θα πρέπει να εξαρτάται από τα δεδομένα

Page 19: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 19

Έλεγχος για κανονικότητα έλεγχος του Lilliefors το κριτήριο των Kolmogorov-Smirnov

Page 20: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 20

Αν έχω δείγματα από Exp(1) ποιον έλεγχο ξεγελάω ευκολότερα, ότι αυτά προέρχονται από κανονική ; Ο έλεγχος των Shapiro-Wilk είναι ισχυρότερος (βασιζόμενοι σε προσομοίωση), n=10

Σύγκριση των ελέγχων για κανονικότητα του Lilliefors των Shapiro–Wilk

Page 21: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 21

Εφαρμογές: στο t.test Lab_4.pdf σελ. 12

0.2 -0.5 -1.3 -1.6 -0.7 0.4 -0.1 0.0 -0.6 -1.1 -1.2 -0.8

Η 0 : μ = - 0 . 8 Η 1 : μ ≠ - 0 . 8

Page 22: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 22

Εφαρμογές: στο var.test και t.test Lab_4.pdf σελ. 26-31

Data about the cost of a meal per person from a sample of 50 city restaurants

Data about the cost of a meal per person from a sample of 40 suburban restaurants. Does a meal per person cost the same in both types of restaurants?

Η 0 : σ 21 = σ 2

2 ( σ 21 / σ 2

2 = 1 ) Η 1 : σ 2

1 ≠ σ 22 ( σ 2

1 / σ 22 ≠ 1 )

Page 23: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 23

Εφαρμογές: στο var.test και t.test Lab_4.pdf σελ. 33-34

Page 24: Θέματα Στατιστικής στη γλώσσα Rvpiperig/MCDA-YDA/Lab_5.pdf · Β.Ε.Π. UPatras 1 Θέματα Στατιστικής στη γλώσσα R Η εμπειρική

Β.Ε.Π. UPatras Στατιστικές Μέθοδοι στην Επιστήμη των Δεδομένων, Εργαστήριο 5ο 24

Εφαρμογές: στο var.test και t.test Lab_3.pdf σελ. 10