ΚΕΦΑΛΑΙΟ 1users.auth.gr/~cmoi/Notes/EfAnPaDi/1-multiple regression-new.pdf ·...
41
Μωυσιάδης Πολ.-Τμήμα Μαθηματικών ΑΠΘ ΚΕΦΑΛΑΙΟ 1 Πολλαπλή Γραμμική Παλινδρόμηση Μωυσιάδης Χρόνης 6 o Εξάμηνο Μαθηματικών Μωυσιάδης Πολ.-Τμήμα Μαθηματικών ΑΠΘ 2 Πρόβλημα Τύπος - Κατασκευή Ρυθμός Εστίασης (Χ) Μέγεθος (Z) Τιμή (δρχ) (Υ) Sony CPD-1730 51.5 Κανονική 186000 Nec 5FGe 49.5 Κανονική 162000 SuperMac 20 Plus 48 Μεγάλη 272000 Ikegini CT-20D 55 Μεγάλη 377000 Mitsubishi 17 43 Κανονική 164000 E-Mashines E20 54 Μεγάλη 405000 Sony GDM2038 57.5 Μεγάλη 400000 Nano F550i 52.5 Κανονική 196000 SuperMac 17T 47.5 Κανονική 175000 Radius 20v 47 Μεγάλη 308000 Για αγορά οθόνης για υπολογιστή ψάξαμε στην αγορά και πήραμε τα στοιχεία του πίνακα Κωδικοποιούμε Ζ=1 μεγάλη Ζ=2 κανονική Ερωτήματα Έχει σχέση η τιμή με το μέγεθος ; με το ρυθμό εστίασης ; Υπάρχει συνάρτηση ; ( , ) Y f XZ ή ( , ) Y f XZ Ειδικότερα υπάρχουν σταθερές ; 0 1 2 Y X Z + + b b b
Transcript of ΚΕΦΑΛΑΙΟ 1users.auth.gr/~cmoi/Notes/EfAnPaDi/1-multiple regression-new.pdf ·...
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
ΚΕΦΑΛΑΙΟ 1
Πολλαπλή
Γραμμική
Παλινδρόμηση
Μωυσιάδης Χρόνης6o Εξάμηνο Μαθηματικών
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
2
Πρόβλημα
Τύπος -
Κατασκευή
Ρυθμός
Εστίασης (Χ)Μέγεθος (Z) Τιμή (δρχ) (Υ)
Sony CPD-1730 51.5 Κανονική 186000
Nec 5FGe 49.5 Κανονική 162000
SuperMac 20 Plus 48 Μεγάλη 272000
Ikegini CT-20D 55 Μεγάλη 377000
Mitsubishi 17 43 Κανονική 164000
E-Mashines E20 54 Μεγάλη 405000
Sony GDM2038 57.5 Μεγάλη 400000
Nano F550i 52.5 Κανονική 196000
SuperMac 17T 47.5 Κανονική 175000
Radius 20v 47 Μεγάλη 308000
Για αγορά οθόνης για υπολογιστή
ψάξαμε στην αγορά και πήραμε τα
στοιχεία του πίνακα
ΚωδικοποιούμεΖ=1 μεγάληΖ=2 κανονική
ΕρωτήματαΈχει σχέση η τιμή με το μέγεθος ; με το ρυθμό εστίασης ;
Υπάρχει συνάρτηση ;
( , )Y f X Z ή ( , )Y f X ZΕιδικότερα υπάρχουν σταθερές ;
0 1 2Y X Z+ + b b b
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
3
Γενικό Γραμμικό Μοντέλο
11 21 31 1 1
12 22 32 2 2
1 2 3
k
k
n n n kn n
x x x x yx x x x y
x x x x y
ΔΕΔΟΜΕΝΑ
Προβλέπουσεςμεταβλητές(predictor)ή ανεξάρτητες
X2 X3 XkX1
Εξαρτημένημεταβλητήή απόκριση(response)
Y
ΜΟΝΤΕΛΟ
0 1 1 2 2 ... k kY X X X
Άγνωστες παράμετροι πουζητείται να εκτιμηθούν
το σφάλμα ε που απαιτείται να είναι «μικρό»
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
4
Μετασχηματισμοί μοντέλων
01 2
1y x
x
Bx xy Ae e ΔΕΝ ΑΝΑΓΟΝΤΑΙ
ΣΕ ΓΡΑΜΜΙΚΑ
1 1 2 2 0 1 2ln , ln , ln , ln , , , lnX x X x Y y
Θέτουμε x=X1, x2=X2, log2y=Y
Εκθετικά
1 2y x x Θέτουμε
2
2 x xy
20 1 2 1 2Y x x z x z Θέτουμε
x=X1, x2=X2, z=X3, x z =X4
Πολυωνυμικά
20 1 2 ... k
kY x x x Θέτουμε x=X1, x2=X2, …, xk=Xk
γραμμικό ;
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
5
Παράδειγμα
όπου άγνωστες αλλά σταθερές τάσεις που πρέπει να προσδιορισθούν. Ένας ερευνητής έκανε 10 μετρήσεις της που αντιστοιχούν στις γωνίες . Μετασχηματίστε τον τύπο του Hankinson και τα δεδομένα έτσι ώστε ο προσδιορισμός των σταθερών που ζητούνται να πετυχαίνεται με γραμμικό μοντέλο.
2 2c c
c c
f ff
f f
,c cf f
Για τη μελέτη της τάσης δοκών που σχηματίζουν γωνία θ με το έδαφος ισχύει ο τύπος του Hankinson
f
f
, 1,2,...,10i i
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
6
Απάντηση
221 1 1 1c c c
c c c c c
f f f
f f f f f f
Ο τύπος του Hankinson γράφεται
πετυχαίνεται το γραμμικό μοντέλο. y x
x1
….
x10
y1
….
y10
f1
….
f10
θ1
…..
θ10
1
…
10
xyi
Τα Δεδομένα γίνονται
f
1 1
c cf f
1
yf
1
cf άρα θέτοντας
2x
όπου1
i
yf
2i ix
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
7
Σύστημα εξισώσεων
1 0 1 11 2 21 1 1
2 0 1 12 2 22 2 2
0 1 1 2 2
...
...... .........................................................
...
k k
k k
n n n k kn n
y x x xy x x x
y x x x
Εφαρμόζοντας το ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ
ΖΗΤΟΥΜΕΝΟ: “ΚΑΛΥΤΕΡΗ ΔΥΝΑΤΗ ΠΡΟΣΑΡΜΟΓΗ”Δηλαδή εύρεση των συντελεστών βi με τρόποώστε οι ισότητες να προσεγγίζονται περισσότερο
στα δεδομένα παίρνουμε το σύστημα0 1 1 2 2 ... k kY X X X
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
8
Μέθοδος Ελαχίστων Τετραγώνων
ΥΠΑΡΧΟΥΝ ΚΑΙ ΑΛΛΕΣ ΜΕΘΟΔΟΙ ΕΥΡΕΣΗΣ ΒΕΛΤΙΣΤΩΝ βi
ΜΟΝΤΕΛΟ ΠΡΟΒΛΕΨΗΣ
0 1 1 2 2ˆ ˆ ˆ ˆˆ ... k kY X X X
Εύρεση των βi
ώστε το άθροισμα να είναι ελάχιστο
2
1
n
ii
Συμβολίζουμε τις λύσεις
( διαβάζουμε βi εκτιμώμενο)
ˆi
Παρατηρήσεις: ΕΔΩ ΔΕΝ ΕΧΟΥΜΕ TO ΣΦΑΛΜΑ ε.ΤΟ ΛΕΓΕΤΑΙ ΕΚΤΙΜΩΜΕΝΟ Y Η ΔΙΑΦΟΡΑ ΕΙΝΑΙ ΤΟΣΦΑΛΜΑ ΜΕΤΑ ΤΗΝ ΠΡΟΣΑΡΜΟΓΗΤΟΥ ΣΥΓΚΕΚΡΙΜΕΝΟΥ ΜΟΝΤΕΛΟΥ
Yˆ ˆi i iy Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
9
Προβλέψεις - Σφάλματα
1 0 1 11 2 21 1
2 0 1 12 2 22 2
0 1 1 2 2
ˆ ˆ ˆ ˆˆ ...ˆ ˆ ˆ ˆˆ ...
... ...................................................ˆ ˆ ˆ ˆˆ ...
k k
k k
n n n k kn
y x x xy x x x
y x x x
Πρόβλεψη στα δοθέντα σημεία
Σύμφωνα με τη μέθοδο ελαχίστων τετραγώνων,πρέπει να ισχύει:
22
1 1
ˆn n
i i ii i
y y
να είναι ελάχιστο
Για τον υπολογισμό
ΑΛΓΕΒΡΑ ή
ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ;
ΥΠΟΛΟΙΠΑ(residuals)
1 1 1
2 2 2
ˆˆˆˆ
.......ˆˆn n n
y yy y
y y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
10
Με μορφή Πινάκων
1
2
n
yyY
y
11 21 31 1
12 22 32 2
1 2 3
11
1
k
k
n n n kn
x x x xx x x xX
x x x x
0
1
k
1
2
n
ΘΕΤΟΝΤΑΣ
Y X
προκύπτει το μοντέλο
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
11
Προϋποθέσεις
1
2
00( ) 0
0n
EEE
E
21 12 13 1
2221 2 23 2
21 2 3
( ) ( )( )
n
nn
n n n n
V E E E I
Τα σφάλματα έχουν μέση τιμή 0
Τα σφάλματα είναι ασυσχέτιστα δηλαδή όλες οι συνδιασπορές είναι 0
Τα σφάλματα έχουν την ίδια σταθερή διασπορά σ2
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
12
ΥπολογισμοίΖΗΤΟΥΜΕΝΟ
1
2 2 2 2 21 2 1 2( ) ... , ,i n n
n
S
( ) ( ) 2Y X Y X Y Y Y X X X
Να είναιελάχιστο
Ισχύει
( )2
S Y X X XY Y
?
2 ( )X X X Y 2 ( )
2S
X X
( )X X X X Δηλαδή
Χ΄Χ συμμετρ.
(1)
(2)
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
13
Παραγώγιση διανυσματικής συνάρτησης
1
( ),
( )
( )
n
f x
x
f x
x
f x
x
Διανυ-σματική συνάρ-τηση
0
0
c
x
1
n
x
x
x
x
1
1 2
2 2 211 1 22 2 12 1 2 13 1 3 1, 1
, , ...,
... 2( ... )
n
n
nn n n n n n
xx Ax x x x A
x
x x x x x x x x x
1
( ) ( ) ( ), ..., 2
n
x Ax x Ax x AxAx
x x x
συμμετρικός πίνακας
Παράγωγος τετραγωνικής
μορφής
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
14
Δεύτερη παράγωγος διανυσμ. συνάρτ.
2 2
22 1 1
2 2
21
( ) ( )
( )
( ) ( )
n
n n
f x f x
x x xf x
x x f x f x
x x x
Εσσιανός πίνακαςτης πραγμ.συνάρτησηςδιανυσμ.μεταβλητής(Hessian matrix)
2
2x Ax
Ax x
προφανώς
Αν
Ακρότατα διανυσμ. συνάρτ.
( )0
f x
x
κρίσιμο σημείο
2 ( )f x
x x
αρνητ. ορισμ. πίνακαςσχετικό μέγιστο
θετ. ορισμ. πίνακαςσχετικό ελάχιστο
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
15
Κανονικές εξισώσεις-Εκτίμηση παραμ.
2( ) 0X X X Y
Από τη σχέση (1) το κρίσιμο σημείο ικανοποιεί την
Αν |X΄Χ|≠0, τότε
1ˆ X X X Y
Είναι ΣΧΕΤΙΚΟ ΕΛΑΧΙΣΤΟΔιότι ο εσσιανός πίνακας είναι ο 2Χ΄Χ που είναι θετικά ορισμένος (θ.ο.), διότι:
ισχύει ( ) ( )( ) ( ) ( ) 0X X X X X X άθροισμα τετραγώνων
δηλαδήX X X Y
κανονικές εξισώσεις
Αν |X΄Χ|=0, τότε
ˆ X X X Y
γενικευμένος αντίστροφος
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
16
Είναι και ΟΛΙΚΟ ΕΛΑΧΙΣΤΟ
( ) ( ) ( )
ˆ ˆ ˆ ˆ( ) ( )
ˆ ˆ ˆ ˆ
ˆ ˆ ˆ ˆ
S Y X Y X
Y X X Y X X
Y X Y X X X
X Y X Y X X
ˆ( )S
ˆ ˆ
ˆ ˆ 0
X X
X X
ˆ ˆ ˆ ˆ 0X Y X X Y X X καν. εξισώσεις
όμοια
ˆ( )S
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
17
Μοντέλο πρόβλεψης – πίνακας «χατ»
0 1 1 2 2ˆ ˆ ˆ ˆˆ ... k kY X X X
Το μοντέλο
γράφεται ˆY X ή
1Y X X X X Y
Y HY
Ο πίνακας 1H X X X X
λειτουργεί ως τελεστής μετατροπής του διανύσματος Y σεΓια το λόγο αυτό λέγεται πίνακας χατ.
Y
Ισχύει: 1 1 12H X X X X X X X X X X X X H
μοναδιαίος Ο Η είναι ΤΑΥΤΟΔΥΝΑΜΟΣ
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
18
Ιδιότητες εκτιμητού παραμέτρων
1 1
1 1
1
ˆ
( ) ( )
E E X X X Y X X X EY
X X X E X X X X X E
X X X X
ˆE
1.
12ˆ( )V X X
2.
1 1
1 1
1 1
1 12
1 1 12 2
ˆ ˆ ˆ ˆ ˆ ˆ ˆ( )
( )
n
V E E E E
E X X X X X X
E X X X X X X
X X X E X X X
X X X I X X X
X X X X X X X X
1
1
1
1
1
ˆ
( )
X X X Y
X X X X
X X X X
X X X
X X X
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
19
Διασπορά εκτιμήσεων παραμέτρων
00 01 02 0
10 11 12 11
20 21 22 2
0 1 2
k
k
k
k k k kk
c c c cc c c c
C X X c c c c
c c c c
ΘΕΤΟΥΜΕ
2
2
ˆ
ˆ( ) , 0,1,...,ˆ ˆ( , ) , 0
ˆ( ) , 0,1,...,i
i ii
i j ij
i ii
Var c i k
Cov c i j k
Var c i k
ΤΟΤΕ
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
20
Εφαρμογή για k=1 (Παράδειγμα κεφ. 1)
y yy yα/α x y x2
y2
x y ε=y-1 0.05 0.05 0.0025 0.0025 0.0025 0.04210 0.00789
2 0.05 0.10 0.0025 0.0100 0.0050 0.04210 0.05789
3 0.25 0.25 0.0625 0.0625 0.0625 0.36274 -0.11274
4 0.25 0.35 0.0625 0.1225 0.0875 0.36274 -0.01274
5 0.50 0.75 0.2500 0.5625 0.3750 0.76352 -0.01352
6 0.50 0.85 0.2500 0.7225 0.4250 0.76352 0.08648
7 0.50 0.95 0.2500 0.9025 0.4759 0.76352 0.18648
8 1.25 1.42 1.5625 2.0164 1.7750 1.96587 -0.54587
9 1.25 1.75 1.5625 3.0625 2.1875 1.96587 -0.21587
10 1.25 1.82 1.5625 3.3124 2.2750 1.96587 -0.14587
11 1.25 1.95 1.5625 3.8025 2.4375 1.96587 -0.01587
12 1.25 2.45 1.5625 6.0025 3.0625 1.96587 0.48413
13 2.10 3.05 4.4100 9.3025 6.4050 3.32854 -0.27854
14 2.10 3.19 4.4100 10.1761 6.6990 3.32854 -0.13854
15 2.10 3.25 4.4100 10.5625 6.8250 3.32854 -0.07854
16 2.10 3.43 4.4100 11.7649 7.2030 3.32854 0.10146
17 2.10 3.50 4.4100 12.2500 7.3500 3.32854 0.17146
18 2.10 3.93 4.4100 15.4449 8.2530 3.32854 0.60146
19 2.50 3.75 6.2500 14.0625 9.3750 3.96979 -0.21979
20 2.50 3.93 6.2500 15.4449 9.8250 3.96979 -0.03980
21 2.50 3.99 6.2500 15.9201 9.9750 3.96979 0.02021
22 2.50 4.07 6.2500 16.5649 10.1750 3.96979 0.10021
30.95 48.78 60.1525 152.0746 95.2550 48.78000 -0.00001
α/α x y x2
y2
x y ε=y-1 0.05 0.05 0.0025 0.0025 0.0025 0.04210 0.00789
2 0.05 0.10 0.0025 0.0100 0.0050 0.04210 0.05789
3 0.25 0.25 0.0625 0.0625 0.0625 0.36274 -0.11274
4 0.25 0.35 0.0625 0.1225 0.0875 0.36274 -0.01274
5 0.50 0.75 0.2500 0.5625 0.3750 0.76352 -0.01352
6 0.50 0.85 0.2500 0.7225 0.4250 0.76352 0.08648
7 0.50 0.95 0.2500 0.9025 0.4759 0.76352 0.18648
8 1.25 1.42 1.5625 2.0164 1.7750 1.96587 -0.54587
9 1.25 1.75 1.5625 3.0625 2.1875 1.96587 -0.21587
10 1.25 1.82 1.5625 3.3124 2.2750 1.96587 -0.14587
11 1.25 1.95 1.5625 3.8025 2.4375 1.96587 -0.01587
12 1.25 2.45 1.5625 6.0025 3.0625 1.96587 0.48413
13 2.10 3.05 4.4100 9.3025 6.4050 3.32854 -0.27854
14 2.10 3.19 4.4100 10.1761 6.6990 3.32854 -0.13854
15 2.10 3.25 4.4100 10.5625 6.8250 3.32854 -0.07854
16 2.10 3.43 4.4100 11.7649 7.2030 3.32854 0.10146
17 2.10 3.50 4.4100 12.2500 7.3500 3.32854 0.17146
18 2.10 3.93 4.4100 15.4449 8.2530 3.32854 0.60146
19 2.50 3.75 6.2500 14.0625 9.3750 3.96979 -0.21979
20 2.50 3.93 6.2500 15.4449 9.8250 3.96979 -0.03980
21 2.50 3.99 6.2500 15.9201 9.9750 3.96979 0.02021
22 2.50 4.07 6.2500 16.5649 10.1750 3.96979 0.10021
30.95 48.78 60.1525 152.0746 95.2550 48.78000 -0.00001
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
21
Υπολογισμοί (Χ΄Χ)-1 και Χ΄Υ
1
2
22
yyY
y
1
2
22
11
1
xxX
x
0
1
1
2
22
Είναι Y X
όπου:
22
1
1222 22
21 22
22 1 1
1 221 1 1 22 30.95
30.95 60.15251
ii
i ii i
x xxX X
x xx xx
22
1
1222
1 22
22 1
48.7895.2
1 155
ii
i ii
y yyX Y
x xx yy
1
0.16459731 -0.08468953-0.08468953 0.06019934
X X
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
22
Το μοντέλο πρόβλεψης
1ˆˆˆ
0.16459731 -0.08468953 48.78 0.03804407-0.08468953 0.06019934 95.255 1.60313310
X X X Y
2 211
ˆ( ) 0.06019934Var c
Μοντέλο Πρόβλεψης ˆ 0.03804407 1.60313310Y X
2 200ˆ( ) 0.16459731Var c
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
23
Η γενική περίπτωση με k=1
2 2
1
1 12 2
- -1 1
- -
n n
i ii i
xxi
x n x x n xX X
nSn x n x n x n n x n
2
1
n
ii
n n xX X
n x x
1
n
i ii
n yX Y
x y
2
1ˆ 1ˆˆ
i i i
xyxx
y x x x yX X X Y
SS
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
24
Επαλήθευση με γνωστούς τύπους
2
ˆˆ i i i
xx
y x x x yy x
S
ˆ xy
xx
S
S
2 2 2 2i i i i i i
xx xy
y x x x y y x n x n x y x x y
y S x S
22
2 2 210
22
0ˆ( )
1
n
ii
xx
xx
xx xx
xS nx
Var cnS n
x
n SS
2 211
21ˆ( )xx xx
Var cS S
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
25
Παρεμβολή -Πρόβλεψη
0 1 1 2 2 1ˆ ˆ ˆ ˆ ˆˆ ... 1, , ,k k ky x x x x x
100
0
1
k
xx
x
Το δοσμένο σημείο 0 0
ˆy x
Η πρόβλεψη στο σημείο αυτό
Για το παράδειγμα: Παρεμβολή στο x0 =2. Πρόβλεψη στο x0=3 .
0
0.03804407ˆˆ 1, 2 1, 21.60313310
3.168222
y
Όμοια
0
4.77135
ˆˆ 1, 3
5
y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
26
Ιδιότητες της πρόβλεψης
0 0ˆ( ) ( )E y E y1. 0 0 0 0 0ˆ ˆˆ( ) ( )E y E x x E x E y
διότι 0 0 1 10 0 0... k ky x x
2. 2 10 0 0ˆ( ) ( )Var y x X X x
22
0 0 0 0 0
0 0 0 0 0 0
0 0 0 0
2 10 0 0
ˆˆ ˆ ˆ( )
ˆ ˆ ˆ ˆ
ˆ ˆ ˆ( )
ˆ( ) ( )
Var y E y E y E x x
E x x x x E x x
x E x x V x
Var y x X X x
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
27
Η διασπορά στη γενική περίπτωση
22
0
2 22
22 2 2
2 2
2
- 11ˆ( ) 1,
-
-21-
1
-
( )
,
( ) ()
i
xx
ii
x
xx
x xx
i
xx
x n xVar y x
xnS n x n
x n x x n xx n x x n x n x
xnS nS
xx x n x x
nS
x
n S
2
2
0
0.16459731 -0.08468953 1ˆ( ) 1, 2
-0.08468953 0.06019
0.06663
9 4 2
7
3Var y
Όμοιαγια x0=3 0
20.19ˆ( 82) 54Var y
Για το παράδειγμα και για x0=2
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
28
Σφάλμα μετά την προσαρμογή
1 1 1
2 2 2
ˆ ˆˆ ˆ ˆˆ... ...ˆ ˆn n n
y yy y Y Y
y y
ˆ ˆˆ ˆ ( ) ( )ˆ ˆ ˆ ˆ
SSE Y X Y X
Y Y X Y Y X X X
ˆ SSE = Y Y - β X Y
ˆ
ˆ
ˆ
Y X
Y X
X Y
1
ˆ ˆ
ˆ (ˆ
)
X
X X
X
Y
X X X X Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
29
Το σφάλμα SSE ως τετραγωνική μορφή1ˆ ( )X Y Y X X X X Y
1ˆ ( )SSE Y Y X Y Y Y Y X X X X Y
SSE = Y A Y
1( )nA I X X X X
ήnA I H
πίνακας χατΩΣΤΕ:SSE είναι Τετραγωνική Μορφή με πίνακα Αδιότι Α είναι συμμετρικός πίνακας. ΕΡΩΤΗΜΑ:Η SSE είναι Τυχαία Μεταβλητή (Πολυδιάστατη). (αφού είναι τ.μ. ). Με τι κατανομή ;Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
30
Τετραγωνικές μορφές
Αν
2 2 2 21 2 ... m mZ X X X= + + + c
τότε ο συντελεστής μη-κεντρικ. λ, της 2( , )i iX N m s
είναι 2 2...1
2m
(I) Y
τυχαίο διάνυσμα με ( )E Y
και 2( ) nV Y I
2( ) ( )E Y AY A Tr A
(IΙ) τυχαία πολυ-κανονική μεταβλητή1 22 mY AY¢ s
c
2( , )nY IN
m sY
μή κεντρική με 122A
(IΙΙ) τυχαία πολυ-κανονική μεταβλητή με
Y AY
( , )nY IN
mY
ανεξάρτητες, τότε 0A B Αν είναι Y BY
και
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
31
Μη-κεντρική χ2 κατανομή
0 5 10 15 20
0.0
0.05
0.10
0.15
0 5 10 20 30
0.0
0.2
0.4
α. χ52 κατανομή με 5 β.ε.
β. χ52 κατανομή μη-κεντρική με 5 β.ε.
και λ=6.875
0 5 10 20
0.0
0.05
0.10
0.15
0 10 20 30
0.0
0.04
0.08
α. πυκνότητα τ.δείγματοςΧ2=Χ1
2/σ12+...+Χ5
2 /σ12
Χi~N(0 ,σi2), σi=1, 2, 5, 4, 2
β. πυκνότητα τ.δείγματοςΧ2=Χ1
2/σ12+...+Χ5
2 /σ12
Χi~N(μi,σi2), σi=1, 2, 5, 4, 2
μi= 1, 2, 1.5, 2.5, .5λ=6.875
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
32
Θεώρημα Cochran
1 2 ... kY Y Y A Y Y A Y Y A Y
(IV) 2( , )nY IN
m s και Αi , i=1,2, …,k nn συμμετρικοί πίνακες βαθμού nk και
• n1+n2+…+nk =n
• Ai είναι ταυτοδύναμοι για όλα τα i (Ai2=Ai)
• AiAj=0 για όλα τα i≠j
• με για όλα τα i
• και ανεξάρτητες για όλα τα i≠j
ΤΟΤΕ ΟΙ ΠΑΡΑΚΑΤΩ ΣΥΝΘΗΚΕΣ ΕΙΝΑΙ ΙΣΟΔΥΝΑΜΕΣ
2
ii nY A Y¢
c1
2i iA
jYA Y iYA Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
33
Τυπικό Σφάλμα
ΕΙΔΑΜΕ ΟΤΙ SSE Y AY nA I H με
2( ) ( ) ( ) ( ) ( )E SSE E Y AY X A X Tr A
Δηλαδή ικανοποιούνται οι προϋποθέσεις της ιδιότητας (Ι)
( ) 0E
Είναι Y X
με και 2( ) nV I
2( ) nV Y I
και( )E Y X
Άρα
( )
0
nX I H X
X X X HX
X X X X
1
1
1
1
( ( ) )
( ) ( )
( )
)
)
(
( 1
n
n
k
Tr A Tr I X X X X
Tr I Tr X X X X
n Tr X X X X
n Tr I n k
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
34
Εκτίμηση διασποράς σφαλμάτων
Ώστε: 2( ) ( 1)E SSE n k ή 2
1
SSEEn k
Αμερόληπτος εκτιμητής της διασποράς σφαλμάτων
2
1
SSEs
n k
τυπικό σφάλμα 1
SSEs
n k=
- -
2
20 0 0
ˆ( ) , 0,1,...,
ˆ ˆ( ) ( ) , 0,1,...,
ˆ( )
i ii
i i ii
Var s c i k
s Var s c i k
Var y s x Cx
ΤΟΤΕόπου
1
00 0
0
( )
k
k kk
C X Xc c
c c
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
35
Εφαρμογή στο παράδειγμα
0.03804407 48.78ˆ 152.0746 1.2239461.60313310 95.255
SSE Y Y X Y
Βρίσκουμε:
Από τον πίνακα = άθροισμα τετραγώνων των yi
2 2 2 21 2 ... 1.223943i nSSE
2 1.2239460.0611973
20 20
SSEs 0.24738s άρα
Οι διασπορές των προβλέψεων
20
20
ˆ( ) 0.066637 0.004
ˆ( ) 0.198254 0.012
Var y s
Var y s
Οι διασπορές των 2
2
ˆ( ) 0.164597 0.010ˆ( ) 0.0601993 0.0037
Var s
Var s
ˆˆ,
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
36
Παράδειγμα (η άσκηση 1.1α του βιβλίου)
68-83328914285484506-34633-2266
4019044
164
161
-23-1-302-2-42-41
850-35140814
366410
2594
16100
925
4816-80
30-180
48406
-20
63290
152410-4020-2130
644
6410036360
144164
16
11681
1219
6425
1004
4936
88
-72-11018-480
-1208
-14-24
6810532-410-35
82-8
-106-60
-124-2-4
14911385
10276
Υ2Χ2ΥΧ1ΥΧ22Χ1
2Χ1Χ2ΥΧ2Χ12Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
37
Υπολογισμοί
Y X
Το Μοντέλο όπου:
1
2
11
yyY
y
1,1 2,1
1,2 2,2
1,11 2,11
11
1
x xx x
X
x x
0
1
2
1
2
11
1,1 2,1
1,2 2,21,1 1,2 1,11
2,1 2,2 2,111,11 2,11
1, 2,2
1, 1, 2,2
2,
11 1 1
1
1
11
( .)
i i
i i i
i
x xx x
X X x x xx x x
x x
x x
x x x
x
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
38
Το διάνυσμα παραμέτρων
11 66 22
66 506 346
22 346 484
X X
1
4.3705 0.8495 0.4086
( ) 0.8495 0.1690 0.0822
0.4086 0.0822 0.0422
X X-
- -¢ = -
-
æ ö÷ç ÷ç ÷ç ÷ç ÷÷çè ø
1
21,1 1,2 1,11 1,
2,1 2,2 2,11 2,111
1 1 1 i
i i
i i
y yy
X Y x x x x yx x x x yy
æ ö æ öæ ö ÷ç ÷ç÷÷ç ç ÷ç÷÷ç ç ÷÷ ç÷ ÷ç ç¢ = =÷÷ ç ÷ç ç ÷÷ ç ÷ç ç ÷÷ ç ÷ç ç ÷÷÷ç ç ÷÷ ÷è ø çç ÷ç è øè ø
ååå
3385
142X Y
æ ö÷ç ÷ç ÷¢ = ç ÷ç ÷ç ÷çè ø 1
13.9978ˆ 1.9961
0.5044X X X Y
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
39
Το μοντέλο πρόβλεψης
προσεγγιστικά 1 2ˆ 14 2 0.5y X X
13.9978 33ˆ 289 1.9961 85 69
0.5044 142SSE Y Y β X Y
¢æ ö æ ö÷ ÷ç ç÷ ÷ç ç÷ ÷¢ ¢ ¢= - = - - ⋅ =ç ç÷ ÷ç ç÷ ÷ç ç÷ ÷ç ç-è ø è ø
Με την εκτίμηση των παραμέτρων
2 68iSSE απευθείας
2 698.625
1 11 2 1
SSEs
n k
2.937s
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
40
Παράδειγμα (Συστολ. πίεση αίματος)
x1 x2 y ŷ ε
76.091.585.582.579.080.574.579.085.075.582.095.092.5
50202030305060504055304020
120141124126117129123125132123132155147
119.854140.491127.567125.355117.816129.547120.873126.316134.990123.056128.528156.530142.645
0.1460.509
-3.5670.645
-0.816-0.5472.127
-1.316-2.990-0.0563.472
-1.5304.355
211
22 2
2
1 2
1 2
90159.751079.50505 21925
1694 222228141460.50 6513541167.50
xxx xy yx y x yx x
S =S =S = S =S = S =S = S =S =
13.0 1079.50 505.01079.50 90159.75 41167.5505.0 41167.5 21925.0
XX
Σε 13 άτομα μετρήθηκε συστολική πίεση του αίματός τους (y), το βάρος τους (x1) σε kgr και η ηλικία τους (x2). Να βρεθεί γραμμικό μοντέλο που να εκφράζει τη συστολική πίεση συναρτήσει του βάρους και της ηλικίας. Να εκτιμηθεί η συστολική πίεση ατόμου 45 ετών που ζυγίζει 72 κιλά. Να βρεθεί η διασπορά των εκτιμήσεων των συντελεστών του μοντέλου και της πρόβλεψης.
Οι μετρήσεις
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
41
Το μοντέλο πρόβλεψης
135.4895683 0.362265125 0.1372261097
( ) 0.362265125 0.003775627 0.00125476670.1372261097 0.0012547667 0.0008503341
X X -æ ö- - ÷ç ÷ç ÷¢ = -ç ÷ç ÷ç ÷ç-è ø
1694.0141460.565135.0
X Yæ ö÷ç ÷ç ÷¢ =ç ÷ç ÷ç ÷çè ø
165.0996781 65.1
ˆ ( ) 2.1542029 2.1540.4254134 0.425
β X X X Y-æ ö æ ö- -÷ ÷ç ç÷ ÷ç ç÷ ÷¢ ¢= = ç ç÷ ÷ç ç÷ ÷ç ç÷ ÷ç çè ø è ø
1 2ˆ 65.1 2.154 0.425y x x
ΑΡΑ ΜΟΝΤΕΛΟ ΠΡΟΒΛΕΨΗΣ (προσεγγιστικά)
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
42
Τα σφάλματα μετά την προσαρμογή
Διαγώνιος 1( ) 35.489568, 0.003776, 0.000850X X Άρα
2
2
ˆ( ) 0.0054
ˆ( ) 0.073
Var
s
0
0
ˆ( ) 223.335
ˆ( ) 14.944
Var
s
1
1
ˆ( ) 0.0238
ˆ( ) 0.154
Var
s
(Αν χρησιμοποιήσουμε την προσέγγιση βρίσκουμε SSE=119.108 ενώ πραγματικό SSE=εi
2=62.945)
ˆ 62.93126SSE Y Y X Y
6.293 2.509s και2 62.936.293
13 2 1 10
SSEs
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
43
Πρόβλεψη
0ˆ 109.1465y
0 0
65.0996781ˆˆ 1, 72, 45 2.1542029
0.4254134y x
0 1, 72, 45x
τότε:Αν 10 2072, 45x x
ˆ0
1.584ys
2 10 0 0
1
ˆ( ) ( )
16.293 1, 72, 45 ( ) 72
45
Var y s x X X x
X X 2.509
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
44
Το άθροισμα τετραγώνων SST
Συνολικό Άθροισμα τετραγώνων
2 22 2 11i iSST y y y ny Y Y Y
n
Επειδή
21 1 1
11
n
Y Y Y
Y YY J Y
όπου
1 1 11 1 1
1 1 1
nJ
Οπότε:
1nn
SST Y Y Y J Y
ή 1n nn
SST Y I J Y
Τετραγωνική μορφή
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
45
Το άθροισμα τετραγώνων SSR
Η σχέση ˆSSE Y Y X Y
δίνει
1( ( )SSE Y Y Y X X X X Y
ή SSE Y Y Y HY
SST SSE SSR SSR
Το μέρος της συνολικής διασποράς που εξηγείται (ερμηνεύεται) από την παλινδρόμηση
1( )nnY Y SST Y J Y SSE Y HY
1( )nnSST SSE Y H J Y
Συνδυάζοντας:
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
46
Κατανομή των Αθροισμάτων SSR, SSE, SST
1
2
3
SST Y Y Y A YSSR Y A YSSE Y A Y
11
1 112
13
( )
( )
nn
n nn n
n n
A J
A H J X XX X J
A I H I X XX X
ΟΠΟΤΕ:1 2 3Y Y Y A Y Y A Y Y A Y
ΕΡΩΤΗΜΑ: Ισχύουν οι προϋποθέσεις του Θεωρήματος Cochran;
(α) Οι πίνακες Α1, Α2, Α3 είναι συμμετρικοί.
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
47
Οι πίνακες Α1, Α2, Α3 είναι ταυτοδύναμοι
2 2
1 1 1 1 121 1n n n n n nn n nn nA J J J J nJ J A
2 12 22 2n nn nA H J J A
1 1( ) ( ) 1 1 1 11n n nHJ X XX X J X XX X X J
2 23 3n n nA I H I H I H H H A
διότι
n n nHJ HJ J H 1 12
2
2 12
n nn n
n nn n
A H J H J
H HJ J
1X
Η εξίσωση: λύνεται, διότι
1
1 1
1
X X X X
X X X
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
48
Οι βαθμοί των πινάκων Α1, Α2, Α3
11
11( ) ( ) ( ) 1n nn n
Tr A Tr J Tr J n
2 21( ) ( )- ( ) ( 1)-1nn
Tr A Tr H Tr J k nk
3 3( ) ( ) ( ) ( 1)nTr A Tr I Tr H n nk
22( )rank A n
33( )rank A n
11( )rank A n
όπου χρησιμοποιήθηκε1
11
( ) ( ( ) )
( ( ) ) ( ) 1k
Tr H Tr X XX X
Tr XX XX Tr I k
( ) ( )Tr AB Tr BA
και ισχύει
1 2 3n n n n (β)
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
49
Ισχύει το θεώρημα Cochran
(γ) Ισχύουν οι προϋποθέσεις κανονικότητας
έπεται Y Xβ ε= +
2(0, )nε N σ IΑπό 2( , )nY N Xβ σ I
1 22 kσSSR χ 1 1
22
132
1 112
( )
0
( ) ( )
n nn
n n nn
A X I J X
A
I A X I J X
1 212 n kσ
SSE χ - -
1 212 nσ
SST χ -
ΑΡΑ ΕΧΟΥΜΕ
με
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
50
Ο πίνακας ANOVA
ΠηγήΑθρoίσματαΤετραγώνων
β.ε. Μέσα Τετράγωνα Λόγος F
Παλινδρόμηση SSR kSSR
MSRk
MSRF
MSE
Υπόλοιπα(Σφάλματα)
SSE n-k-1- -1
SSEMSE
n k
Σύνολο SST n-1
όπου
2
12
12
1
ˆ
ˆ
n
iin
iin
i ii
SST y y
SSR y y
SSE y y
21
21
1
ˆ 1
ˆ
n
n
SST Y Y Y
SSR X Y Y
SSE Y Y X Y
ή αλ
γεβρ
ικά
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
51
Διορθωτικός Παράγοντας
Αν k=0 , ΜΟΝΤΕΛΟ i=1, 2, …, n0i iy
Άρα SST=SSE
1X
Τότε: (αφού ) 1
0ˆ 1 1 1 Y y
2 21 1 2 2ˆ 1 1 1 0n n
SSR X Y Y y Y Y ny ny
21ˆ 1n
SSR X Y Y
λέγεται διορθωτικός παράγοντας
ο δεύτερος όρος στον τύπο
1 2, ,..., n
Ώστε: SSR στο ΠΛΗΡΕΣ μοντέλο οφείλεται στους άλλους συντ/στές
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
52
Εφαρμογή στο παράδειγμα της συστ. πίεσης
Πηγή Αθρoίσματα Τετραγώνων
β.ε. Μέσα Τετράγωνα Λόγος F
Παλινδρόμηση 1423.838 2 711.915 113.09***
Υπόλοιπα (σφάλμ.) 62.951 10 6.295=s2
Σύνολο 1486.789 12
1 1694iy 221 1694
131 222228 1486.789
nSST Y Y Y
1486.789 1423.838 62.951SSE SST SSR
221 1694
13ˆ 1 222165.1 1423.838
nSSR Y
ˆ 222165.1
ΠΙΝΑΚΑΣ ΑΝΑΛΥΣΗΣ ΔΙΑΣΠΟΡΑΣ
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
53
Το συμπέρασμα
Η0 : β1=β2=0
Η1 : β1≠β2≠0F=113.09
2,10;
2.92, 0.104.10, 0.055.46, 0.0257.56, 0.019.43, 0.005
F
0 1 2 3 5 6 84.10282
0.0
0.2
0.4
0.6
0.8
1.0
F2,10
0.05
Σε στάθμη σημ. αΑν F>Fk,n-k-1;α
ΑΠΟΡΡΙΠΤΕΤΑΙΑν F<Fk,n-k-1;α
ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ
Εδώ F>4.10, άραη H0 ΑΠΟΡΡΙΠΤΕΤΑΙ
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
54
Συντελεστής Προσδιορισμού
SSESSR
SST
2
2
/ 1...
/( 1) 1
SSR k n k RF
SS n k k R
- -= = = ⋅
E - - -
R2 εκφράζει το ποσοστό της συνολικής διασποράς που
ερμηνεύει το μοντέλο
Σχέση των F και R2
2 1SSR SSE
RSST SST
= = -
2 /( 1)
1 /( 1)
kF n kR
kF n k
- -=
+ - -
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
55
Διορθωμένος συντελεστής προσδιορισμού
22 /( 1)
1 1/( 1)
SSE n k sR
SST n VarY
- -= - = -
-
διορθωμένος συντελεστής
προσδιορισμού
Σχέση των και R22R
2 2( 1)(1 ) ( 1)(1 )n k R n R- - - = - -
2 62.951/100.949
1486.789 /12R = =
Για το παράδειγμα της πίεσης
2 1423.8380.958
1486.789R = =
Το μοντέλο ερμηνεύει το 95.8% της συνολικής διασποράς
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
56
= λX c
Απαραίτητη προϋπόθεση (για να εκτιμάται το θ) είναι
ΝΑ ΕΧΕΙ ΛΥΣΗ Η ΕΞΙΣΩΣΗ
Έλεγχοι Υποθέσεων
ΘΕΩΡΗΜΑ (Gauß-Markov)
Αν όπου είναι
γραμμικός συνδυασμός των συντελεστών παλινδρόμησης,
τότε η καλύτερη γραμμική εκτίμηση του θ (που είναι
μοναδική) είναι η
0 1 kλ = (λ , λ , ..., λ )¢
θ = λ β¢
ˆθ = λ β¢
Αυτό συμβαίνει με βεβαιότητα αν ο Χ΄Χ είναι αντιστρέψιμος
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
57
Θεώρημα
( )2Y N X β, Is
θ = λ β¢
Αν και
1-1
θ - θ
s λ (X X) λn kt - -
¢ ¢
όπου
ˆθ = λ β¢ SSE
s =n - k -1
ΤΟΤΕ
1ˆθ = λ λ ( )β= X X X Y-¢ ¢ ¢ ¢
ΑΠΟΔΕΙΞΗ2
ˆ ˆθ θN(μ , σ )Η τ.μ. έχει κατανομή
1 1
θˆμ = Ε(θ) = λ ( ) ( ) λ ( )
λ θ
X X X Y X X X β
β=
- -¢ ¢ ¢ ¢ ¢ ¢E = C¢=
( )2 2
θ
2 -1
ˆ ˆˆ ˆ= Var(θ) = E(θ - θ) = λ ( ( λ
ˆλ V( λ = σ λ ( ) λ
β - β) β - β) =
= β)
s ¢ ¢E
¢ ¢ ¢C C
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
58
Ισχύουν
-1
θ - θ(0,1)
λ (X X) λZ
s= N
¢ ¢
2n-k-12
1W = χ
σSSE
1
Z
/( 1)n kt
W n k- -
- -
άρα από γνωστό θεώρημα της Θ.Πιθ.αν Z, W είναι ανεξάρτητες
2θ και SSE ανεξάρτητες
και SSE ανεξάρτητεςθ - θ
Y
και οι δύο τ.μ. είναι τετραγωνικές μορφές της
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
59
ανεξαρτησία των δύο τετραγ. μορφών
1 1 1( ( ) ) ( ) λ λ ( ) 0nAB I X X X X X X X X X X- - -¢ ¢ ¢ ¢ ¢ ¢= - =
( )nSSE Y I H Y Y AY¢ ¢= - =
( )2
1 1
ˆ ˆ ˆ ˆ ˆ ˆˆ ˆ ˆθ θθ λ λ λ λ λ λ
( ) λ λ ( )
β β= β β= β β=
Y X X X X X X Y Y BY- -
¢¢ ¢ ¢ ¢ ¢ ¢= = ⋅ ⋅
¢ ¢ ¢ ¢ ¢ ¢= =
-1
1-1
2
θ - θˆλ (X X) λZ θ - θ
λ (X X) λ1 ( 1)
n ktW SSE s
n k n k
s
s
- -
¢ ¢= =
¢ ¢- - - -
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
60
Έλεγχος παραμέτρων
0
λ = 1
0
æ ö÷ç ÷ç ÷ç ÷ç ÷ç ÷ç ÷÷ç ÷ç ÷ç ÷ç ÷çè ø
Αρκεί (i+1)-στή γραμμή
ΠΟΡΙΣΜΑ ( )2Y N X β, Is
Αν τότε
όπου ( ) iiˆs = s ciβ( ) 1
ˆ -ˆs
i i0n k
i
β βt
β- -
ˆλ iβ= β¢
-1iiλ (X X) λ = c¢ ¢
καιοπότε
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
61
Έλεγχος μέσης πρόβλεψης
0 01-1
0 0
ˆ - μ
x (X X) xn k
Yt
s- -
¢ ¢
ΠΟΡΙΣΜΑ ( )2Y N X β, Is
Αν τότε
όπου ( )0 0
10 0
ˆ ˆs = ( )
( )
y Var y
s x X X x-
=
¢ ¢=
0 10 0... ε0 1 k ky β β x β x= + + + +διότι
0λ = x
Αρκεί0 0θ = x 0β= Ey m¢ =
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
62
Έλεγχος ατομικής πρόβλεψης
0 01-1
0 0
ˆ - μ
1+ x (X X) xn k
Yt
s- -
¢ ¢
ΠΟΡΙΣΜΑ ( )2Y N X β, Is
Αν τότε
όπου ( ) iiˆs = s ciβ
ˆ ) 00 0E(Y Y- =διότι
0
-10 0
ˆˆ ) (
(1+ x (X X) x )0 0
2
Var(Y Y Var x (β - β)+Var(ε)=
= σ
¢- =¢ ¢
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
63
Μονόπλευρο ή δίπλευρο t-τεστ
-1
θ - θ
λ (X X) λT
s=
¢ ¢
ΜΟΝΟΠΛΕΥΡΟ
0 0
1 0
: θ = θ:θ > θ
HH
-4 -1 0 1 4t n-k-1;α
tn-k-1
α
1-α
ΔΙΠΛΕΥΡΟ
0 0
1 0
: θ = θ:θ θ
HH ¹
-4 -1 0 1 4t tn-k-1;1-α/2 n-k-1;α/2
tn-k-1
α/2α/2
1-α
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
64
Μονόπλευρο ή δίπλευρο F-τεστ
ΔΙΠΛΕΥΡΟ
0
1
: = 0: 0
H βH β¹
ΘΕΩΡΗΜΑ 21 1, 1n k n kT t F T F- - - - =
ΜΟΝΟΠΛΕΥΡΟ
0
1
: = 0: > 0
H βH β
F1,n-k-1;2α
F1,n-k-1
2α
1-2α
F1,n-k-1;α
F1,n-k-1
α
1-α
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
65
Εφαρμογή με το 3ο παράδειγμα
1 2
(14.944) (0.154) (0.073)
ˆ ˆ ˆ
ˆ 65.1 2.154 0.425
ˆ ˆ ˆ( ) ( ) ( )
0 1 2
0 1 3
β β β
y X X
s β s β s β
=- + + SSR=1423.838SSE=62.93126
( )0
0 0 0ˆ ˆˆ 1, 72, 45 , 109.15, ( ) 2.509, 1.584
Yx Y Var Y s¢ = = = =
2
0( ) 6.295 2.509 8.804s Var Y+ = + =
0
* 2ˆ 0( ) 2.967Ys s Var Y= + = 10;
1.812, 0.052.769, 0.012.228, 0.0253.169, 0.0054.587, 0.0005
t
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
66
Έλεγχοι συντελεστών
0.4255.82
0.073T = =
0
1
: = 0: 0
2
2
H βH β >
Η0 ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=0.0005, διότι t10;α=4.587<5.82
65.1 ( 50)1.01
14.94T
- - - = =
0
1
: 50: 50
0
0
H βH β
=-¹-
Η0 ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=0.1, διότι t10;α/2=1.812>1.01
2.154213.9752
0.1541T = =
0
1
: = 0: 0
1
1
H βH β ¹
Η0 ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=0.001, διότι t10;α/2=4.587<13.97
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
67
Έλεγχοι πρόβλεψης
109.15 1151.98
2.967T
- = =
0
1
: = 115: 115
0
0
H YH Y ¹
Η0 ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=0.05, διότι t10;α/2=2.228>1.98
Για την ατομική πρόβλεψη
109.15 1153.71
1.584T
- = =
0
1
: = 115: 115
0
0
H EYH EY ¹
Η0 ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=0.01, διότι t10;α/2=3.169<3.71
Για τη μέση πρόβλεψη
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
68
95% Διαστήματα εμπιστοσύνης
(102.539, 115.761)ήΥ0
(105.621, 112.679)ήΕΥ0
(0.262, 0.588)ήβ2
(1.811, 2.498)ήβ1
(-98.396, -31.803)ήβ0
10;0.025ˆ ˆ( )1 1β t s β
10;0.025ˆ ˆ( )2 2β t s β
( )10;0.025ˆ ˆ0 0Y t Var Y
( )210;0.025
ˆ ˆ0 0Y t s Var Y +
10;0.025ˆ ˆ( )0 0β t s β
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
69
Έλεγχος της διασποράς
2 210;0.975 10;0.0050.05, χ 3.25, χ 20.5ια α καιG = = =
20
21
: = 5
: 5
H
H
ss ¹
20s¬ 2
20
12.595
SSE SSEX
s= = =
23.11 19.36s< <
2
20.25 3.25
SSE SSEs< <
5 (3.11, 19.36) ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ η Η0
χ χ2 210;0.025 10;0.975
χ 2
10
0.0250.025
0.90
23.25 20.25
SSE
s< <
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
Θέμα από εξετάσεις70
α/α y x1 x2 x3 α/α y x1 x2 x3
1 80.2 2077 12.04 233.2 8 107.0 2179 9.26 249.42 91.6 2086 12.81 236.4 9 117.0 2206 10.32 252.73 87.4 2101 15.53 239.8 10 102.0 2234 11.58 253.94 104.9 2102 14.00 242.5 11 97.9 2258 13.89 256.25 116.2 2114 9.15 244.9 12 93.3 2277 15.66 258.46 109.1 2127 7.00 247.6 13 83.6 2301 14.72 260.57 110.1 2161 8.13 247.8 14 91.0 2318 14.91 263.2
Η στήλη y στον παρακάτω πίνακα παριστάνει τις αποκρίσεις σε ένα πείραμα, ενώ οι στήλες x1, x2, x3 τις προβλέπουσες μεταβλητές.
Θεωρώντας ως πίνακα D τον πίνακα που σχηματίζεται με τις στήλες y, x1, x2
και x3, βρήκαμε ότι:
⋅
140093.9 3033335.7 16474.7 346576.783033335.7 66717227 369853 761539716474.7 369853 2148.56 42165.26346576.78 7615397 42165.26 869330.45
1
2
3
y 99.38
x 2181.5
x 12.07
x 249.04
æ ö æ ö÷ ÷ç ç÷ ÷ç ç÷ ÷ç ç÷ ÷ç ç÷ ÷ç ç÷ ÷=ç ç÷ ÷ç ÷ ç ÷÷ ÷ç ç÷ ÷ç ç÷ ÷ç ç ÷÷ çç è øè ø
και
⋅ ⋅ ⋅α) Χρησιμοποιώντας τα προηγούμενα υπολογίστε τον πίνακα ΄ για την προσαρμογή του μοντέλουστα δεδομένα, καθώς και τον πίνακα Χ΄Υ.
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
71
β) Χρησιμοποιώντας το γεγονός ότι με
σχηματίστε τον πίνακα ανάλυσης της διασποράς για τον συνολικό έλεγχο του μοντέλου και διατυπώστε τα συμπεράσματα που προκύπτουν σε στάθμη 0.05 και 0.01. Να σημειωθεί πως υπολογίζονται οι κρίσιμες τιμές. (Αν δεν έχετε βρει σωστά αποτελέσματα από το (α) πάρτε ως SSR τη μη ακριβή τιμή SSR=1100)
49.03220.31191.73753.0188
50.570.110.830.98
y x1 z1( 1/100)80.2 2077 2191.6 2086 2187.4 2101 21104.9 2102 21116.2 2114 21109.1 2127 21110.1 2161 22107.0 2179 22117.0 2206 22102.0 2234 2297.9 2258 2393.3 2277 2383.6 2301 2391.0 2318 23
γ) Εξετάστε σε στάθμη 0.05 αν ο συντελεστής της μεταβλητής x2 είναι 0 ή μήπως ίσος με –2. Απαντήστε το ίδιο ερώτημα με τη βοήθεια κατάλληλου διαστήματος εμπιστοσύνης. δ) Αγνοώντας τις άλλες δύο μεταβλητές και διαιρώντας δια 100 την x1 και στρογγυλεύοντας σε ακέραιες τιμές παίρνουμε τον διπλανό πίνακα. Κάντε την παλινδρόμηση της y στην x1 και ελέγξτε το μοντέλο υπολογίζοντας τις επαναλήψεις της x1=100×z1.
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
72
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
73Μ
ωυσ
ιάδη
ς Π
ολ.-
Τμή
μα Μ
αθημ
ατικ
ών
ΑΠ
Θ
74
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
75Μ
ωυσ
ιάδη
ς Π
ολ.-
Τμή
μα Μ
αθημ
ατικ
ών
ΑΠ
Θ
76
Σφάλματα προσαρμογής-Επαν/νες μετρήσεις
Με την υπόθεση της κανονικότητας θα έχουμε
2 2 21
1
~ , 1,2,...j
j
n
i ij i nj
SSE y y i r
παρατηρήσεις στο ίδιο , 1,2,...,ix i rόπου
inΈστω ότι υπάρχουν
1 2 ... rn n n n με τιμές , 1,2,...,ij iy j n
όπου1
( 1)r
e ji
n n n r
Άρα 2 2
1
~e
r
e i ni
SS SSE
καθαρά σφάλματα
Επομένως 2 22~e rSSE SS σφάλματα προσαρμογής
( 2),( )
( ) /( 2)~
/( )e
r n re
SSE SS rF F
SS n r
και
έλεγχος ισότητας καθαρών σφαλμ. με σφ. προσαρμ.
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
77
y x1 z1( 1/100) si mean(yi)var(yi) (si-1)* var(si)
80.2 2077 21
21 698.233
194.37867 971.8933
91.6 2086 2187.4 2101 21
104.9 2102 21116.2 2114 21109.1 2127 21110.1 2161 22
22 4109.025
39.4025118.2075
107.0 2179 22117.0 2206 22102.0 2234 2297.9 2258 23
23 491.45
35.61667106.85
93.3 2277 2383.6 2301 2391.0 2318 23
11 1196.951
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
78
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
79
Αθρ. β.ε. Μέσα τετρ F
Παλινδρόμηση 37.7 1 37,7 0.253
Υπόλοιπα 1786.8 12 148.9
Σφάλματα προσαρμογής 620,6 1 620,6 5,7
Καθαρά σφάλματα 1196.95 11 108,8
Σύνολο 1824.5 13
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
80
Θέματα (1)
α) Χρησιμοποιώντας πίνακες να βρεθεί η ευθεία που εκτιμά την επιφάνεια της κατοικίας από τοεισόδημα. (Οι φοιτητές που το ΑΕΜ τους είναι περιττός αριθμός να χρησιμοποιήσουν ταδεδομένα από τις πρώτες 5 οικογένειες, ενώ αυτοί που έχουν άρτιο τα υπόλοιπα). Νασημειωθούν όλοι οι πίνακες που θα χρησιμοποιήσετε και να φαίνονται οι πράξεις με ταενδιάμεσα αποτελέσματα. Να γίνει και γραφική παράσταση, όπου να εξηγήσετε τιελαχιστοποιεί η μέθοδος υπολογισμού του μοντέλου παλινδρόμησης.β) Κάντε τον πίνακα ανάλυσης της διασποράς και διατυπώστε τα συμπεράσματά σας.γ) Βρέστε το 95% δ.ε. για το συντελεστή του x1 στο μοντέλο.
Στον παρακάτω πίνακα δίνονται στοιχεία από 10 οικογένειες. Στη στήλη y δίνεται η επιφάνειατης κατοικίας της οικογένειας (σε τετρ. μέτρα), στη στήλη x1 το ετήσιο εισόδημα (σε χιλιάδεςευρώ), στη στήλη x2 τo πλήθος των με λών της και στη στήλη x3 τo συνολικό πλήθος ετώνμετά το λύκειο που σπούδασαν τα μέλη της οικογένειας που συνεισφέρουν στο εισόδημα.
y x1 x2 x3 y x1 x2 x3
1 80 22 2 4 6 100 50 4 10
2 90 26 2 8 7 160 56 6 8
3 130 45 3 7 8 90 34 3 8
4 120 37 4 0 9 150 60 5 2
5 110 28 4 2 10 100 40 3 6
Προσαρμόστε το πλήρες μοντέλο και δώστε τα συμπεράσματά σας.
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
81
Θέματα (2)
hours time
13 5.2
15 5.1
18 4.9
20 4.6
19 4.7
17 4.8
21 4.6
16 4.9
Στο διπλανό πίνακα δίνονται οι ώρες πουέτρεξε μία δρομέας σε κάθε μία από 8διαδοχικές εβδομάδες και ο μέσος χρόνος (σελεπτά) που έκανε η δρομέας για κάθε μίλιεκείνη την εβδομάδα. Να βρεθεί με χρήσηπινάκωνα) Αν ο χρόνος ανά μίλι σε μία εβδομάδαπροπόνησης, μπορεί να προβλεφθεί από τιςώρες προπόνησης την εβδομάδα αυτή; Ποια ηπρόβλεψη για μία εβδομάδα που έτρεξε 14ώρες και ποια αν έτρεξε 10 ώρες;β) Με ποια τυπική απόκλιση εκτιμώνται οιδιάφοροι παράμετροι και μία από τιςπροβλέψεις;
Μω
υσιά
δης
Πολ
.-Τ
μήμα
Μαθ
ηματ
ικώ
ν Α
ΠΘ
82
Θέματα (3)α/α x1 x2 x3 y
1 80 27 89 42
2 80 27 88 37
3 75 25 90 37
4 62 24 87 28
5 62 22 87 18
6 62 23 87 18
7 62 24 93 19
8 62 24 93 20
9 58 23 87 15
10 58 18 80 14
11 58 18 89 14
12 58 17 88 13
13 58 18 82 11
14 58 19 93 12
15 50 18 89 8
16 50 18 86 7
17 50 19 72 8
18 50 19 79 8
19 50 20 80 9
20 56 20 82 15
21 70 20 91 15
Σύν 1269 443 1812 368
x1 x2 x3 y
x1 78365 27223 109988 23953
x2 27223 9545 38357 8326
x3 109988 38357 156924 32189
y 23953 8326 32189 8518
Σε ένα πείραμα για να μελετηθεί η οξείδωση ενός μετάλλου έγιναν 21 παρατηρήσεις όπουμετρήθηκαν (σε κατάλληλες μονάδες) το ρεύμα του αέρα (x1), η θερμοκρασία του νερού(x2), η ποσοστιαία συγκέντρωση του οξέως (x3) και το βάρος που έχασε το μέταλλοεξαιτίας της σκουριάς (y). Το μέταλλο βυθιζόταν σε οξύ που εψύχετο με νερό και μετάεκτίθονταν σε ρεύμα αέρος. Τα αποτελέσματα δίνονται στον πίνακα. Επίσης, σε κάθε κελίτου δεύτερου πίνακα δίνεται το άθροισμα γινομένων των μεταβλητών που το καθορίζουν.Π.χ. στο κελί που ορίζεται από τις x2, x3 είναι .α) Υπολογίστε, χρησιμοποιώντας πίνακες, τους συντελεστές παλινδρόμησης του μοντέλου
.β) Σχηματίστε τον πίνακα ανάλυσης της διασποράς και διατυπώστε τα συμπεράσματά σας.γ) Δώστε την πρόβλεψη για θερμοκρασία 21. Δείξτε ότι η τυπική απόκλιση της πρόβλεψηςείναι 1.1 και βρέστε το 95% διάστημα εμπιστοσύνης για την ίδια την πρόβλεψη.δ) Μετά κάναμε παλινδρόμηση με τη μεταβλητή x1 και βρήκαμε SSR=1750.122, με τιςμεταβλητές x1 και x2 και βρήκαμε SSR=1880.44, καθώς και παλινδρόμηση με όλες τιςμεταβλητές και βρήκαμε SSR=1890.408. Συγκρίνετε μεταξύ τους τα τέσσερα μοντέλα(μαζί με αυτό του (α)). Για το καλύτερο από αυτά υπολογίστε πόσο μέρος της συνολικήςδιασποράς ερμηνεύει. (Αν δεν έχετε βρει το SST, χρησιμοποιείστε την προσέγγισηSST=2100)ε) Για τη μεταβλητή x1 παρατηρήστε ότι υπάρχουν επαναλαμβανόμενες παρατηρήσεις.Αγνοώντας τις άλλες μεταβλητές σχηματίστε τον πίνακα ανάλυσης διασποράς καισυμπληρώστε τον με τα καθαρά σφάλματα. Τι συμπεραίνετε για το μοντέλο με τημεταβλητή x1;
21
2,i 3ii=138357= x x
0 1 2y x
