Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Προσαρμογή  καμπύλης  με    τη  μέθοδο  των    ελαχίστων  τετραγώνων  

Σχολή  Χημικών  Μηχανικών  ΕΜΠ  Ανάλυση  Συστημάτων  Χημικής  Μηχανικής,  2ο  εξάμηνο  

 Διδάσκοντες:  Χ.  Κυρανούδης,  Γ.  Μαυρωτάς  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Εισαγωγή  •  Με  βάση  κάποιο  δείγμα  (Χ,Υ)  ζητούμε  να  εξάγουμε  συμπεράσματα  για  τη  σχέση  μεταξύ  εξαρτημένης  μεταβλητής  (Υ)  και  της  ανεξάρτητης  (Χ)  

•  Εξίσωση  παλινδρόμησης  •  Π.χ.  Γραμμική  σχέση:      Υ=  α  Χ  +  β  

•  Y:  εξαρτημένη  μεταβλητή  •  Χ:  ανεξάρτητη  μεταβλητή  •  α,  β:  Παράμετροι  της  εξίσωσης  παλινδρόμησης    

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Μέθοδος  ελαχίστων  τετραγώνων  

¤ Τα  δεδομένα  δεν  ταιριάζουν  ποτέ  ακριβώς  επάνω  στα  δεδομένα  λόγω  παραγόντων  λάθους  (πειραματικά  και  άλλου  τύπου  σφάλματα)  

¤ Μέθοδος  ελαχίστων  τετραγώνων  (least  squares)  ¤ Η  μέθοδος  ελαχίστων  τετραγώνων  είναι  επιδιώκει  την  

ελαχιστοποίηση  του  σφάλματος  μεταξύ  του  μοντέλου  και  των  δεδομένων.    

¤ Ορίζουμε  σαν  συνάρτηση  σφάλματος  το  άθροισμα  των  τετραγώνων  των  σφαλμάτων  (SSE).  

           2

1( )

nest

i ii

SSE Y Y=

= −∑Υi  :        πραγματική  τιμή  i-­‐παρατήρησης  Υi  est:  εκτιμούμενη  τιμή  i-­‐παρατήρησης  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Μέθοδος  ελαχίστων  τετραγώνων  

•  Για  γραμμικό  μοντέλο  ισχύει:  

•  Για  να  ελαχιστοποιήσουμε  μια  παράσταση  θέτουμε  τις  μερικές  παραγώγους  ίσες  με  μηδέν  

•  Οι  τιμές  των  παραμέτρων  α,  β  προκύπτουν  από  τη  λύση  του  συστήματος:        ∂SSE/  ∂α=  0        ∂SSE/  ∂β=  0  

•  Προκύπτουν  δύο  εξισώσεις  (όσες  κι  οι  παράμετροι)    

2

1( )

nest

i ii

SSE Y Y=

= −∑2

1( )

n

i iiY aX β

=

− −∑γραμμικό  μοντέλο  

=  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Γραμμικά  μοντέλα  

•  Υπολογισμός  των  παραμέτρων  α,  β  από  το  γραμμικό  σύστημα  που  προκύπτει:  

2

1 1 1

1 1

(2 ) (2 ) (2 )

(2 ) 2 (2 )

n n n

i i i i ii i in n

i i ii i

X X Y X Y

X Y n Y

α β

α β

= = =

= =

+ =

+ =

∑ ∑ ∑

∑ ∑

2 2

1 1

2

1 1

/ 0 [ ( ) ] / 0 (2 2 2 ) 0

/ 0 [ ( ) ] / 0 (2 2 2 ) 0

n n

i i i i i i ii in n

i i i i ii i

SSE Y X X X Y X Y

SSE Y X Y X Y

α α β α α β

β α β α β α

= =

= =

∂ ∂ = ⇒ ∂ − − ∂ = ⇒ − + =

∂ ∂ = ⇒ ∂ − − ∂ = ⇒ − + =

∑ ∑

∑ ∑

Ειδικά  για  γραμμικά  μοντέλα  ισχύει:  

α =SSxySSxx

=XiYi

i=1

n

∑ − n ⋅X ⋅Y

X 2ii

i=1

n

∑ − n ⋅X2

β =Y −α ⋅X

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Συντελεστής  προσδιορισμού  •  Ενδεικτικό  της  καλής  προσαρμογής  του  μοντέλου  παλινδρόμησης  στα  δεδομένα  είναι  ο  συντελεστής  προσδιορισμού  R2.  

   

∑

∑

=

=

−

−−=−= n

i

avgi

n

i

estii

YY

YY

SSTSSER

1

2

1

2

2

)(

)(11

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Συντελεστής  προσδιορισμού  (2)  R2=0  

X  

Y   R2=0.4  

X  

Y  

R2=0.8  

X  

Y   R2=1  

X  

Y  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Προσοχή-­‐Κοινή  εξίσωση  προσέγγισης  δεν  σημαίνει  ίδια  δεδομένα  

Τα  δεδομένα  αυτά  προτάθηκαν  από  τον  Francis  Anscombe  για  να  δείξουν  την  αξία  της  βαθύτερης  μελέτης  των  δεδομένων    hqps://en.wikipedia.org/wiki/Anscombe%27s_quartet    

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Προσοχή  -­‐  Μαθηματική  συσχέτιση  δεν  σημαίνει  πάντα  πραγματική  σχέση  

hqp://www.tylervigen.com/  

Κατά κεφαλή κατανάλωση mozzarella (USΑ) - Pounds (USDA)

Πλήθος νέων διδακτόρων Πολιτικών Μηχανικών που αναγορεύτηκαν (USΑ) (National Science Foundation)

R2:  0.958648  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Παράδειγμα  στο  Excel    

Βήμα  1  

Βήμα  2   Βήμα  3  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Μη  γραμμικά  μοντέλα  

•  Π.χ.  Υ=  α  +  βX  +  γ  Χ2            ή  

•  Μετασχηματισμό  σε  αντίστοιχα  γραμμικά  •  Π.χ.    Υ  =  α⋅e-­‐βΧ    (με  λογαριθμοποίηση)  

•  Αν  η  γραμμικοποίηση  δεν  είναι  δυνατή  τότε  αναζητούμε  τις  τιμές  των  παραμέτρων  α,  β  που  ελαχιστοποιούν  το  SSE  με  μια  μέθοδο  βελτιστοποίησης  

   

1 3ae β− Χ

Υ =+

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Γραμμική  παρεμβολή    Για  να  βρίσκουμε  τιμές  μεταξύ  δύο  τιμών  πίνακα      Έστω  ότι  ψάχνω  την  διαλυτότητα  για  Τ=  26.7οC  Η  ευθεία  που  ορίζεται  από  τα  σημεία  Α(20oC,  9.6)  και  Β(30oC,  11.1)  έχει  εξίσωση:  

 (x-­‐20)/(30-­‐20)  =  (y-­‐9.6)/(11.1-­‐9.6)    

 Aντικαθιστώντας  όπου  x  το  26.7    =>    (26.7-­‐20)/(30-­‐20)  =  (y-­‐9.6)/(11.1-­‐9.6)  =>  y=  10.6    

T  (oC)  

διαλ

υτότητα  

20   30  

9  

11  

10  10.6  

26.7  

Τ  (οC)  60   50   40   30   20   10  

C  (mol/lt)   16.4   14.45   12.7   11.1   9.6   8.15  

Σχολή  Χημικών  Μηχανικών,  Τομέας  ΙΙ,  Εθνικό  Μετσόβιο  Πολυτεχνείο  

Επίλυση  με  Solver  Excel  ¤  Δίπλα  στη  στήλη  με  τα  πραγματικά  δεδομένα  βάζουμε  τα  es�mated  από  το  

μοντέλο  (προσοχή:  απόλυτη  αναφορά  με  $  στα  κελιά  των  παραμέτρων  του  μοντέλου)  

¤  Υπολογίζουμε  σε  διπλανή  στήλη  το  τετράγωνο  των  διαφορών  για  κάθε  σημείο  

¤  Κάτω  από  τη  στήλη  αυτή  βάζουμε  την  παράσταση  με  το:      SSE  (=sum([actual-­‐es�mated]^2)  σε  ένα  κελί  

¤  Τρέχουμε  τον  Solver  με  κελί  προς  ελαχιστοποίηση  αυτό  που  περιέχει  το  SSE  και  μεταβαλλόμενα  κελιά  αυτά  που  περιέχουν  τις  παραμέτρους  του  μοντέλου  

¤  Υπολογίζονται  αυτόματα  όλες  οι  τιμές  του  μοντέλου