LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic...

48
LDA, QDA, Naive Bayes Generative Classification Models Marek Petrik 2/16/2017

Transcript of LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic...

Page 1: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA, QDA, Naive BayesGenerative Classification Models

Marek Petrik

2/16/2017

Page 2: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Last Class

I Logistic RegressionI Maximum Likelihood Principle

Page 3: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Logistic Regression

I Predict probability of a class: p(X)

I Example: p(balance) probability of default for person withbalance

I Linear regression:

p(X) = β0 + β1

I logistic regression:

p(X) =eβ0+β1 X

1 + eβ0+β1 X

I the same as:

log

(p(X)

1− p(X)

)= β0 + β1X

I Odds: p(X)/1−p(X)

Page 4: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Logistic Function

y =ex

1 + ex

−10 −5 0 5 10

0.0

0.2

0.4

0.6

0.8

1.0

x

Logi

stic

p(X) =eβ0+β1 X

1 + eβ0+β1 X

Page 5: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Logit Function

log

(p(X)

1− p(X)

)

0.0 0.2 0.4 0.6 0.8 1.0

−4

−2

02

4

p(x)

Logi

t

log

(p(X)

1− p(X)

)= β0 + β1X

Page 6: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Logistic Regression

Pr[default = yes | balance] =eβ0+β1balance

1 + eβ0+β1balance

Linear regression Logistic regression

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

ba

bili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

ba

bili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

Page 7: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Estimating Coe�icients: Maximum Likelihood

I Likelihood: Probability that data is generated from a model

`(model) = Pr[data | model]

I Find the most likely model:

maxmodel

`(model) = maxmodel

Pr[data | model]

I Likelihood function is di�icult to maximizeI Transform it using log (strictly increasing)

maxmodel

log `(model)

I Strictly increasing transformation does not change maximum

Page 8: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Today

1. Classification methods continued

2. Discriminative vs. Generative ML Models3. Generative classification models:

I Linear Discriminant Analysis (LDA)I �adratic Discriminant Analysis (QDA)I Naive Bayes Classification

Page 9: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Discriminative vs Generative Models

I Discriminative modelsI Estimate conditional models Pr[Y | X]I Linear regressionI Logistic regression

I Generative modelsI Estimate joint probability Pr[Y,X] = Pr[Y | X] Pr[X]I Estimates not only probability of labels but also the featuresI Once model is fit, can be used to generate dataI LDA, QDA, Naive Bayes

Page 10: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Generative Models

+ Can be used to generate data (Pr[X])

+ O�ers more insights into data

− O�en works worse, particularly when assumptions are violated

Page 11: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Normal Distribution

I Density function:

p(x) =1

σ√

2πe−

(x−µ)2

2σ2

−4 −2 0 2 4 6

0.0

0.1

0.2

0.3

0.4

density.default(x = x)

N = 10000000 Bandwidth = 0.03584

Den

sity

I Central limit theorem: Z = 1/n∑n

i=1Xi for i.i.d. Xi isnormal with n→∞

Page 12: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Normal Distribution

I Density function:

p(x) =1

σ√

2πe−

(x−µ)2

2σ2

−4 −2 0 2 4 6

0.0

0.1

0.2

0.3

0.4

density.default(x = x)

N = 10000000 Bandwidth = 0.03584

Den

sity

I Central limit theorem: Z = 1/n∑n

i=1Xi for i.i.d. Xi isnormal with n→∞

Page 13: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Logistic Regression

Y =

{1 if default

0 otherwise

Linear regression Logistic regression

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

ba

bili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

0 500 1000 1500 2000 25000.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

ba

bili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

Predict:Pr[default = yes | balance]

Page 14: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA: Linear Discriminant Analysis

I Generative model: capture probability of predictors for eachlabel

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

01

23

45

I Predict:

1. Pr[balance | default = yes] and Pr[default = yes]2. Pr[balance | default = no] and Pr[default = no]

I Classes are normal: Pr[balance | default = yes]

Page 15: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA: Linear Discriminant Analysis

I Generative model: capture probability of predictors for eachlabel

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

01

23

45

I Predict:1. Pr[balance | default = yes] and Pr[default = yes]

2. Pr[balance | default = no] and Pr[default = no]

I Classes are normal: Pr[balance | default = yes]

Page 16: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA: Linear Discriminant Analysis

I Generative model: capture probability of predictors for eachlabel

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

01

23

45

I Predict:1. Pr[balance | default = yes] and Pr[default = yes]2. Pr[balance | default = no] and Pr[default = no]

I Classes are normal: Pr[balance | default = yes]

Page 17: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA: Linear Discriminant Analysis

I Generative model: capture probability of predictors for eachlabel

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

01

23

45

I Predict:1. Pr[balance | default = yes] and Pr[default = yes]2. Pr[balance | default = no] and Pr[default = no]

I Classes are normal: Pr[balance | default = yes]

Page 18: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA vs Logistic Regression

I Logistic regressions:

Pr[default = yes | balance]

I Linear discriminant analysis:

Pr[balance | default = yes] and Pr[default = yes]

Pr[balance | default = no] and Pr[default = no]

Page 19: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA with 1 Feature

I Classes are normal and class probabilities πk are scalars

fk(x) =1

σ√

2πexp

(− 1

2σ2(x− µk)2

)I Key Assumption:Class variances σ2

k are the same.

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

01

23

45

Page 20: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Bayes Theorem

I Classification from label distributions:

Pr[Y = k | X = x] =Pr[X = x | Y = k] Pr[Y = k]

Pr[X = x]

I Example:

Pr[default = yes | balance = $100] =

Pr[balance = $100 | default = yes] Pr[default = yes]

Pr[balance = $100]

I Notation:

Pr[Y = k | X = x] =πkfk(x)∑Kl=1 πlfl(x)

Page 21: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Bayes Theorem

I Classification from label distributions:

Pr[Y = k | X = x] =Pr[X = x | Y = k] Pr[Y = k]

Pr[X = x]

I Example:

Pr[default = yes | balance = $100] =

Pr[balance = $100 | default = yes] Pr[default = yes]

Pr[balance = $100]

I Notation:

Pr[Y = k | X = x] =πkfk(x)∑Kl=1 πlfl(x)

Page 22: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Bayes Theorem

I Classification from label distributions:

Pr[Y = k | X = x] =Pr[X = x | Y = k] Pr[Y = k]

Pr[X = x]

I Example:

Pr[default = yes | balance = $100] =

Pr[balance = $100 | default = yes] Pr[default = yes]

Pr[balance = $100]

I Notation:

Pr[Y = k | X = x] =πkfk(x)∑Kl=1 πlfl(x)

Page 23: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 24: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 25: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 26: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 27: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 28: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Classification With LDA

Probability in class k1 > Probability in class k2

Pr[Y = k1 | X = x] > Pr[Y = k2 | X = x]

πk1fk1(x)∑Kl=1 πlfl(x)

>πk2fk2(x)∑Kl=1 πlfl(x)

πk1fk1(x) > πk2fk2(x)

log (πk1fk1(x)) > log (πk2fk2(x))

δ̂k1(x) > δ̂k2(x)

Discriminant function:

δ̂k(x) = x · µ̂kσ̂2−

µ̂2k

2σ̂2+ log(π̂k)

Derive at home

Page 29: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Estimating LDA Parameters

I Maximum log likelihood!

maxµ,σ

log `(µ, σ) = maxµ,σ

N∑i=1

log (fyi(xi)) =

maxµ,σ

N∑i=1

log

(1

σ√

2πexp

(− 1

2σ2(xi − µyi)2

))=

maxµ,σ

N∑i=1

(− log σ − 1

2σ2(xi − µyi)2 + consts

)I Concave in µ and 1/σ2, consider a single class with mean µ

∂µlog `(µ, σ) =

1

σ2

N∑i=1

(xi − µ) = 0

∂σlog `(µ, σ) =

N

σ+

1

σ3

N∑i=1

(xi − µ)2 = 0

Page 30: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Estimating LDA ParametersI Maximum log likelihood!

maxµ,σ

log `(µ, σ) = maxµ,σ

N∑i=1

log (fyi(xi)) =

maxµ,σ

N∑i=1

log

(1

σ√

2πexp

(− 1

2σ2(xi − µyi)2

))=

maxµ,σ

N∑i=1

(− log σ − 1

2σ2(xi − µyi)2 + consts

)

I Concave in µ and 1/σ2, consider a single class with mean µ

∂µlog `(µ, σ) =

1

σ2

N∑i=1

(xi − µ) = 0

∂σlog `(µ, σ) =

N

σ+

1

σ3

N∑i=1

(xi − µ)2 = 0

Page 31: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Estimating LDA ParametersI Maximum log likelihood!

maxµ,σ

log `(µ, σ) = maxµ,σ

N∑i=1

log (fyi(xi)) =

maxµ,σ

N∑i=1

log

(1

σ√

2πexp

(− 1

2σ2(xi − µyi)2

))=

maxµ,σ

N∑i=1

(− log σ − 1

2σ2(xi − µyi)2 + consts

)I Concave in µ and 1/σ2, consider a single class with mean µ

∂µlog `(µ, σ) =

1

σ2

N∑i=1

(xi − µ) = 0

∂σlog `(µ, σ) =

N

σ+

1

σ3

N∑i=1

(xi − µ)2 = 0

Page 32: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Estimating LDA Parameters

I log ` is derivatives:

∂µlog `(µ, σ) =

1

σ2

N∑i=1

(xi − µ) = 0

∂σlog `(µ, σ) =

N

σ+

1

σ3

N∑i=1

(xi − µ)2 = 0

I Therefore:

µ =1

N

N∑i=1

xi

σ2 =1

N

N∑i=1

(xi − µ)2

Page 33: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Be�er Parameter Estimates

I Maximum likelihood variance σ2 is biased:

µ =1

N

N∑i=1

xi

σ2 =1

N

N∑i=1

(xi − µ)2

I Unbiased estimate:

µ =1

N

N∑i=1

xi

σ2 =1

N − 1

N∑i=1

(xi − µ)2

I See ISL for precise formula for more than a single class

Page 34: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

LDA with Multiple FeaturesI Multivariate Normal Distributions:

x1x1

x 2x 2

I Multivariate normal distribution density (mean vector µ,covariance matrix Σ):

p(X) =1

(2π)p/2|Σ|1/2exp

(−1

2(x− µ)>Σ−1(x− µ)

)

Page 35: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Multivariate Maximum Likelihood

I Consider a singe class:

maxµ,σ

log `(µ,Σ) = maxµ,Σ

N∑i=1

log (fk(xi)) =

maxµ,Σ

N∑i=1

log

(1

(2π)p/2|Σ|1/2exp

(−

1

2(xi − µ)

>Σ−1

(xi − µ)

))=

maxµ,Σ

−N

2log |Σ| −

1

2

N∑i=1

(xi − µ)>

Σ−1

(xi − µ) =

maxµ,Σ

−N

2log |Σ| −

1

2Trace

Σ−1

N∑i=1

(xi − µ)>

(xi − µ)

I Use ∂/∂Σ log |Σ| = Σ−> and 1/∂ATrace(AB) = B>

Σ =1

N

N∑i=1

(xi − µ)>(xi − µ)

Page 36: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Multivariate Classification Using LDA

I Linear: Decision boundaries are linear

−4 −2 0 2 4

−4

−2

02

4

−4 −2 0 2 4

−4

−2

02

4

X1X1

X2

X2

Page 37: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Confusion Matrix: Predict default

TrueYes No Total

Predicted Yes a b a+ bNo c d c+ dTotal a+ c b+ d N

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 81 23 104No 252 9 644 9 896Total 333 9 667 10 000

Most people who default are predicted as No default

Page 38: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Confusion Matrix: Predict default

TrueYes No Total

Predicted Yes a b a+ bNo c d c+ dTotal a+ c b+ d N

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 81 23 104No 252 9 644 9 896Total 333 9 667 10 000

Most people who default are predicted as No default

Page 39: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Increasing LDA Sensitivity

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 81 23 104No 252 9 644 9 896Total 333 9 667 10 000

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 195 235 403No 138 9 432 9 570Total 333 9 667 10 000

Page 40: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Increasing LDA Sensitivity

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 81 23 104No 252 9 644 9 896Total 333 9 667 10 000

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 195 235 403No 138 9 432 9 570Total 333 9 667 10 000

Page 41: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

True Positives, etc

RealityPositive Negative

Predicted Positive True Positive False PositiveNegative False Negative True Negative

I Recall/sensitivity = TP/(TP+FN)I Precision = TP/(TP+FP)I Specificity = TN/(TN+FP)

Page 42: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

ROC CurveReality

Positive Negative

Predicted Positive True Positive False PositiveNegative False Negative True Negative

ROC Curve

False positive rate

Tru

e p

ositiv

e r

ate

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Page 43: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Area Under ROC Curve

ROC Curve

False positive rate

Tru

e p

ositiv

e r

ate

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

I Larger area is be�erI Many other ways to measure classifier performance, like F1

Page 44: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

QDA:�adratic Discriminant Analysis

I Generalizes LDA

I LDA: Class variances Σk = Σ are the sameI QDA: Class variances Σk can di�er

I LDA or QDA has smaller training error on the same data?I What about the test error?

Page 45: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

QDA:�adratic Discriminant Analysis

I Generalizes LDA

I LDA: Class variances Σk = Σ are the sameI QDA: Class variances Σk can di�er

I LDA or QDA has smaller training error on the same data?

I What about the test error?

Page 46: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

QDA:�adratic Discriminant Analysis

I Generalizes LDA

I LDA: Class variances Σk = Σ are the sameI QDA: Class variances Σk can di�er

I LDA or QDA has smaller training error on the same data?I What about the test error?

Page 47: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

QDA:�adratic Discriminant Analysis

−4 −2 0 2 4

−4

−3

−2

−1

01

2

−4 −2 0 2 4−

4−

3−

2−

10

12

X1X1

X2

X2

Page 48: LDA, QDA, Naive Bayes - Computer Sciencempetrik/teaching/intro_ml_17_files/class5.pdfLogistic Regression Pr[default = yes jbalance] = e 0+ 1balance 1 + e 0+ 1balance Linear regression

Naive Bayes

I Simple Bayes net classification

I With normal distribution over features X1, . . . , Xk special caseof QDA with diagonal Σ

I Generalizes to non-Normal distributions and discrete variablesI More on it later . . .