ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Basis Expansions and Regularization
Model
f(X) =
M∑
m=1
βmhm(X) (X is a vector)
• hm(X) = X2j , XjX`, . . .
• hm(X) = ||X||, log(Xj), . . ..
• hm(X) = I(Lm < Xk < Um)
Regularization
minn∑
i=1
(yi −M∑
m=1
βmhm(xi))2 + λJ(f)
where f(x) =∑M
m=1 βmhm(x).
J(f) = ||β||22 for example.
1
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Piecewise Constant
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Piecewise Linear
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Continuous Piecewise Linear Piecewise-linear Basis Function
•
••
•
•
•
•
•
••
•• • •
•
• ••
•
•
•
•
••
•
••
•
•
••
•
•
•
••
•
••
•
••
••
•
••
•
••
t1 t2
h3def
2
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Discontinuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous First Derivative
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous Second Derivative
Piecewise Cubic Polynomials
3
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
B-splines of Order 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 2
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 3
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 4
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
4
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Cubic splines and natural cubic splines
In R,
bs(x, degree=3, knots=c(,2.,4.,6))
Should return an N × 7 matrix (actually N × 6 since intercept= F
is default).
Linear
Cubic
Cubic
Linear
Natural Boundary Conditions
4 Constraints, so # of parameters= # of knots
5
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
X
Poi
ntw
ise
Var
ianc
es
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.1
0.2
0.3
0.4
0.5
0.6
•
•••••
••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• ••••••
•
•
••• ••
••••••• •••••• •• •• • ••
•••• • •• •• • • ••••• •• ••
••
•
•
••••• •••••
•••••••
••• •• • ••
•••••
•• ••• • •••
•• ••
••••
•
• •• • •• ••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• •• •••• •
Global LinearGlobal Cubic PolynomialCubic Spline - 2 knotsNatural Cubic Spline - 6 knots
Pointwise variance curves for four different models, with X consisting of
50 points drawn at random from U [0, 1], and an assumed error model
with constant variance. The linear and cubic polynomial fits have two and
four degrees of freedom, respectively, while the cubic spline and natural
cubic spline each have six degrees of freedom. The cubic spline has two
knots at 0.33 and 0.66, while the natural spline has boundary knots at 0.1
and 0.9, and four interior knots uniformly spaced between them.
6
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
South African Heart Disease data
logit[Pr(chd|x)] = θ0 + h1(x1)T + h2(x2)
T θ2 + · · ·hp(xp)T θp
= h(x)T θ
• hj(xj) = ns(xj, df = 4)
• Basis matrix H, n× (1 +∑p
j=1 dfj)
• θ obtained from binomial maximum likelihood (logistic
regression)
• Cov = (HT WH)−1 = Σ, W = diag[pi(1− pi]).
• fj(xj) = hj(xj)T θj , var = hj(xj)
T Σjjhj(xj).
7
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Table 1: Final logistic regression model, after stepwise deletion of nat-
ural splines terms. The column labeled “LRT” is the likelihood-ratio test
statistic when that term is deleted from the model, and is the change in
deviance from the full model (labeled “none”).
Terms Df Deviance AIC LRT P-value
none 458.09 502.09
sbp 4 467.16 503.16 9.076 0.059
tobacco 4 470.48 506.48 12.387 0.015
ldl 4 472.39 508.39 14.307 0.006
famhist 1 479.44 521.44 21.356 0.000
obesity 4 466.24 502.24 8.147 0.086
age 4 481.86 517.86 23.768 0.000
8
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
sbpns
(sbp
, 4)
100 120 140 160 180 200 220
-20
24tobacco
ns(t
obac
co, 4
)
0 5 10 15 20 25 30
02
46
8
ldl
ns(ld
l, 4)
2 4 6 8 10 12 14
-4-2
02
4
fact
or(
fam
hist
)
-4-2
02
4
famhistAbsent Present
obesity
ns(o
besi
ty, 4
)
15 20 25 30 35 40 45
-20
24
6
age
ns(a
ge, 4
)
20 30 40 50 60
-6-4
-20
2
9
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Example: Phoneme recognition
• X(f) observed over grid of frequencies, xj = X(fj).
• Two classes “aa” (695) and “ao” (1022)
• log Pr(aa|x)Pr(ao|x) =
∫X(f)β(f)df ≈∑256
j=1 x(fj)β(fj) =∑256
j=1 xjβj
• β(f) =∑M
m=1 hm(f)θm
CV Misclassification rates:
Raw Regularized
_____________
Train 0.080 0.185
Test 0.255 0.158
10
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Frequency
Log-
perio
dogr
am
0 50 100 150 200 250
05
1015
2025
Phoneme Examples
aaao
Frequency
Logi
stic
Reg
ress
ion
Coe
ffici
ents
0 50 100 150 200 250
-0.4
-0.2
0.0
0.2
0.4
Phoneme Classification: Raw and Restricted Logistic Regression
11
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Smoothing splines
RSS(f, λ) =∑n
i=1(yi − f(xi))2 + λ
∫f
′′
(t)2dt
• when λ = 0 solution interpolates data
• when λ =∞ solution is linear least solution line
• in general, f(x) =∑
j = 1nNj(x)θj . This is a natural cubic
spline with knots at each of the unique xi values
• RSS(f, λ) = (Y −Nθ)T (Y −Nθ) + λθT Ωθ
• Nij = Nj(xi), Ωij =∫
N′′
i (t)N′′
j (t)dt
• θ = (NT N + λΩ)−1NT y
12
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%Age
Rel
ativ
e C
hang
e in
Spi
nal B
MD
10 15 20 25
-0.0
50.
00.
050.
100.
150.
20
•
•
•
•
• •
•
••
••
• •
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
• • •
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
••• •
•
•
•
• •
•
•
•
•
• ••
•
••
•
•
•
••
••
•
•
••• • • ••
•
•
•
•
•
•
••
•
•
•
• ••
•
•
•
•
••
••
•
•
••
•
••• •
•••
•
•• •
•
••
•
••
•
• •
•••
•
•
•• •
•
••
•
•
••
•
•
••
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
••
•
••
•
• ••
••
•
••
•
•
•
•
••
••
•
•• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•
••
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
• •
••
•
•
•
•
•
••
•••
•
••
• ••
•
•• •
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•••
•
•• •
•
•
•
••
••
•
•
•
••
•
•
•
• •
••
•
•
••
••
•
•
••
• ••
•
•
•
••
•
•
•
• ••
•
••
•
•
•
• •
•
•
•
•
••
•
•
••
••
•
•
•
••
•
•
• •
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
•
• •
••
•
••••
••
••
•
•
•
•
•
MaleFemale
13
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Smoothing matrices
f = N(NT N + λΩ)−1NT y ≡ Sλy
• symmetric
• positive definite
• eigenvalues in (0, 1], rank n.
• df(λ) is defined to be trace(Sλ)
• Reinsch form Sλ = (I + λK)−1; minimizer of
||y − f ||2 + λfT Kf .
• Sλ =∑n
k=1 pk(λ)ukuTk ; pk(λ) = 1/(1 + λdk); df(λ) =
∑pk(λ),
dk is kth eigenvalue of K.
14
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Daggot Pressure Gradient
Ozo
ne C
once
ntra
tion
-50 0 50 100
010
2030
••
•
• ••
••••
•
• ••••
•
•
•
••
••
•••
•
••
••
•
•
•
•
•
••
••
•
••
•
••
•
•
•••
•
••
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
•
••
•••
•
•
•
•
•
•
•
••
••••
•
•
•
•
••
•
•
•••
•
•
•••
•
••
••
Order
Eig
enva
lues
5 10 15 20 25
-0.2
0.0
0.2
0.4
0.6
0.8
1.0
1.2
• • •
•
•
••
• • • • • • • • • • • • • • • • • •
• • • • • ••
••
••
••
• • • • • • • • • • • •
df=5df=11
-50 0 50 100 -50 0 50 100
15
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
115
100
75
50
25
12
Smoother Matrix
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••
•••••••
••••••••
••••••••••••• •• •
•
Row 115
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••
••••••••••
••••••••••••••••••••••••••••••••• ••
•
•
Row 100
•••• • • •••••• ••••••••••••••••••••••••••••••••••
••••••••••
•••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• ••
Row 75
•••• • • •••••• ••••••••••••
•••••••••
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 50
•••••
••••
•••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 25
•••• • • •••••• •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 12
Equivalent Kernels
16
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
6 8 10 12 14
0.9
1.0
1.1
1.2
••••••••••••••
••
•
•
••••••••••••••
••
•
•
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
OO
O
O
O
OO
O
O
O
OO
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
PSfrag replacements
EPECV
XX
X
dfλ = 5
dfλ = 9 dfλ = 15
dfλ
Cross-Validation
epe(λ
)and
cv(λ
)
17
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Cross-validation for Smoothing splines
CV(fλ) =X
(yi − f−iλ (xi))
2
=
P
(yi − fλ(xi))2
1− Sλ(i, i))2
Smoothing spline logistic regression
Pr(y = 1|x) =exp(f(x))
1 + exp(f(x))
`(f ;λ) =n
X
i=1
[yi log(p(xi)) + (1− yi) log(1− p(xi))]−1
2λ
Z
f′′2
(t)2dt
Algorithm fnew ← Sλ,w(fold + W−1(y − p)) where
Sλ,w = N(NT WN + λΩ)−1NT W fits a weighted cubic smoothing spline.
18
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Additive Natural Cubic Splines - 4 df each
.. .. . .. . . .. . . . .. . . . . .. . . . . . .. . . . . . .. . . . . . . .. . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . .. . . . . .. . . . .. . . . .. . . . .. . . .. . . .. . . .. . .. . .. . .. .. .. ...
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.23Test Error: 0.28Bayes Error: 0.21
20
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Natural Cubic Splines - Tensor Product - 4 df each
. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . .. . . . ..
. . . . . .. . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.230Test Error: 0.282Bayes Error: 0.210
21
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Thin plate splines
J [f ] =
∫ ∫
R2
[(∂2f(x)
∂x21
)2
+ 2
(∂2f(x)
∂x1∂x2
)2
+
(∂2f(x)
∂x22
)2]dx1dx2.
(1)
df = 15; red points are knots
125
130
135
140
145
150
155
15
20
25
30
35
40
45
20 30 40 50 60
Age
Obe
sity
Systolic Blood Pressure
120
125
130
135
140
145
150
155
160
•
••
•
•
•
•
•
•
•
•
••
• •
• •
•
••
•
••
•
•
•
•
•
••
• •
•
• •
•
•
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
•
• ••
• ••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•• •
••
•
••
•
•
•
•
••
••
•
•
•
•
••
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
••
•••
•
••
••
•
• ••
•
•
•
••
•••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
• •
•
•
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
•
••
••
••
•
••
•••
•
•
••
• •
••
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
••
• •
•
•
••
• •
•
•
• •
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• • • • • •
• • • • • • •
• • • • • • •
• • • • • •
• • • •
• •
• • • • • • • •
• •
•
•
• •
• • • •
• • • • • •
• • • • • • • •
22
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
The Kernel property and reproducing
kernel Hilbert spaces
• Example: polynomial regression
• Suppose h(x) : Rp ← RM , M huge
• Given x1, x2, . . . xn with M n, let H = hj(xi)M×n.
• R(β) = (y −Hβ)T (y −Hβ) + λβT β
• Then
y = Hβ
−HT (y −Hβ) + λβ = 0
−HHT (y −Hβ) + λHβ = 0
Hβ = (HHT + λI)−1y
23
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
where HHT is n× n. HHT i,i′ = 〈h(xi), h(xi′)〉 = K(xi, xi′).
f(x) = h(x)T β =∑
αiK(x, xi)
and αi = (K + λI)−1y.
24
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Polynomial kernels
• K(x, x′) = (1 + 〈x, x′〉)d
• e.g. if x ∈ R2, d = 2,
K(x, x′) = (1 + x1x′1 + x2x
′2)
2
= 1 + 2x1x′1 + 2x2x
′2 + (x1x
′1)
2 + (x2x′2)
2 + 2x1x′1x2x
′2
• then M = 6 and h1(x) = 1, h2(x) =√
2x1, h3(x) =√2x2, h4(x) = x2
1, h5(x) = x22, h6(x) =
√2x1x2
25
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
** *** **
* **** ** * **
***
** **
*** *** *
*** ***
* ** ** *** **
** **
*** *
***
* *** **
**
***
** ******
***
*
***
*** *
* ** *
**
**
*** * *
*** *
** *** *** *
**** ***
***
**
*
***
**
* ** * ***** ***
****
***
** *
** *
** ***
* ***
** ** ** ***** **
*** ******
*****
*
******
*
***
*
*
**
**
**
*
**
*
*
*
**
*
* *
***
*
** *
***
*
*
*
**
*
*
**
* *
*
*
*
*** *
*
*
* ** **
**
**
*
*
*
*
*
**
*******
*
*
*
*
**
****
**
*
*
*
* **
* *
***
* ***
*
*
**
*** **
**
***
*
*
*
**
**
*
*
* ***
**
*
*
**
**
***
*
**
*
*
***
**
**
**
**
**
**
**
*
*
**
*
*
**
*
***
**
**
*
*
*
**
**
*
**
*** **
**
**
***
***
*
**
**
****
*
* *
**
**
**
*
*
**
* *
*
* *
*** *
*
*
**
**
**
** *
*
***
*
*
**
*
***
*
*** **
*
*
*
**
*
*
******
*
*
*
*
**
**
*
*
*
**
* *
*
*
*
*
**
* *
* ***
*
***
** *** *
****
*
*
**
**
* ***
** ** *
*
** **
****
*
*
*
**** *
*
**
*
**
**
**
**
* ** **
***
**
*
*
*
**
***
** **
**
******
****
*
***
** *** **
*
*
***
** *
**
*** *
*
* *
**
***
*
*
***
*
* **
*
*
**
*
**
*
*
***
**
***
*
***
***
**
** *** *
* *****
*** ** **
*
*
** *
*
**
*
*
**
* ***
* *
**
* *** *** ***
*
***
*
***
*
**
*
**
*
**
*
*
* ** *
*****
*
*
*
*
***
* **
**
*
*
*
*
*
*
**
*
* **
*
** *
* *** ***
* **
*
*
*
**
*
**
* *
***
*
*
****
**
** **
* *** *
****
*
**
*
*** *
**
*
**
**
**
**** ** **
*
*
*
*
**
* **
***
**
**** **
* ***
**
**
*** **
***
***** *
**
*
*
**
*
*
*
**
*
***
***
**
*
**
**
** *** *
** *
**
**
*
*
*
*
**
*
*
*
**
*
*
*
*
**
****** *
*
**
***
*
**
*
*
*
*
**
*
*
***
* **
*
** ***
**
**
****
*
***
*
** **
***
**
*
***
*** *****
**
*
***
*
** *** *
** *
*
****
* **
*
***
**
* ** ** **
**
**
*** *
*
**
**
*
***
*
** ***
* *** *
**
*****
**
**
*
**
**
* *
*** * *
**
***
* *
*
**
****
*** **
**
**
** ***
* *** *
*
*
*
*
** **
* *****
*
**
**
***
*
***
*
**
*
*
** *
**
*
*
*
*
** ** **
*
*
*** *** *
****
**
*
*
***
*
*
** *
***
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
*
****
**
**
*
** ** ***
*
***
*
*
*
**
**
*
*
***
*
**
**** *
** *
*
**
** **
* *
*
*
**
**
*
** **
*
* *****
*
****
* ** **
*
*
*
***
*
* *
* *
***
***
* *
***
* ***
****
**
*** ** ***
*
**
*
*
*
**
*
*
*
* **
*
*****
**
**
***
*
***
*
*
*
*
**
* **
*
*
*
*
**
*
** ***
*
*****
*
*
**
****
***
**
*
*
***
**
*
****
*
*
*
***
*
**
*
*
**
*
** *** **
**
**
*
*
*** ****
*
*
*
*
*
*
* *
***
*
*
*
**
*
*
** *
*
** ** **
*** ** ******
*
*
**
***
*
*
*
**
** **
*
**
***
**
**
****
*** **
**** *
**
*
** **
*
** *
*
*
*
*
*
*
**
*****
*
*
**
***
*
**
*
**
*
* *
* ***
** ***
**
**
*
**
**
** *** ** *
**
*
***
**
* *
*
**
*
****
***
* **
*
*
*
*
*
**
***
***
***
**
**
*
**
*
**
**
**
*** *
**
**
**
** *
***
****
* *
*
** *
* **
***
**
*
****
****
* **
* *
****
**
*
**
* *
*** **
**
* ***
****
**
***
** **
*
***
*
**
***
**
* ***
**
*** *
*
*
*
***
*
**
*
*
**
*
*
** *
**
*
**
**
**
**
* *
**** ***
** *
**
* ** *****
*
** ***
* ****
*
*
** *
*****
*
**
*** *
*
**
**
***
*
***
* ** **
*
*
*
**
** **
**
* **
**
**
***
*
** ***
*
****
* ***
***
*
*
**
*
*
*
*
**
**
** * *** *
****
***
* ***
*** **
**
**
** **
*
**** *
**
** ** *
*
* * ****
* **
** ***
*
***
*
**
***
***
** ***
*
*
***
**
*
*
****
*** *
*****
*
****
*
**
*
*** *
* **
* **
*
*
**
*
**
***
***
*
* * ****
*
* *
*
***
** **
** **
*
**
**
** *
*
*** *
*
**
*
*
**
*
*
**
*
**
**
*
****
*
***
*
*
**
*
**
***
*
*
**
**
*** *
*
*** *
***
***
*
*
*
**
** **
**
**
*
**
*
*
*
**
**
*
*
**
***
*
**
*
***
*
**
** *
**
** * *
**
* **
*
** *
*
*
* **
*** *
*
*
** *
**
***
***
*
*
*
** *
***
**
*** **
**
**
* *
**
*
* *
** *
*
***
**
**
*
*
*** **
*
*
**
*
**
*
* *
*
**
*
*
*
**
***
**
*
**
** ** *
**
*
**
**
***
*
* **
**
* **
* **
***
***
* **
*
*
*
*
*
**
***
** ***
*
***
*****
**
*
*
*
***
*
*
**
* * **
***
**
*
*
***
*
**
**
*
*
*
*
* * **
**
*
* **
***
** *
*
*
**
**
*
***
**
* ** ***
**
*
**
*
**
*
**
**
* **
*
*
*
** *
*
**
* *** ***
**
***
**
***
* **
**
** *
*
*** *
* ***
*
*
*
*****
*
*
**
*
*
***
** *
**
****
*
** *
***
* ***
** *
*
**
***
***
**
*
***
** ****
*
*
***
**
****
**
*
*
*
*
**
*
*
* **
***
**
*
*
*
** ***
**
*
**
*
*
*
*
* * ****
*
*
*
** *
*
*
* * **
** *
*
****
*** *
**
****
*
**
**
**
*
*
***
*
**
***
*
***
*
* *
** **
*
*
****
** *
*** ***
* **
** *
*
* *
*
*** ** *
*
**
**
*
***
***
* *
** *
*
*
****
**
**
*
***
*** *
*
*
*
* **
**
**
**
*
*
*
*
***
*
***
*
*
*
**
**
****
***
*
*
*
*
*
**
* ** *
**
***
*
*
**
******
****
*
*
**
**
** ** *
** **
**
**
***
**
*
**
***
*
**
*
**
*
*
*
**
**
**
****
*
**
*
*
*
*
*
**
* **
*
** **
**
*
** ** * ***
**
*
**
** **
**
*
**
**
**
**
*
** **
*
*** **
*
**
** *
* **
***
**
*
**
*
** ***
**
*** *
*
*
* **
*
*
*
*
**
*
***
** **
**
**
**
***
***
*
*
**
*
*
*
*
* **
* ****
* *
**
****
**
**
**
*
*
*
* **
***
*
*
*
**
*
*
*
* **
*** **
**
**
*
*
**
* **
*
**
*
**
*
*
**
PSfrag replacements
Orthonormal Basis Φ
Feature Space H
*
* **
*
*
*
* *
**
**
*
**
*
*
**
*
*
*
*
**
**
*
*
*
*** **
*
*
**
**
*
*
* *
*
***
*
*
**
*
*
**
**
****
*
*
*
**
*
*
*
*****
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
**
**
*
**
*
*
***
***
** *
**
**
*
*
*
*
**
*
*
*
*
**
*
*
*
*
** **
***
*
*
*
*
***
*
**
*
**
*
* *
*
*
**
*
* **
*
*
*
***
**
*
*
**
**
*
***
*
*
*
**
****
*
*
**
*
**
*
*
*
**
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
**
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*** *
*
*
*
**
*
*
*
*
*
**
**
*
**
**
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
*
**
*
**
**
*
*
**
****
*
*
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
*
**
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
**
*
*
*
*
*
**
*
*
*
***
*
*
**
**
** *
*
**
*
*
*
*
*
***
*
*
**
*
*
**
*
*
*
*
*
*
**
*
* *
**
**
*
*
*
*
*
*
*
*
*
* *
*
**
*
*
*
*
*
*
*
**
*
*
**
**
*
*
*
**
*
*
*
****
*
*
*
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
*
**
**
* ***
*
**
*
**
*
** *
**
**
*
*
**
**
*
**
*
*
* **
*
*
*
* **
***
*
*
*
*
*
****
*
*
*
*
*
*
**
*
*
**
* ** *
*
*
**
*
*
*
*
*
**
**
*
**
*
*
**
**
****
**
**
*
*
**
***** **
*
*
**
*
*
* *
**
*** *
*
**
**
*
***
*
**
*
*
**
*
*
*
*
*
*
*
**
*
**
*
**
**
*
*
**
*
***
*
*
**
****
***
***
*
** *
* **
*
*
***
*
*
*
*
*
*
*
* ***
**
**
* *** *** *
*
*
*
**
*
*
*
**
*
**
*
*
*
*
*
*
*
*
* **
*
**
**
*
*
*
*
*
*
**
**
*
**
*
*
*
*
*
*
**
*
**
*
*
** *
* **
* ***
***
*
*
*
*
**
*
*
**
***
*
*
**
**
**
****
* **
* *
***
*
*
*
**
*
** *
*
**
*
*
**
*
*
*
*****
**
*
*
*
*
**
* *
***
*
*
*
**
** *
*
* ***
**
**
*
****
*
**
***
** *
*
*
*
*
**
*
*
*
*
**
*
**
***
*
*
*
**
*
*
** ****
**
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
******
*
*
**
***
*
*
*
*
*
*
*
*
*
*
*
**
*
* **
*
** **
*
**
*
*
****
*
**
*
*
** *
*
***
*
*
*
**
***
***
***
**
*
**
**
** ***
*
** *
*
***
*
* *
*
*
*
**
*
*
* ** ** **
**
**
*** *
*
**
**
*
***
*
****
*
**
** *
*
*
****
**
**
*
*
**
**
* *
*
** * *
**
***
* *
*
**
****
*** *
**
*
**
** ***
* *** *
*
*
*
*
** **
* *
*****
**
**
*
**
*
***
*
**
*
*
*
* **
**
*
*
*
***
* **
*
*
***
*** *
****
*
**
*
***
*
*
** *
*
**
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
**
****
***
*
** ** *** *
***
*
*
**
**
*
*
*
****
**
** ** **
* **
** ** *
*
* *
**
**
**
*
** **
*
* *****
*****
* ** ***
*
*
*** *
* ** *
**** **
* *
***
* ****
***
**
*** ** ***
*
**
**
*
**
*
*
*
* ** ******
**
** ***
*
****
**
*
**
* **
**
*
*
**
*** **
*
*
*** **
*
** ****
**
***
**
*
** *
**
*
** ***
**
* **** *
**
***
** ** * **** **
*
**** **
***
**
**
** *
* ***
**
** *
*** *
*
** ** ***** ** ****** *
*** *
***
**
**** * **
** ***
** *
** *** *** *** *** ** **
** ***
** **
*
**
**
** *****
*
*
**
***
*
***
* **
* *
* ***
** ***** **
** * *
*** *** ** ***
*** ****
*
*
** **** *
* *** ***
**
**** * ** ***** * **** *
* **
*** ** ** ** ** ***
**** * ** ** ** ** *
*
** ** ** *****
****** ** *
* *** *** ** ** *
*** **** * * **
* *** *** *** *** ** **** ***** ***
** * ** * ***** **
**
****
****
***
** * **** ** *** ** ** * **** *** ** **** ** **** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*
** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** ***
** **** *** ** *** ** * ** * ***** ** ** ****
******
* ** * **** ** *** ** ** * **** *** ** **** **
**** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *
** ** **** ***** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** *
*** ****
** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** ****
PSfrag replacements
Orthonormal Basis Φ
Feature Space H
26
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Reproducing kernel Hilbert spaces
K(x, y) =
∞∑
i=1
γiφi(x)φi(y)
γi ≥ 0,∑
γ2 <∞.
Definition; f ∈ HK if f(x) =∑
i = 1∞ciφi(x) with
||f ||2HK≡
∞∑
i=1
c2i /γi <∞,
where ||f ||HKis the norm induced by K.
Rewriting, we have
minf∈HK
[N∑
i=1
L(yi, f(xi)) + λ||f ||2HK
]
27
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
or equivalently
mincj∞
1
N∑
i=1
L(yi,
∞∑
j=1
cjφj(xi)) + λ
∞∑
j=1
c2j/γj
.
It can be shown that
f(x) =N∑
i=1
αiK(x, xi).
which is finite dimensional!
28
Top Related