Ray 7 דוגמא
description
Transcript of Ray 7 דוגמא
1ln1
m
1ln||ln1|| HSm
otherwise
axxffRay aa 0
1)( :
Ray 7 דוגמא
|| Ray
אלגוריתםקבל דוגמאות 1. המינימלית החיוביתa עבור הדוגמה fa פלט 2.
?
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
קצת רקע בהסתברות
1][EPr XX
Markovחסם של
משתנה מקרי חיובי. אזי Xיהי
אזי לא יכול להיות שיותר מחצי aאינטואיציה: אם ממוצע ציונים הוא 2a הציונים גדולים מ-
Markov
1856-1922
tXtX ][EPr
E[X]t עבור E[X] E[X]
x
xXxX ]Pr[][E
tx
xXx ]Pr[
tx
xXt ]Pr[
tx
xXt ]Pr[
]Pr[ tXt
E[X]t
1][E
][E][EPr
X
XXX
חיובי ? Xאיפה השתמשנו בזה ש-
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
Chebychev1821-1894
2
][Var][EPrt
XtXX
Chebychevחסם של
משתנה מקרי. אזי Xיהי
E[X]tt
222 ]E[E))(E(E][Var XXXXX
הוכחה: tXX ][EPr
22][EPr tXX
22
2 ][Var)(EEt
Xt
XX
לפיMarkov
דוגמא: ניסוי ברנולי
failure0success1
X
וכשלון בהסתברותpניסוי עם הצלחה בהסתברות q=1-p
][E X ppp )1(01
][Var X 22 ]E[E XX
pqpppX 22E
Nicolaus Bernoulli 1623-1708
m נסיונות ברנולי בלתי-תלויים
p-1y probabilit with failure0
py probabilit with success1iX
מספר ההצלחות
m
iiXY
1
][E Y
m
iiX
1
E
m
iiX
1
E mp
][Var Y
m
iiX
1
Var
m
iiX
1
Var mpq
2Prt
mpqtmpY
Chebychevחסם של
2
][Var][EPrt
XtXX
2Prt
mpqmtp
mY
mmpqp
mY
22
1Prmt
2
1m
p -קרוב ל- Y/mבהסתברות לפחות 1
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
VCdim (Vapnik-Chervonenkis(ממד
Vapnik Chervonenkis
קבוצה של פונקציות בוליניותCתהי }1,0{: Xf
C ע"י Shatteredמנפצת נומר ש- אם
XS
))(( CgSR
gהיא אפס על gהיא אחד על
RRS \
SR RS \
g10
))(( CgSR
gהיא אפס על gהיא אחד על
RRS \
מנפצת אם XS
1דוגמא
otherwise
axxffRayC aa 0
1)(
0 1 2 3
5.1f-1
2f
}2{S
}2,1{S? האם מנפצתהאם קיימת קבוצה עם שני אברים מנפצת ?
2דוגמא
otherwise
axbxffIntervalC aba 0
1)( ,
0 1 2 3
3,5.1f-1
3,0f
}2,1{S
5.1,0f
4,3f}3,2,1{S? האם מנופצת
האם קיימת קבוצה מנופצת עם שלשה אברים ?
}1{R
{}R
}2{R}2,1{R
VCdim(C)גודל הקבוצה הגדולה ביותר המנופצת
1)dim(VC Ray2)dim(VC Interval
][ 2211),,(2
21bxaxafHS baa
2dimVC HS 3
3דוגמא
נראה קודם ש- הוכחה 3dimVC 2 HS
4dimVC 2 HSלא קיימת קבוצה עם ארבעה אברים מנופצת
: הנקודה הרביעית בתוך המשולשמקרה א
בהנתן ארבעה נקודות. תבחר שלשה נקודות ותבנה משולש
A B
C
אזי אם נקודות המשולש חיוביות אז כל נקודות המשולש הפנימיותחיוביות.
: הנקודה הרביעית מחוץ למשולשמקרה בA B
C
Dהקו חייב לחתוך כל צלעות המרובע
סתירה. 1dimVC nHS n
][][ box 212 dxcbxaBOX a,b,c,d
2dimVC BOX 4
4דוגמא
a b
dc
2dimVC BOX 5
4dimVC 2 BOX
U
D
RL
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
Shatter Coefficient מקדם הנפוץ
קבוצה של פונקציות בוליניותCתהי }1,0{: Xf
|:}1,0{ל- נגדיר Sf SXS
)()(| xfxf S
XSל- נגדיר }:|{| CffC SS
X
S
SmSCmC |max),(SC
|| נגדיר
1דוגמא
otherwise
axxffRayC aa 0
1)(
0 1 2 3-1
0f}3,2,1{S
5.1f5.2f
5.3f
1),(SC mmRay
שים לב ש- CdimVCd -הוא המספר אכי גדול כך שddC 2),(SC
2דוגמא
otherwise
axbxffIntervalC aba 0
1)( ,
?),(SC mInterval
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
Sauerלמה
Norbert Sauer
dd
i dem
im
dmgmC
2),(),(SC0
עבור מחלקה עם CdimVCd C
הוכחהmxxxxxx 54321
tf
fff
3
2
1
w 1 w
w 0
w 1
wmC
1xCm
w 1\ xCm
|\||||| 11 xCxCC mmm
mxxxxxx 54321
tf
fff
3
2
1
w 1 w
w 0
w 1
wmC
1xCm
w 1\ xCm
|\||||| 11 xCxCC mmm
dCm dimVC dxCm 1dimVC
1\dimVC 1 dxCm
dmההוכחה תהיה באינדוקציה על 0or 0הבסיס טרויאלי dm
),(SC mC|\||| 11 xCxC mm
dxCm 1dimVC
1\dimVC 1 dxCm
|| mC
)1,1(),1( dmgdmgלפי הנחת האינדוקציה
( , )g m d
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
אםC ל- ε-net נקראת Sקבוצה של נקודות
Cfלכל כך ש- ]1)([Pr]Pr[ xff D
Sxקיימת נקודה כך ש- 1)( xf
ε-netה- 1משפט
ו- X נקודות רנדומליות מ-m היא Sאם
4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
X O Sf נשתמש בסמון
8m
ו-
ו- X נקודות רנדומליות מ-m היא Sאם .ε-netה- 1משפט 4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
8m
ו-
הוכחה
}=𝐶𝜖נסמן 𝑓 ∈𝐶∨ Pr𝐷
[ 𝑓 ] ≥𝜖 }
net-not is SAנגדיר ( ) A f C f S o
ונגדיר X נקודות רנדומליות מ-mנבחר , ( ) | ' |
2mB f C f S o f S
]Prטענה ] Pr[ ] 2Pr[ ]B A B הוכחה
, 'Pr[ | ]S S
B A
fA
fB
Pr[( ) | ( ) ]f f ff C A B f C A
0fנקח Cשמקיים 0f
A
0 0Pr[ | ( ) ]f f fA B f C A
0Pr[ | ( ) ]f fB f C A
2||Pr 0
mSf 21
נוכיח שמחסם Chebychev
0'[Pr[ ] | ( ) ]f fS S
E B f C A
0Pr | |2mf S
010
ii
x fX
otherwise
1
m
ii
Y X
[ ]iE X p
2Prt
mpqtmpY Chebychevמחסם
0Pr | |2mf S
Pr2mY
O mpm2
m2
mpPr | |
2mpY mp 3
2mp
4qmp
4m
12
2/1]|Pr[ AB
]Pr[]|Pr[]Pr[]Pr[ AABBAB
]Pr[2]Pr[טענה BA
(1/2)Pr[A]A])Pr[A]|BPr[-(1
( ) | ' |2mB f C f S o f S
X SS Fix S S
SS N Fixed| ( | ) | ' |
2NmB N f C f S o f S
2|| )|( mNfoSfCf N
[ ] [ [ | ]]N N S NE B E E B N
( ) | ' |2mB f C f S o f S
| ( | ) | |2NmB N f C f S o f N
Pr[ | ] Pr ( | ) | |2NmB N f C f S o f N
2|| Pr)2,( mNfoSfmCSC
m
mCSC
41)2,( 4/)2,( memCSC
]Pr[2]Pr[ BA 4/)2,(2 memCSC
( , 2 ) Pr | | 2mSC C m f S o f N
ε-netה- 2משפט
ו- X נקודות רנדומליות מ-m היא Sאם
4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
2ln832ln)dim(16
eCVCm
הוכחהSauerלמה
d
demmC
2),(SC4/22 md
edem
נשאר להוכיח)dim(CVCd
4/22 m
d
edem
2ln832ln16
edm
4/22 md
edem
42ln2ln m
demd
82ln m
מספיק להוכיח
82ln m
demd
dm
dem
82ln
dm
8
dem2ln
0m
edmm 32ln16
0
מספיק להוכיח8
2ln mdemd
dm
dem
82ln
dm
8
dem2ln
0m
edmm 32ln16
0
2ln832ln16
edm
e
dm 32ln2
80
dem02ln
ee 32ln32ln
ee 32lnln32ln
322ln e
0
8md
ε-netה- 2משפט
ו- X נקודות רנדומליות מ-m היא Sאם
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
2ln832ln)dim(16
eCVCm
1log11log)dim(CVCOm
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
OCCAMAlgorithm Occam משפט
1. Get examplesS
2. Run A(S)h0
1log11log)dim(CVCOm
C לומד את OCCAMאלגוריתם
}|{ נגדיר פונקצית המטרה.fתהי הוכחה CggfC f
)dim()dim( CVCCVC f S היא ε-net. -ל Cf -לכל כך שfCfg ]1Pr[ fg
Sxקיימת נקודה כך ש- 1)()( xfxg
0)()( xfxh לכלSx ולכן
]1Pr[ fh ]Pr[ fh
1ln1
m
1ln||ln1 Hm
otherwise
axxffRay aa 0
1)( :
Ray 7 דוגמא
|| Ray אלגוריתם
קבל דוגמאות 1.
המינימלית החיוביתa עבור הדוגמא fa פלט 2.
1log11log)dim(CVCOm
1)dim( RayVC
1log1log1Om
][ 2211 bxaxaxaHS ddd
HalfSpace: חצי מישור 8דוגמא
1)dim( dHSVC d
1log11logdOm
2מימד – Polygonkצלעות – k: מצולע קמור עם 9דוגמא
HSHSk
k Polygon
SkmSk m |Polygonmax),Polygon(SC||
S
k
SmSHSHS ||max
||
kSmS
HS |max||
Sauerלפי למה של kem 3
32
k
kemm
3
32),Polygon(SC
dCאם k )Polygondim(V
Sauerkאזי לפי למה של
kd edd
3
32),Polygon(SC2
dkekd log3)3/2log(3 dk log6
V dim(Polygon ) 24 logkC d k k
1log11loglog kkOm kPolygonאם הפלט הוא
2 2
6 log
6log
(6 ) 6 log(6 )
d k ddd k
d
d k d k k