1ln1

m

1ln||ln1|| HSm

otherwise

axxffRay aa 0

1)( :

Ray 7 דוגמא

|| Ray

אלגוריתםקבל דוגמאות 1. המינימלית החיוביתa עבור הדוגמה fa פלט 2.

?

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

קצת רקע בהסתברות

1][EPr XX

Markovחסם של

משתנה מקרי חיובי. אזי Xיהי

אזי לא יכול להיות שיותר מחצי aאינטואיציה: אם ממוצע ציונים הוא 2a הציונים גדולים מ-

Markov

1856-1922

tXtX ][EPr

E[X]t עבור E[X] E[X]

x

xXxX ]Pr[][E

tx

xXx ]Pr[

tx

xXt ]Pr[

tx

xXt ]Pr[

]Pr[ tXt

E[X]t

1][E

][E][EPr

X

XXX

חיובי ? Xאיפה השתמשנו בזה ש-

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Chebychev1821-1894

2

][Var][EPrt

XtXX

Chebychevחסם של

משתנה מקרי. אזי Xיהי

E[X]tt

222 ]E[E))(E(E][Var XXXXX

הוכחה: tXX ][EPr

22][EPr tXX

22

2 ][Var)(EEt

Xt

XX

לפיMarkov

דוגמא: ניסוי ברנולי

failure0success1

X

וכשלון בהסתברותpניסוי עם הצלחה בהסתברות q=1-p

][E X ppp )1(01

][Var X 22 ]E[E XX

pqpppX 22E

Nicolaus Bernoulli 1623-1708

m נסיונות ברנולי בלתי-תלויים

p-1y probabilit with failure0

py probabilit with success1iX

מספר ההצלחות

m

iiXY

1

][E Y

m

iiX

1

E

m

iiX

1

E mp

][Var Y

m

iiX

1

Var

m

iiX

1

Var mpq

2Prt

mpqtmpY

Chebychevחסם של

2

][Var][EPrt

XtXX

2Prt

mpqmtp

mY

mmpqp

mY

22

1Prmt

2

1m

p -קרוב ל- Y/mבהסתברות לפחות 1

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

VCdim (Vapnik-Chervonenkis(ממד

Vapnik Chervonenkis

קבוצה של פונקציות בוליניותCתהי }1,0{: Xf

C ע"י Shatteredמנפצת נומר ש- אם

XS

))(( CgSR

gהיא אפס על gהיא אחד על

RRS \

SR RS \

g10

))(( CgSR

gהיא אפס על gהיא אחד על

RRS \

מנפצת אם XS

1דוגמא

otherwise

axxffRayC aa 0

1)(

0 1 2 3

5.1f-1

2f

}2{S

}2,1{S? האם מנפצתהאם קיימת קבוצה עם שני אברים מנפצת ?

2דוגמא

otherwise

axbxffIntervalC aba 0

1)( ,

0 1 2 3

3,5.1f-1

3,0f

}2,1{S

5.1,0f

4,3f}3,2,1{S? האם מנופצת

האם קיימת קבוצה מנופצת עם שלשה אברים ?

}1{R

{}R

}2{R}2,1{R

VCdim(C)גודל הקבוצה הגדולה ביותר המנופצת

1)dim(VC Ray2)dim(VC Interval

][ 2211),,(2

21bxaxafHS baa

2dimVC HS 3

3דוגמא

נראה קודם ש- הוכחה 3dimVC 2 HS

4dimVC 2 HSלא קיימת קבוצה עם ארבעה אברים מנופצת

: הנקודה הרביעית בתוך המשולשמקרה א

בהנתן ארבעה נקודות. תבחר שלשה נקודות ותבנה משולש

A B

C

אזי אם נקודות המשולש חיוביות אז כל נקודות המשולש הפנימיותחיוביות.

: הנקודה הרביעית מחוץ למשולשמקרה בA B

C

Dהקו חייב לחתוך כל צלעות המרובע

סתירה. 1dimVC nHS n

][][ box 212 dxcbxaBOX a,b,c,d

2dimVC BOX 4

4דוגמא

a b

dc

2dimVC BOX 5

4dimVC 2 BOX

U

D

RL

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Shatter Coefficient מקדם הנפוץ

קבוצה של פונקציות בוליניותCתהי }1,0{: Xf

|:}1,0{ל- נגדיר Sf SXS

)()(| xfxf S

XSל- נגדיר }:|{| CffC SS

X

S

SmSCmC |max),(SC

|| נגדיר

1דוגמא

otherwise

axxffRayC aa 0

1)(

0 1 2 3-1

0f}3,2,1{S

5.1f5.2f

5.3f

1),(SC mmRay

שים לב ש- CdimVCd -הוא המספר אכי גדול כך שddC 2),(SC

2דוגמא

otherwise

axbxffIntervalC aba 0

1)( ,

?),(SC mInterval

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Sauerלמה

Norbert Sauer

dd

i dem

im

dmgmC

2),(),(SC0

עבור מחלקה עם CdimVCd C

הוכחהmxxxxxx 54321

tf

fff

3

2

1

w 1 w

w 0

w 1

wmC

1xCm

w 1\ xCm

|\||||| 11 xCxCC mmm

mxxxxxx 54321

tf

fff

3

2

1

w 1 w

w 0

w 1

wmC

1xCm

w 1\ xCm

|\||||| 11 xCxCC mmm

dCm dimVC dxCm 1dimVC

1\dimVC 1 dxCm

dmההוכחה תהיה באינדוקציה על 0or 0הבסיס טרויאלי dm

),(SC mC|\||| 11 xCxC mm

dxCm 1dimVC

1\dimVC 1 dxCm

|| mC

)1,1(),1( dmgdmgלפי הנחת האינדוקציה

( , )g m d

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

אםC ל- ε-net נקראת Sקבוצה של נקודות

Cfלכל כך ש- ]1)([Pr]Pr[ xff D

Sxקיימת נקודה כך ש- 1)( xf

ε-netה- 1משפט

ו- X נקודות רנדומליות מ-m היא Sאם

4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

X O Sf נשתמש בסמון

8m

ו-

ו- X נקודות רנדומליות מ-m היא Sאם .ε-netה- 1משפט 4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

8m

ו-

הוכחה

}=𝐶𝜖נסמן 𝑓 ∈𝐶∨ Pr𝐷

[ 𝑓 ] ≥𝜖 }

net-not is SAנגדיר ( ) A f C f S o

ונגדיר X נקודות רנדומליות מ-mנבחר , ( ) | ' |

2mB f C f S o f S

]Prטענה ] Pr[ ] 2Pr[ ]B A B הוכחה

, 'Pr[ | ]S S

B A

fA

fB

Pr[( ) | ( ) ]f f ff C A B f C A

0fנקח Cשמקיים 0f

A

0 0Pr[ | ( ) ]f f fA B f C A

0Pr[ | ( ) ]f fB f C A

2||Pr 0

mSf 21

נוכיח שמחסם Chebychev

0'[Pr[ ] | ( ) ]f fS S

E B f C A

0Pr | |2mf S

010

ii

x fX

otherwise

1

m

ii

Y X

[ ]iE X p

2Prt

mpqtmpY Chebychevמחסם

0Pr | |2mf S

Pr2mY

O mpm2

m2

mpPr | |

2mpY mp 3

2mp

4qmp

4m

12

2/1]|Pr[ AB

]Pr[]|Pr[]Pr[]Pr[ AABBAB

]Pr[2]Pr[טענה BA

(1/2)Pr[A]A])Pr[A]|BPr[-(1

( ) | ' |2mB f C f S o f S

X SS Fix S S

SS N Fixed| ( | ) | ' |

2NmB N f C f S o f S

2|| )|( mNfoSfCf N

[ ] [ [ | ]]N N S NE B E E B N

( ) | ' |2mB f C f S o f S

| ( | ) | |2NmB N f C f S o f N

Pr[ | ] Pr ( | ) | |2NmB N f C f S o f N

2|| Pr)2,( mNfoSfmCSC

m

mCSC

41)2,( 4/)2,( memCSC

]Pr[2]Pr[ BA 4/)2,(2 memCSC

( , 2 ) Pr | | 2mSC C m f S o f N

ε-netה- 2משפט

ו- X נקודות רנדומליות מ-m היא Sאם

4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

2ln832ln)dim(16

eCVCm

הוכחהSauerלמה

d

demmC

2),(SC4/22 md

edem

נשאר להוכיח)dim(CVCd

4/22 m

d

edem

2ln832ln16

edm

4/22 md

edem

42ln2ln m

demd

82ln m

מספיק להוכיח

82ln m

demd

dm

dem

82ln

dm

8

dem2ln

0m

edmm 32ln16

0

מספיק להוכיח8

2ln mdemd

dm

dem

82ln

dm

8

dem2ln

0m

edmm 32ln16

0

2ln832ln16

edm

e

dm 32ln2

80

dem02ln

ee 32ln32ln

ee 32lnln32ln

322ln e

0

8md

ε-netה- 2משפט

ו- X נקודות רנדומליות מ-m היא Sאם

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

2ln832ln)dim(16

eCVCm

1log11log)dim(CVCOm

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

OCCAMAlgorithm Occam משפט

1. Get examplesS

2. Run A(S)h0

1log11log)dim(CVCOm

C לומד את OCCAMאלגוריתם

}|{ נגדיר פונקצית המטרה.fתהי הוכחה CggfC f

)dim()dim( CVCCVC f S היא ε-net. -ל Cf -לכל כך שfCfg ]1Pr[ fg

Sxקיימת נקודה כך ש- 1)()( xfxg

0)()( xfxh לכלSx ולכן

]1Pr[ fh ]Pr[ fh

1ln1

m

1ln||ln1 Hm

otherwise

axxffRay aa 0

1)( :

Ray 7 דוגמא

|| Ray אלגוריתם

קבל דוגמאות 1.

המינימלית החיוביתa עבור הדוגמא fa פלט 2.

1log11log)dim(CVCOm

1)dim( RayVC

1log1log1Om

][ 2211 bxaxaxaHS ddd

HalfSpace: חצי מישור 8דוגמא

1)dim( dHSVC d

1log11logdOm

2מימד – Polygonkצלעות – k: מצולע קמור עם 9דוגמא

HSHSk

k Polygon

SkmSk m |Polygonmax),Polygon(SC||

S

k

SmSHSHS ||max

||

kSmS

HS |max||

Sauerלפי למה של kem 3

32

k

kemm

3

32),Polygon(SC

dCאם k )Polygondim(V

Sauerkאזי לפי למה של

kd edd

3

32),Polygon(SC2

dkekd log3)3/2log(3 dk log6

V dim(Polygon ) 24 logkC d k k

1log11loglog kkOm kPolygonאם הפלט הוא

2 2

6 log

6log

(6 ) 6 log(6 )

d k ddd k

d

d k d k k