Ray 7 דוגמא

45
Ray 7 אאאאא אאאאאאאא.1 אאאאאאא אאא.2 אאאf a אאאא אאאאאאa אאאאאאאאא אאאאא? 1 ln 1 m 1 ln | | ln 1 | | H S m otherwise a x x f f Ray a a 0 1 ) ( : | | Ray

description

Ray 7 דוגמא. ?. אלגוריתם. קבל דוגמאות פלט f a עבור הדוגמה a המינימלית החיובית. חסם של Markov. חסם של Chebychev. למה Sauer. Shatter Coefficient. ממד (VCdim). ε -net. משפט ε -net. משפט OCCAM. חסם של Markov. חסם של Chebychev. למה Sauer. - PowerPoint PPT Presentation

Transcript of Ray 7 דוגמא

Page 1: Ray 7 דוגמא

1ln1

m

1ln||ln1|| HSm

otherwise

axxffRay aa 0

1)( :

Ray 7 דוגמא

|| Ray

אלגוריתםקבל דוגמאות 1. המינימלית החיוביתa עבור הדוגמה fa פלט 2.

?

Page 2: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 3: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 4: Ray 7 דוגמא

קצת רקע בהסתברות

1][EPr XX

Markovחסם של

משתנה מקרי חיובי. אזי Xיהי

אזי לא יכול להיות שיותר מחצי aאינטואיציה: אם ממוצע ציונים הוא 2a הציונים גדולים מ-

Markov

1856-1922

tXtX ][EPr

E[X]t עבור E[X] E[X]

Page 5: Ray 7 דוגמא

x

xXxX ]Pr[][E

tx

xXx ]Pr[

tx

xXt ]Pr[

tx

xXt ]Pr[

]Pr[ tXt

E[X]t

1][E

][E][EPr

X

XXX

חיובי ? Xאיפה השתמשנו בזה ש-

Page 6: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 7: Ray 7 דוגמא

Chebychev1821-1894

2

][Var][EPrt

XtXX

Chebychevחסם של

משתנה מקרי. אזי Xיהי

E[X]tt

222 ]E[E))(E(E][Var XXXXX

הוכחה: tXX ][EPr

22][EPr tXX

22

2 ][Var)(EEt

Xt

XX

לפיMarkov

Page 8: Ray 7 דוגמא

דוגמא: ניסוי ברנולי

failure0success1

X

וכשלון בהסתברותpניסוי עם הצלחה בהסתברות q=1-p

][E X ppp )1(01

][Var X 22 ]E[E XX

pqpppX 22E

Nicolaus Bernoulli 1623-1708

Page 9: Ray 7 דוגמא

m נסיונות ברנולי בלתי-תלויים

p-1y probabilit with failure0

py probabilit with success1iX

מספר ההצלחות

m

iiXY

1

][E Y

m

iiX

1

E

m

iiX

1

E mp

][Var Y

m

iiX

1

Var

m

iiX

1

Var mpq

Page 10: Ray 7 דוגמא

2Prt

mpqtmpY

Chebychevחסם של

2

][Var][EPrt

XtXX

2Prt

mpqmtp

mY

mmpqp

mY

22

1Prmt

2

1m

p -קרוב ל- Y/mבהסתברות לפחות 1

Page 11: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 12: Ray 7 דוגמא

VCdim (Vapnik-Chervonenkis(ממד

Vapnik Chervonenkis

קבוצה של פונקציות בוליניותCתהי }1,0{: Xf

C ע"י Shatteredמנפצת נומר ש- אם

XS

))(( CgSR

gהיא אפס על gהיא אחד על

RRS \

SR RS \

g10

Page 13: Ray 7 דוגמא

))(( CgSR

gהיא אפס על gהיא אחד על

RRS \

מנפצת אם XS

1דוגמא

otherwise

axxffRayC aa 0

1)(

0 1 2 3

5.1f-1

2f

}2{S

}2,1{S? האם מנפצתהאם קיימת קבוצה עם שני אברים מנפצת ?

Page 14: Ray 7 דוגמא

2דוגמא

otherwise

axbxffIntervalC aba 0

1)( ,

0 1 2 3

3,5.1f-1

3,0f

}2,1{S

5.1,0f

4,3f}3,2,1{S? האם מנופצת

האם קיימת קבוצה מנופצת עם שלשה אברים ?

}1{R

{}R

}2{R}2,1{R

Page 15: Ray 7 דוגמא

VCdim(C)גודל הקבוצה הגדולה ביותר המנופצת

1)dim(VC Ray2)dim(VC Interval

Page 16: Ray 7 דוגמא

][ 2211),,(2

21bxaxafHS baa

2dimVC HS 3

3דוגמא

נראה קודם ש- הוכחה 3dimVC 2 HS

Page 17: Ray 7 דוגמא

4dimVC 2 HSלא קיימת קבוצה עם ארבעה אברים מנופצת

: הנקודה הרביעית בתוך המשולשמקרה א

בהנתן ארבעה נקודות. תבחר שלשה נקודות ותבנה משולש

A B

C

אזי אם נקודות המשולש חיוביות אז כל נקודות המשולש הפנימיותחיוביות.

: הנקודה הרביעית מחוץ למשולשמקרה בA B

C

Dהקו חייב לחתוך כל צלעות המרובע

סתירה. 1dimVC nHS n

Page 18: Ray 7 דוגמא

][][ box 212 dxcbxaBOX a,b,c,d

2dimVC BOX 4

4דוגמא

a b

dc

Page 19: Ray 7 דוגמא

2dimVC BOX 5

4dimVC 2 BOX

U

D

RL

Page 20: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 21: Ray 7 דוגמא

Shatter Coefficient מקדם הנפוץ

קבוצה של פונקציות בוליניותCתהי }1,0{: Xf

|:}1,0{ל- נגדיר Sf SXS

)()(| xfxf S

XSל- נגדיר }:|{| CffC SS

X

S

SmSCmC |max),(SC

|| נגדיר

Page 22: Ray 7 דוגמא

1דוגמא

otherwise

axxffRayC aa 0

1)(

0 1 2 3-1

0f}3,2,1{S

5.1f5.2f

5.3f

1),(SC mmRay

שים לב ש- CdimVCd -הוא המספר אכי גדול כך שddC 2),(SC

Page 23: Ray 7 דוגמא

2דוגמא

otherwise

axbxffIntervalC aba 0

1)( ,

?),(SC mInterval

Page 24: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 25: Ray 7 דוגמא

Sauerלמה

Norbert Sauer

dd

i dem

im

dmgmC

2),(),(SC0

עבור מחלקה עם CdimVCd C

הוכחהmxxxxxx 54321

tf

fff

3

2

1

w 1 w

w 0

w 1

wmC

1xCm

w 1\ xCm

|\||||| 11 xCxCC mmm

Page 26: Ray 7 דוגמא

mxxxxxx 54321

tf

fff

3

2

1

w 1 w

w 0

w 1

wmC

1xCm

w 1\ xCm

|\||||| 11 xCxCC mmm

dCm dimVC dxCm 1dimVC

1\dimVC 1 dxCm

Page 27: Ray 7 דוגמא

dmההוכחה תהיה באינדוקציה על 0or 0הבסיס טרויאלי dm

),(SC mC|\||| 11 xCxC mm

dxCm 1dimVC

1\dimVC 1 dxCm

|| mC

)1,1(),1( dmgdmgלפי הנחת האינדוקציה

( , )g m d

Page 28: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 29: Ray 7 דוגמא

אםC ל- ε-net נקראת Sקבוצה של נקודות

Cfלכל כך ש- ]1)([Pr]Pr[ xff D

Sxקיימת נקודה כך ש- 1)( xf

ε-netה- 1משפט

ו- X נקודות רנדומליות מ-m היא Sאם

4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

X O Sf נשתמש בסמון

8m

ו-

Page 30: Ray 7 דוגמא

ו- X נקודות רנדומליות מ-m היא Sאם .ε-netה- 1משפט 4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

8m

ו-

הוכחה

}=𝐶𝜖נסמן 𝑓 ∈𝐶∨ Pr𝐷

[ 𝑓 ] ≥𝜖 }

Page 31: Ray 7 דוגמא

net-not is SAנגדיר ( ) A f C f S o

ונגדיר X נקודות רנדומליות מ-mנבחר , ( ) | ' |

2mB f C f S o f S

]Prטענה ] Pr[ ] 2Pr[ ]B A B הוכחה

, 'Pr[ | ]S S

B A

fA

fB

Pr[( ) | ( ) ]f f ff C A B f C A

0fנקח Cשמקיים 0f

A

0 0Pr[ | ( ) ]f f fA B f C A

0Pr[ | ( ) ]f fB f C A

2||Pr 0

mSf 21

נוכיח שמחסם Chebychev

0'[Pr[ ] | ( ) ]f fS S

E B f C A

Page 32: Ray 7 דוגמא

0Pr | |2mf S

010

ii

x fX

otherwise

1

m

ii

Y X

[ ]iE X p

2Prt

mpqtmpY Chebychevמחסם

0Pr | |2mf S

Pr2mY

O mpm2

m2

mpPr | |

2mpY mp 3

2mp

4qmp

4m

12

Page 33: Ray 7 דוגמא

2/1]|Pr[ AB

]Pr[]|Pr[]Pr[]Pr[ AABBAB

]Pr[2]Pr[טענה BA

(1/2)Pr[A]A])Pr[A]|BPr[-(1

Page 34: Ray 7 דוגמא

( ) | ' |2mB f C f S o f S

X SS Fix S S

SS N Fixed| ( | ) | ' |

2NmB N f C f S o f S

2|| )|( mNfoSfCf N

[ ] [ [ | ]]N N S NE B E E B N

( ) | ' |2mB f C f S o f S

Page 35: Ray 7 דוגמא

| ( | ) | |2NmB N f C f S o f N

Pr[ | ] Pr ( | ) | |2NmB N f C f S o f N

2|| Pr)2,( mNfoSfmCSC

m

mCSC

41)2,( 4/)2,( memCSC

]Pr[2]Pr[ BA 4/)2,(2 memCSC

( , 2 ) Pr | | 2mSC C m f S o f N

Page 36: Ray 7 דוגמא

ε-netה- 2משפט

ו- X נקודות רנדומליות מ-m היא Sאם

4/)2,(2 memCSC

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

2ln832ln)dim(16

eCVCm

הוכחהSauerלמה

d

demmC

2),(SC4/22 md

edem

נשאר להוכיח)dim(CVCd

Page 37: Ray 7 דוגמא

4/22 m

d

edem

2ln832ln16

edm

4/22 md

edem

42ln2ln m

demd

82ln m

מספיק להוכיח

82ln m

demd

dm

dem

82ln

dm

8

dem2ln

0m

edmm 32ln16

0

Page 38: Ray 7 דוגמא

מספיק להוכיח8

2ln mdemd

dm

dem

82ln

dm

8

dem2ln

0m

edmm 32ln16

0

2ln832ln16

edm

e

dm 32ln2

80

dem02ln

ee 32ln32ln

ee 32lnln32ln

322ln e

0

8md

Page 39: Ray 7 דוגמא

ε-netה- 2משפט

ו- X נקודות רנדומליות מ-m היא Sאם

C ל- ε-net היא δ , S-1אזי בהסתברות לפחות

2ln832ln)dim(16

eCVCm

1log11log)dim(CVCOm

Page 40: Ray 7 דוגמא

Markovחסם של

Chebychevחסם של

)VCdim(ממד Shatter Coefficient למהSauer

ε-net

ε-netמשפט

OCCAMמשפט

Page 41: Ray 7 דוגמא

OCCAMAlgorithm Occam משפט

1. Get examplesS

2. Run A(S)h0

1log11log)dim(CVCOm

C לומד את OCCAMאלגוריתם

}|{ נגדיר פונקצית המטרה.fתהי הוכחה CggfC f

)dim()dim( CVCCVC f S היא ε-net. -ל Cf -לכל כך שfCfg ]1Pr[ fg

Sxקיימת נקודה כך ש- 1)()( xfxg

0)()( xfxh לכלSx ולכן

]1Pr[ fh ]Pr[ fh

Page 42: Ray 7 דוגמא

1ln1

m

1ln||ln1 Hm

otherwise

axxffRay aa 0

1)( :

Ray 7 דוגמא

|| Ray אלגוריתם

קבל דוגמאות 1.

המינימלית החיוביתa עבור הדוגמא fa פלט 2.

1log11log)dim(CVCOm

1)dim( RayVC

1log1log1Om

Page 43: Ray 7 דוגמא

][ 2211 bxaxaxaHS ddd

HalfSpace: חצי מישור 8דוגמא

1)dim( dHSVC d

1log11logdOm

Page 44: Ray 7 דוגמא

2מימד – Polygonkצלעות – k: מצולע קמור עם 9דוגמא

HSHSk

k Polygon

SkmSk m |Polygonmax),Polygon(SC||

S

k

SmSHSHS ||max

||

kSmS

HS |max||

Sauerלפי למה של kem 3

32

Page 45: Ray 7 דוגמא

k

kemm

3

32),Polygon(SC

dCאם k )Polygondim(V

Sauerkאזי לפי למה של

kd edd

3

32),Polygon(SC2

dkekd log3)3/2log(3 dk log6

V dim(Polygon ) 24 logkC d k k

1log11loglog kkOm kPolygonאם הפלט הוא

2 2

6 log

6log

(6 ) 6 log(6 )

d k ddd k

d

d k d k k