Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels...

Rappels de Probabilités et de Statistiques

Reconnaissance des Formes (Semaine V)

Université de Lille, France

13/02/2013

Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 1

Les éléments d’un Modèle Probabiliste

L’univers Ω

est l’ensemble de tous les résultats possibles que l’on peut obtenir

Exemple

On lance une pièce (une fois)

→ Que peut on obtenir comme résultat ?

Ω := face,pile

On lance une pièce deux fois.

Ω := (face, face), (face,pile), (pile, face), (pile,pile)



L’événement

Un événement A est un sous-ensemble des résultats possible A ⊂ Ω

Jeu des carte : On tire une seule carte

tirer un roi est un événement

tirer une carte de coeur est un événement

tirer un chiffre est un événement

On choisit une urne au hasard, et on

tire une boule de l’urne choisie.

Le fait que l’on tire une boule

verte est un événement

Le fait que l’on tire une boule

verte de l’urne bleu est un

événement



La Loi de Probabilité

est une fonction sur l’ensemble des événements Ω qui donne une valeur

réelle et non-negative à chaque événement A ∈ Ω

Axiomes des Probabilités

P(A) ≥ 0

P(Ω) = 1

Pour des événements A1, . . . ,An tels que

∀i = j ∈ 1..n, P(Ai ∩ Aj) = 0 on a

P(A1 ∪ A2 ∪ · · · ∪ An) =n

i=1

P(Ai )


Comment Calculer la Probabilité ?

La Vision Fréquentiste

La probabilité d’un événement est

la limite de la proportion de fois que se produit cet événement

lorsque le nombre de fois qu’on répète l’expérience tend vers

l’infini.

Soit N le nombre de fois que l’on répète une expérience.

ex. L’expérience est "lancer une pièce"

Soit NE le nombre de fois que se produit l’événement E .

ex. E = On a "face"

On définit la probabilité de E comme

limN→∞

NE

N


La Notion d’Indépendance

Définition

Deux événements A et B sont indépendants si

P(A ∩ B) = P(A)P(B)

et en général les événements A1,A2, . . . ,An sont indépendants si

P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n

i=1

P(Ai )

Exemple : On lance un dé deux fois

Les événements

A := “6 sort au premier lancer” et

B := “6 sort au deuxième lancer” sont independents


La Notion d’Indépendance

Définition

Deux événements A et B sont indépendants si

P(A ∩ B) = P(A)P(B)

et en général les événements A1,A2, . . . ,An sont indépendants si

P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n

i=1

P(Ai )

Exemple : On lance un dé deux fois

Qu’est-ce que l’on peut dire par rapport des deux événements A et CA := “6 sort au premier lancer”

C := “la somme des chiffres est égale à 10” ?


Formule de Probabilité Conditionelle

Probabilité de A, sachant B

La probabilité conditionnelle d’un événement A sachant un autre

événement B (tel que P(B) = 0) est définie par

P(A|B) := P(A ∩ B)

P(B)






P(A|B) := P(A ∩ B)

P(B)

Quelle est la probabilté que l’on sorts

une boule jaune sachant que l’on a

choisit l’urne bleue ?






P(A|B) := P(A ∩ B)

P(B)



Quelle est la probabilité d’avoir une

boule jaune ?






P(A|B) := P(A ∩ B)

P(B)



Quelle est la probabilité d’avoir une

boule jaune ? En fait a-priori on

préfère l’urne bleue !

ex. 60% bleu et 40% rouge


Théorème de Bayes

Exemple

Sachant qu’une boule jaune

est sortie, quelle est la

probabilité qu’elle vienne de

l’urne bleue ?

Théorème

Soient A1, . . . ,An des événements disjoints tels que P(Ai ) > 0, i = 1..n.Pour chaque événement B tel que P(B) > 0 on a,

P(Ai |B) =P(B |Ai )P(B)

P(B)=

P(B |Ai )P(B)ni=1 P(B |Ai )P(Ai )


La Variable Aléatoire

Une variable aléatoire est une fonction définie sur l’ensemble des résultats

possibles d’une expérience aléatoire.

Intuition

Imaginons que l’on veuille quantifier deux événements par X :

1 Il va pleuvoir demain ⇒ X = 1

2 Il ne va pas pleuvoir demain ⇒ X = 0

→ X peut être 0 ou 1 donc X est une variable

→ On ne sait pas s’il va vraiment pleuvoir ou pas donc X est aléatoire



Exemples

Lancer une pièce

Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"

⇒ X est une variable aléatoire qui

quantifie les résultats de cette expérience

Le chiffre qui apparait lorsqu’on lance un dé.

On lance une pièce 5 fois, la somme des fois que "face" apparait

⇒ X ∈ 0, 1, 2, 3, 4, 5



Exemples

Lancer une pièce

Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"

⇒ X est une variable aléatoire qui

quantifie les résultats de cette expérienceLe chiffre qui apparait lorsqu’on lance un dé.

On lance une pièce 5 fois, la somme des fois que "face" apparait

⇒ X ∈ 0, 1, 2, 3, 4, 5


Types des variables aléatoires

Discret

Les résultats sont dénombrables :

Le coté de la pièce qui sort lorsqu’on lance une pièce : X ∈ 0, 1Le chiffre qui apparait lorsqu’on lance un dé : X ∈ 1, 2, 3, 4, 5, 6Le nombre des arbres en France X ∈ 0, 1, 2, 3, . . . = Z

Continu

Les résultats sont indénombrables :

La quantité exacte de la pluie demain : X ∈ [0,∞)

La durée exacte d’un match de foot : X ∈ [0,∞)

Une valeur entre [0, 1]


La Notion de Distribution

La probabilité qu’il va pleuvoir

demain




demain à Lille ! ! !




demain

La quantité exacte de la pluie

égale 2cm




demain

La quantité exacte de la pluie est

entre 1.9 et 2.1cm



Pour les variables continue

Il faut connaître la fonction densité fX (de probabilité) telle que

FX (x) := P(X ≤ x) =

x

−∞fX (x)dx

FX est la fonction de réparition.


Les Moments d’une Variable Aléatoire

Espérance

E[X ] :=

x

xpX (x) si X est discret

E[X ] :=

xxfX (x)dx si X est continu

L’espérance d’une fonction g(X ) d’une Variable Aléatoire est défini par

E[X ] :=

x

g(x)pX (x) si X est discret

E[X ] :=

xg(x)fX (x)dx si X est continu


Les Moments d’une Variable Aléatoire

Variance

VAR[X ] :=E[(X − E[X ])2]

=E[X 2]− (E[X ])2

La variance est une mesure de dispersion de la variable aléatoire

autour de sa moyenne.

En général le moment centré d’ordre n de X est défini par

µn := E[(X − E[X ])n]


Les Relations entre Plusieurs Variables Aléatoires

Soient X et Y deux variables aléatoires.

X et Y sont indpendants si ∀A, B

P(X ∈ A,Y ∈ B) := fXY (A,B) = fX (A)fY (B)

Illustration

Independence & Conditional Independence

• Two variables are independent iff their joint factors:

p(x, y) = p(x)p(y)p(x,y)

=x

p(y)

p(x)

• Two variables are conditionally independent given a third one if forall values of the conditioning variable, the resulting slice factors:

p(x, y|z) = p(x|z)p(y|z) ∀z

Be Careful!

•Watch the context:e.g. Simpson’s paradox

•Define random variables and sample spaces carefully:e.g. Prisoner’s paradox

Entropy

•Measures the amount of ambiguity or uncertainty in a distribution:

H(p) = −

x

p(x) log p(x)

• Expected value of − log p(x) (a function which depends on p(x)!).

•H(p) > 0 unless only one possible outcomein which case H(p) = 0.

•Maximal value when p is uniform.

• Tells you the expected ”cost” if each event costs − log p(event)

Cross Entropy (KL Divergence)

• An assymetric measure of the distancebetween two distributions:

KL[pq] =

x

p(x)[log p(x)− log q(x)]

•KL > 0 unless p = q then KL = 0

• Tells you the extra cost if events were generated by p(x) butinstead of charging under p(x) you charged under q(x).



Soient X , Y deux variables aléatoires. La densité de la distribution

marginale de X est donnée par

fX (x) =

yfXY (x , y)dy (la marginale sur X )



Pour les trois variables aléatoires X , Y , et Z on a

fXY (x , y) =

zfXYZ (x , y , z)dz (la marginale sur (X ,Y ))

Illustration

Joint Probability

• Key concept: two or more random variables may interact.Thus, the probability of one taking on a certain value depends onwhich value(s) the others are taking.

•We call this a joint ensemble and writep(x, y) = prob(X = x and Y = y)

x

y

z

p(x,y,z)

Marginal Probabilities

•We can ”sum out” part of a joint distribution to get the marginaldistribution of a subset of variables:

p(x) =

y

p(x, y)

• This is like adding slices of the table together.

x

y

z

x

y

z!p(x,y)

• Another equivalent definition: p(x) =

y p(x|y)p(y).

Conditional Probability

• If we know that some event has occurred, it changes our beliefabout the probability of other events.

• This is like taking a ”slice” through the joint table.

p(x|y) = p(x, y)/p(y)

x

y

z

p(x,y|z)

Bayes’ Rule

•Manipulating the basic definition of conditional probability givesone of the most important formulas in probability theory:

p(x|y) = p(y|x)p(x)p(y)

=p(y|x)p(x)x! p(y|x!)p(x!)

• This gives us a way of ”reversing”conditional probabilities.

• Thus, all joint probabilities can be factored by selecting an orderingfor the random variables and using the ”chain rule”:

p(x, y, z, . . .) = p(x)p(y|x)p(z|x, y)p(. . . |x, y, z)



La Linéarité des Espérences

Soit X et Y deux variables aléatoires. ∀α,β ∈ R, on a

E[αX + βY ] = αE[X ] + βE[Y ]

E[n

i=1

aiXi ] =n

i=1

aiE[Xi ]



Soient X , Y et Z des variables aléatoires. Les densité des distributions

conditionnelles sont données par

fXY |Z (x , y |z) =fXYZ (x , y , z)

fZ (z)si fZ (z) > 0

fX |YZ (x |y , z) =fXYZ (x , y , z)

fY ,Z(y ,z)si fYZ (y , z) > 0

Illustration

Statistics

• Probability: inferring probabilistic quantities for data given fixedmodels (e.g. prob. of events, marginals, conditionals, etc).

• Statistics: inferring a model given fixed data observations(e.g. clustering, classification, regression).

•Many approaches to statistics:frequentist, Bayesian, decision theory, ...

Some (Conditional) Probability Functions

• Probability density functions p(x) (for continuous variables) orprobability mass functions p(x = k) (for discrete variables) tell ushow likely it is to get a particular value for a random variable(possibly conditioned on the values of some other variables.)

•We can consider various types of variables: binary/discrete(categorical), continuous, interval, and integer counts.

• For each type we’ll see some basic probability models which areparametrized families of distributions.

(Conditional) Probability Tables

• For discrete (categorical) quantities, the most basic parametrizationis the probability table which lists p(xi = kth value).

• Since PTs must be nonnegative and sum to 1, for k-ary variablesthere are k − 1 free parameters.

• If a discrete variable is conditioned on the values of some otherdiscrete variables we make one table for each possible setting of theparents: these are called conditional probability tables or CPTs.

x

y

z

p(x,y,z)

x

y

z

p(x,y|z)

Exponential Family

• For (continuous or discrete) random variable x

p(x|η) = h(x) expη!T (x)− A(η)

=1

Z(η)h(x) expη!T (x)

is an exponential family distribution withnatural parameter η.

• Function T (x) is a sufficient statistic.

• Function A(η) = logZ(η) is the log normalizer.

• Key idea: all you need to know about the data is captured in thesummarizing function T (x).


Inégalité de Markov

Soit X une variable aléatoires telle que X > 0. ∀a > 0 on a

P[X ≥ a] ≤ E[X ]

a

la preuve ?


Inégalité de Chebychev

Soit X une variable aléatoires. ∀a > 0 on a

P[|X − E[X ]| ≥ a] ≤ VAR(X )

a2

preuve ?


Loi des Grands Nombres

Soit X1,X2, . . . une séquence des variables i.i.d (indépendantes et

identiquement distribuées) avec une moyenne m et une variance finie σ2.

Supposons que l’on observe X1,X2, . . . ,Xn. On estime la moyenne

empirique comme Mn := 1n

ni=1 Xi . ∀ε > 0 on a

limn→∞

P(|Mn −m| ≥ ε) = 0

(la preuve est laissée comme devoir)


Quelque Distributions Utiles

Discret

Uniforme

Bernoulli avec le paramètre p

Géométrique avec le paramètre p

Binomiale avec les paramètres p et n

Poisson avec le paramètre λ

Continu

Uniforme sur [a, b]

Exponentiel avec le paramètre λ

Normale N (µ,σ2)


Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels...

Documents

Transcript of Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels...