Post on 26-Jun-2020
Rappels de Probabilités et de Statistiques
Reconnaissance des Formes (Semaine V)
Université de Lille, France
13/02/2013
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 1
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
Les éléments d’un Modèle Probabiliste
La Loi de Probabilité
est une fonction sur l’ensemble des événements Ω qui donne une valeur
réelle et non-negative à chaque événement A ∈ Ω
Axiomes des Probabilités
P(A) ≥ 0
P(Ω) = 1
Pour des événements A1, . . . ,An tels que
∀i = j ∈ 1..n, P(Ai ∩ Aj) = 0 on a
P(A1 ∪ A2 ∪ · · · ∪ An) =n
i=1
P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 4
Comment Calculer la Probabilité ?
La Vision Fréquentiste
La probabilité d’un événement est
la limite de la proportion de fois que se produit cet événement
lorsque le nombre de fois qu’on répète l’expérience tend vers
l’infini.
Soit N le nombre de fois que l’on répète une expérience.
ex. L’expérience est "lancer une pièce"
Soit NE le nombre de fois que se produit l’événement E .
ex. E = On a "face"
On définit la probabilité de E comme
limN→∞
NE
N
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 5
La Notion d’Indépendance
Définition
Deux événements A et B sont indépendants si
P(A ∩ B) = P(A)P(B)
et en général les événements A1,A2, . . . ,An sont indépendants si
P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n
i=1
P(Ai )
Exemple : On lance un dé deux fois
Les événements
A := “6 sort au premier lancer” et
B := “6 sort au deuxième lancer” sont independents
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 6
La Notion d’Indépendance
Définition
Deux événements A et B sont indépendants si
P(A ∩ B) = P(A)P(B)
et en général les événements A1,A2, . . . ,An sont indépendants si
P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n
i=1
P(Ai )
Exemple : On lance un dé deux fois
Qu’est-ce que l’on peut dire par rapport des deux événements A et CA := “6 sort au premier lancer”
C := “la somme des chiffres est égale à 10” ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 6
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
Quelle est la probabilté que l’on sorts
une boule jaune sachant que l’on a
choisit l’urne bleue ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Quelle est la probabilité d’avoir une
boule jaune ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Quelle est la probabilité d’avoir une
boule jaune ? En fait a-priori on
préfère l’urne bleue !
ex. 60% bleu et 40% rouge
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
Théorème de Bayes
Exemple
Sachant qu’une boule jaune
est sortie, quelle est la
probabilité qu’elle vienne de
l’urne bleue ?
Théorème
Soient A1, . . . ,An des événements disjoints tels que P(Ai ) > 0, i = 1..n.Pour chaque événement B tel que P(B) > 0 on a,
P(Ai |B) =P(B |Ai )P(B)
P(B)=
P(B |Ai )P(B)ni=1 P(B |Ai )P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 8
Théorème de Bayes
Exemple
Sachant qu’une boule jaune
est sortie, quelle est la
probabilité qu’elle vienne de
l’urne bleue ?
Théorème
Soient A1, . . . ,An des événements disjoints tels que P(Ai ) > 0, i = 1..n.Pour chaque événement B tel que P(B) > 0 on a,
P(Ai |B) =P(B |Ai )P(B)
P(B)=
P(B |Ai )P(B)ni=1 P(B |Ai )P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 8
La Variable Aléatoire
Une variable aléatoire est une fonction définie sur l’ensemble des résultats
possibles d’une expérience aléatoire.
Intuition
Imaginons que l’on veuille quantifier deux événements par X :
1 Il va pleuvoir demain ⇒ X = 1
2 Il ne va pas pleuvoir demain ⇒ X = 0
→ X peut être 0 ou 1 donc X est une variable
→ On ne sait pas s’il va vraiment pleuvoir ou pas donc X est aléatoire
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 9
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérience
Le chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérienceLe chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérienceLe chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
Types des variables aléatoires
Discret
Les résultats sont dénombrables :
Le coté de la pièce qui sort lorsqu’on lance une pièce : X ∈ 0, 1Le chiffre qui apparait lorsqu’on lance un dé : X ∈ 1, 2, 3, 4, 5, 6Le nombre des arbres en France X ∈ 0, 1, 2, 3, . . . = Z
Continu
Les résultats sont indénombrables :
La quantité exacte de la pluie demain : X ∈ [0,∞)
La durée exacte d’un match de foot : X ∈ [0,∞)
Une valeur entre [0, 1]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 11
Types des variables aléatoires
Discret
Les résultats sont dénombrables :
Le coté de la pièce qui sort lorsqu’on lance une pièce : X ∈ 0, 1Le chiffre qui apparait lorsqu’on lance un dé : X ∈ 1, 2, 3, 4, 5, 6Le nombre des arbres en France X ∈ 0, 1, 2, 3, . . . = Z
Continu
Les résultats sont indénombrables :
La quantité exacte de la pluie demain : X ∈ [0,∞)
La durée exacte d’un match de foot : X ∈ [0,∞)
Une valeur entre [0, 1]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 11
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain à Lille ! ! !
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
La quantité exacte de la pluie
égale 2cm
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
La quantité exacte de la pluie est
entre 1.9 et 2.1cm
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
La Notion de Distribution
Pour les variables continue
Il faut connaître la fonction densité fX (de probabilité) telle que
FX (x) := P(X ≤ x) =
x
−∞fX (x)dx
FX est la fonction de réparition.
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 13
Les Moments d’une Variable Aléatoire
Espérance
E[X ] :=
x
xpX (x) si X est discret
E[X ] :=
xxfX (x)dx si X est continu
L’espérance d’une fonction g(X ) d’une Variable Aléatoire est défini par
E[X ] :=
x
g(x)pX (x) si X est discret
E[X ] :=
xg(x)fX (x)dx si X est continu
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 14
Les Moments d’une Variable Aléatoire
Variance
VAR[X ] :=E[(X − E[X ])2]
=E[X 2]− (E[X ])2
La variance est une mesure de dispersion de la variable aléatoire
autour de sa moyenne.
En général le moment centré d’ordre n de X est défini par
µn := E[(X − E[X ])n]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 15
Les Relations entre Plusieurs Variables Aléatoires
Soient X et Y deux variables aléatoires.
X et Y sont indpendants si ∀A, B
P(X ∈ A,Y ∈ B) := fXY (A,B) = fX (A)fY (B)
Illustration
Independence & Conditional Independence
• Two variables are independent iff their joint factors:
p(x, y) = p(x)p(y)p(x,y)
=x
p(y)
p(x)
• Two variables are conditionally independent given a third one if forall values of the conditioning variable, the resulting slice factors:
p(x, y|z) = p(x|z)p(y|z) ∀z
Be Careful!
•Watch the context:e.g. Simpson’s paradox
•Define random variables and sample spaces carefully:e.g. Prisoner’s paradox
Entropy
•Measures the amount of ambiguity or uncertainty in a distribution:
H(p) = −
x
p(x) log p(x)
• Expected value of − log p(x) (a function which depends on p(x)!).
•H(p) > 0 unless only one possible outcomein which case H(p) = 0.
•Maximal value when p is uniform.
• Tells you the expected ”cost” if each event costs − log p(event)
Cross Entropy (KL Divergence)
• An assymetric measure of the distancebetween two distributions:
KL[pq] =
x
p(x)[log p(x)− log q(x)]
•KL > 0 unless p = q then KL = 0
• Tells you the extra cost if events were generated by p(x) butinstead of charging under p(x) you charged under q(x).
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 16
Les Relations entre Plusieurs Variables Aléatoires
Soient X , Y deux variables aléatoires. La densité de la distribution
marginale de X est donnée par
fX (x) =
yfXY (x , y)dy (la marginale sur X )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 17
Les Relations entre Plusieurs Variables Aléatoires
Pour les trois variables aléatoires X , Y , et Z on a
fXY (x , y) =
zfXYZ (x , y , z)dz (la marginale sur (X ,Y ))
Illustration
Joint Probability
• Key concept: two or more random variables may interact.Thus, the probability of one taking on a certain value depends onwhich value(s) the others are taking.
•We call this a joint ensemble and writep(x, y) = prob(X = x and Y = y)
x
y
z
p(x,y,z)
Marginal Probabilities
•We can ”sum out” part of a joint distribution to get the marginaldistribution of a subset of variables:
p(x) =
y
p(x, y)
• This is like adding slices of the table together.
x
y
z
x
y
z!p(x,y)
• Another equivalent definition: p(x) =
y p(x|y)p(y).
Conditional Probability
• If we know that some event has occurred, it changes our beliefabout the probability of other events.
• This is like taking a ”slice” through the joint table.
p(x|y) = p(x, y)/p(y)
x
y
z
p(x,y|z)
Bayes’ Rule
•Manipulating the basic definition of conditional probability givesone of the most important formulas in probability theory:
p(x|y) = p(y|x)p(x)p(y)
=p(y|x)p(x)x! p(y|x!)p(x!)
• This gives us a way of ”reversing”conditional probabilities.
• Thus, all joint probabilities can be factored by selecting an orderingfor the random variables and using the ”chain rule”:
p(x, y, z, . . .) = p(x)p(y|x)p(z|x, y)p(. . . |x, y, z)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 18
Les Relations entre Plusieurs Variables Aléatoires
La Linéarité des Espérences
Soit X et Y deux variables aléatoires. ∀α,β ∈ R, on a
E[αX + βY ] = αE[X ] + βE[Y ]
E[n
i=1
aiXi ] =n
i=1
aiE[Xi ]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 19
Les Relations entre Plusieurs Variables Aléatoires
Soient X , Y et Z des variables aléatoires. Les densité des distributions
conditionnelles sont données par
fXY |Z (x , y |z) =fXYZ (x , y , z)
fZ (z)si fZ (z) > 0
fX |YZ (x |y , z) =fXYZ (x , y , z)
fY ,Z(y ,z)si fYZ (y , z) > 0
Illustration
Statistics
• Probability: inferring probabilistic quantities for data given fixedmodels (e.g. prob. of events, marginals, conditionals, etc).
• Statistics: inferring a model given fixed data observations(e.g. clustering, classification, regression).
•Many approaches to statistics:frequentist, Bayesian, decision theory, ...
Some (Conditional) Probability Functions
• Probability density functions p(x) (for continuous variables) orprobability mass functions p(x = k) (for discrete variables) tell ushow likely it is to get a particular value for a random variable(possibly conditioned on the values of some other variables.)
•We can consider various types of variables: binary/discrete(categorical), continuous, interval, and integer counts.
• For each type we’ll see some basic probability models which areparametrized families of distributions.
(Conditional) Probability Tables
• For discrete (categorical) quantities, the most basic parametrizationis the probability table which lists p(xi = kth value).
• Since PTs must be nonnegative and sum to 1, for k-ary variablesthere are k − 1 free parameters.
• If a discrete variable is conditioned on the values of some otherdiscrete variables we make one table for each possible setting of theparents: these are called conditional probability tables or CPTs.
x
y
z
p(x,y,z)
x
y
z
p(x,y|z)
Exponential Family
• For (continuous or discrete) random variable x
p(x|η) = h(x) expη!T (x)− A(η)
=1
Z(η)h(x) expη!T (x)
is an exponential family distribution withnatural parameter η.
• Function T (x) is a sufficient statistic.
• Function A(η) = logZ(η) is the log normalizer.
• Key idea: all you need to know about the data is captured in thesummarizing function T (x).
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 20
Inégalité de Markov
Soit X une variable aléatoires telle que X > 0. ∀a > 0 on a
P[X ≥ a] ≤ E[X ]
a
la preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 21
Inégalité de Markov
Soit X une variable aléatoires telle que X > 0. ∀a > 0 on a
P[X ≥ a] ≤ E[X ]
a
la preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 21
Inégalité de Chebychev
Soit X une variable aléatoires. ∀a > 0 on a
P[|X − E[X ]| ≥ a] ≤ VAR(X )
a2
preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 22
Loi des Grands Nombres
Soit X1,X2, . . . une séquence des variables i.i.d (indépendantes et
identiquement distribuées) avec une moyenne m et une variance finie σ2.
Supposons que l’on observe X1,X2, . . . ,Xn. On estime la moyenne
empirique comme Mn := 1n
ni=1 Xi . ∀ε > 0 on a
limn→∞
P(|Mn −m| ≥ ε) = 0
(la preuve est laissée comme devoir)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 23
Quelque Distributions Utiles
Discret
Uniforme
Bernoulli avec le paramètre p
Géométrique avec le paramètre p
Binomiale avec les paramètres p et n
Poisson avec le paramètre λ
Continu
Uniforme sur [a, b]
Exponentiel avec le paramètre λ
Normale N (µ,σ2)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 24