I : Processus stochastiques : bruits, systèmes ;introduction et applications

MASTER OMEGA / ASTROOLIVIER J.J. MICHEL, LUAN, UMR6525-CNRS

1

Introduction

Opérateur Problèmes rencontrés

Signal (astro)physique : Bruit ’de signal’, fluctuations aléatoiresMilieu de propagation : fluctuations, perturbations, turbulence atmos...Capteurs : Bruits thermiques, psf, distorsions (A, φ, ν, linéarité)Acquisition, codage : Echantillonnage, quantification, codageDétection : Erreur de décision, de modèleEstimations : Variance des paramètres estimés

[ Erreurs systèmatiques (instruments)+

Fluctuations fondamentales (physique) ]⇒ Caractérisation, manipulation

Traitement statistique du signal

2

Conséquence(s)

Signal mesuré : x(t) = xs(t) + b(ωb, t), ωb ∈ Ωb

b(ωb, t) :

Bruit de fondBruit du récepteurSignal parasiteetc...

DE PLUSxs(t) est en général un processus aléatoire : xs(t) → xs(t, ω), ω ∈ Ω

Mesure : accès à x(ω0, t) ou {x(ωi, ti)},i = 0, . . . , N − 1, x ∈ IRnx(t)

def= EΩ[x(ω, t)] , xT

def= ET [x(ω, t)] =

1T

∫ T/2−T/2 x(ω, t + τ)dτ

Tout estimateur (mesure) de x prend la forme x + fluctuations(+biais)

3

Rapport Signal sur Bruit

Mesure de "qualité" des observations ou estimations : rapport valeurs efficacesdes contributions du signal et du bruit ;

Exemple : x(t) = xs(t) + b(t) (proc. stoch, on omet les références à ω)Hypothèse : xs et b sont des processus indépendants l’un de l’autre,

σ2 = σ2s + σ2b

"Mesure" de xs :

x̂s = ET [x(t)]− E[b(t)]

Si E[b] est connu, la variance de x̂s est en général de la forme B = ασ2, d’où

RSB2 =S

B

def=

x̂2sα(σ2s + σ

2b )

Exemple :4

RSB et temps d’intégration :exemple classique : bruit gaussien passe bande

x(t) = xs + b(t)

où b(t) est un processus gaussien, centré, de densité spectrale S(ν) ' cstepour ν ≤ νc, de fonction d’autocorrélation R(τ). xs est une constante incon-nue.Mesure :

x̂s =1

T

∫ T0

x(t)dt

On établira (laissé en exercice), si T >> ν−1c ,

σ2x̂s 'R(0)

2νcT

Conclusion : L’écart type du bruit, et par conséquent le RSB décroît en puis-sance 1/2 du temps d’observation (si le bruit est stationnaire !)

5

Transformation des processus stochastiques

Soit

y(t, ω)def= T [x(t, ω)]

N.B. : x(t, ω), y(t, ω) seront désormais notés simplement x(t), y(t)

x(t)−−−− T −−−−y(t)où T est une transformation déterministe, n’opérant que sur la variable tem-

porelle : ω n’est plus qu’un paramètre de l’entrée.

Conséquences :

[x(t, ω1) = x(t, ω2)] ⇒ [y(t, ω1) = y(t, ω2)]

T connu ⇒ y(t)|x totalement déterminé

Les statitiques de y sont "calculables" à partir des statistiques de x

6

Systèmes sans mémoire

y(t) = g(x(t))

à t = t0, y(t0) ne dépend que de x(t0), et non de x(t),t < t0.Soit

x(t)dist= fx(x, t)

alors

E[y(t)] =∫x

g(x)fx(x, t)dx

E[y(t1)y(t2)] =∫x1

∫x2

g(x(t1))g(x(t2))fx(x1, x2, t1, t2)dx1dx2

.....

7

Transformation de la densité :Soient k fonctions, gk(X) = yk, k = 1, . . . , N ], etX = [x1, . . . , xN ], Y = [y1, . . . , yN ], alors

Si le système gk(X) = yk,k = 1, . . . , N n’a qu’une solution unique, on a

fY(Y) =fX(X)|Jg(X)|

|Jg(X)| =

∣∣∣∣∣∣∣∣∣∂g1∂x1

. . . ∂g1∂xN. . . . . . . . .∂gN∂x1

. . . ∂gN∂xN

∣∣∣∣∣∣∣∣∣N.B. Si le système gk(X) = yk,k = 1, . . . , N a plusieurs solutions, fY s’ob-

tient en sommant les termes associés à chaque solution. (Exemple simpleavec y = x2)

Conséquence : conservation de la stationnarité

Soit à nouveau y(t) = g(x(t)), (g est supposée strictement monotone) :

fy(y1, . . . , yN , t1, . . . , tN) =fx(x1, . . . , xN , t1, . . . , tN)∣∣∣πNi=1g′(xi)∣∣∣

d’où :Si x est stationnaire au sens strict (fx es invariant par translation de l’originede t), alors y est stationnaire au sens strict.

ATTENTION : Si x est stationnaire au sens large (moyenne et variance), yn’hérite pas forcément de ces propriétés.

Systèmes linéaires

y(t) = L[x(t)]

L[αx1(t) + βx2(t)] = αL[x1(t)] + βL[x2(t)]

Rq : α et β peuvent aussi être des variables aléatoires.Forme générale des opérateurs linéaires : intégrale de Fredholm

y(t) =∫

h(t, u)x(u)du

+ invariance par translation de l’origine du temps : FILTRE

y(t) =∫

h(t− u)x(u)du = (h ? x)(t)

De plus

h(t) = L[δ(t)] = (h ? δ)(t)

8

Conséquences :Transformation de la moyenne

E[L[x(t)]] = L[E[x(t)]] E[y(t)] = E[x(t)] ? h(t)

Autocorrélation en sortie du filtre (formule des interférences)

Rxy(t1, t2) =∫

Rxx(t1, t2 − α)h(α)dαRyy(t1, t2) =

∫Rxy(t1 − α, t2)h(α)dα

Exemple : y(t) = dx(t)dt il vient

Rxy(t, t′) = ddtRxx(t, t′)

Ryy(t, t′) = ddt′Rxy(t, t′) = d

2

dtdt′Rxx(t, t′)

si x est stationnaire :

E[x(t)] = mx, Rxx(t, t′) = Rxx(t− t′)

⇒ Ryy(τ) = −d2

dτ2Rxx(τ)

Cas stationnaire : formule des interférences,expression fréquentielle

x(t)−−−− Rep. Imp. h −−−−y(t)

Soit un processus stationnaire quelconque z(t) (tel que les quantités sui-vantes existent) ; on établit :

Rzy(τ) = [h∗(−t) ? Rzx](τ)Ryz(τ) = [h ? Rxz](τ)Ryy(τ) = [h(t) ? h∗(−t) ? Rxx](τ)

D’où, si Sxx(ν) existe :

Sxy(ν) = H∗(ν)Sxx(ν)Syx(ν) = H(ν)Sxx(ν)Syy(ν) = |H(ν)|2Sxx(ν)

9

Exemple : Corrélation d’un bruit blanc filtré

Rxx(τ) = σ2δ(τ)

donc

Sxx(ν) = σ2, Syy = |H(ν)|2Sxx(ν)

Ryy(τ) =∫ν

σ2|H(ν)|2ej2πντdν = σ2[h(t) ? h∗(−t)](τ)

Ryy(τ) =∫u

σ2h(u)h∗(u− τ)du

et en particulier (Th. de Parseval)

E[|y(t)|2] = Ryy(0) =∫ν σ

2|H(ν)|2dν=

∫u σ

2h(u)h∗(u)du =∫u σ

2|h(u)|2du

10

Considérons un filtre passif RC, excité en bruit blanc (S(ν) = σ2 :Sa fonction de transfert de Laplace (variable s) :

H(s) =1

1 + RCs, Re(s) >

−1RC

c’est la TL de h(t) = 1RCe− tRCU(t) ; il vient donc :

|H(ν)|2 =1

1 + 4π2R2C2ν2

d’où

Ryy(τ) =σ2

2RCe−

|τ |RC , Ryy(0) =

σ2

2RC

Signification : Au bruit blanc d’entrée, correspond une sortie de "rayon de corrélation"τ0 = RC (cste de temps du circuit) ; l’encombrement spectral de la sortie est ∆f = 1πRC .

Un bruit blanc est produit par une source de bruit idéale (non physique) ; mais résultat précé-

dent inchangé si x est un bruit de largeur spectrale >> ∆f .

Linéarité et normalité

Propriété 1 : Si N v.a. (Xi, i = 1, . . . , N ) suivent une loi normale conjointe àN dimensions, alors

Yk =N∑

i=1

akiXi, k = 1, . . . , P

sont P v.a. normales ayant une loi ocnjoint normale à P dimensions.Propriété 2 : Si quels que soient a1, . . . , aN ,

Y =N∑

i=1

Xi

est normale, alors l’ensemble X1, . . . , XN est normal.Propriété 3 : Si une suite de v.a. converge en moyenne quadratique vers une

v.a. X, alors X est normale.P1+P2+P3 ⇒ Si l’entrée X d’un filtre est normale, alors sa sortie Y est normalela pdf de Y est alors parfaitement caractérisée par ses deux premiers moments

11

Exemple : Mouvement Brownien

On considère une particule dans un fluide, soumise à des collisions avec sesvoisins, et à un champs de force extérieur.

m..x +ξ

.x +cx = F (t) c > 0

où ξ.x' frottement visqueux, cx ' terme de rappel, F (t) ' forces dues aux

collisions.F (t) est un bruit blanc normal, de densité spectrale SF (ω) = 2kTξ , donc

Sxx(ω) =2kTξ

(c−mω2)2 + ξ2ω2

et

Rxx =kT

ce−α|τ |

(cosβτ +

α

βsinβ|τ |

)

x(t0) est une V.A. gaussienne de moyenne nulle et de variance σ2 = Rxx(0) =kTc .

fx(x)d=√

c

2πkTe−

cx22kT

12

On établit (estimation Bayesienne) que la fdp conditionnelle (normale) dex(t)|(x(t0) = x0) a pour moyenne

mx|x0 = x0Rxx(τ)

Rxx(0)

et

σ2x|x0 = Rxx(0)(1−(

Rxx(τ)

Rxx(0)

)2)

(Ce résultat est général pour les processus gaussiens).

Cas c = 0 : diffusionLa densité spectrale de la vitesse v =

.x s’obtient facilement (Equation de Lan-

gevin)

m.v (t) + ξv(t) = F (t)

Sv(ω) =2kTξ

m2ω2 + ξ2, Rv(τ) =

kT

me−

ξτm

et

fv(v) =√

m

2πkTe−

mv22kT

et x(t) =∫ t0 v(u)du conduit à

E[x2(t)] =kT

m

∫ t0

∫ t0

e−ξ|s−u|/mduds =2kT

ξ

(t−

m

ξ(e−ξt/m − 1)

)Le processus x est non stationnaire et aux temps longs (t >> m/ξ), on

retrouve la constante de diffusion D

E[x2(t)] =2kT

ξt = 2D2t, D2 =

kT

m

Processus de Wiener : (c = 0, ξ >> m/t, -on néglige l’inertie de la particule-)

ξ.x= F (t), x(t) =

1

ξ

∫ t0

F (u)du

d’après les résultats précédents, on obtient le processus non stationnaire sui-vant (c.i. nulles) :

E[x2(t)] =2kT

ξt = 2D2t = at

fx(x) =1√2πat

e−x22at

F (t) étant un processus de bruit blanc, les incréments de x(t) sont indépen-dants (décorrélés suffit, car x est normal) : si t2 > t1,

Rxx(t1, t2) = E[x(t1){(x(t2)− x(t1)) + x(t1)}] = E[x2(t1)]

d’où

Rxx(t1, t2) = amin(t1, t2)

13

Remarque, sur le processus de Wiener (t > t0) :

mx|x0 = x0Rxx(τ)

Rxx(0)= 1

σ2x|x0 = Rxx(0)

1− (Rxx(τ)Rxx(0)

)2 = a(t− t0)

fx(x(t)|x(t0) = x0) =1√

2πa(t− t0)e−(x−x0)

2

2a(t−t0) = P (x, x0, t, t0)

qui vériifie l’équation de diffusion

∂P∂t = D

2∂2P∂x2

14

Processus de Poisson et processus dérivés

On considère l’expérience aléatoire de Bernoulli de paramètre p, définie surΩ = {ω0, ω1}

Pr(ω0) = p, Pr(ω1) = q = 1− p

Le comptage des réalisations de ωi pour N expériencesindépendantes conduit à la loi binômiale B(N, k)

PB(k) = CkNp

kqN−k

de fonction génératrice des moments

G(u) = EB[euk] = (eup + q)N , log(G(u)) = N log(1 + p(1− eu))

Imaginons p → 0, N →∞, Np = α, alors

limNp=α

log(G(u)) = Np(eu − 1) = α(eu − 1)

d’où la fonction caractéristique limite obtenue

GP (u) = eα(eu−1) = EP [e

uk]15

où PP (k) est la distribution de probabilité de Poisson, de paramètre α :

PP (k) = e−αα

k

k!

Evénements Poissonniensdef= : le nombre moyen de réalisations pendant τ

est donné par nτ = λτ .On introduit alors le Processus de Poisson XP (t) défini par le nombre d’évé-nements réalisés sur [0, t] ; sa fonction de densité de probabilité est alors

f(X, t) =∑k

e−λt(λt)k

k!δ(X − k)

PropriétésE[X(t2)−X(t1)] = λ(t2 − t1)E[(X(t2)−X(t1))2] = λ(t2 − t1) + λ2(t2 − t1)2

Si t4 > t3 > t2 > t1E[(X(t2)−X(t1))(X(t4)−X(t3))] = λ2(t2 − t1)(t4 − t3)Si t4 > t2 > t3 > t1E[(X(t2)−X(t1))(X(t4)−X(t3))] = λ2(t2− t1)(t4− t3)+ λ(t2− t3)

Accroissements poissonniensOn définit à partir du processus poissonnien X(t) le processus

Yε(t)def=

1

ε[X(t + ε)−X(t)]

A partir des propriétés de X(t) (page précédente), on établit

Ry(t1, t2) =

{λ2 si t2 > t1 + ελ2 + λε − λ

t2−t1ε2

si t1 + ε ≥ t2Impulsions de Poisson

On considére le processus Z(t) =∑

i δ(t− ti) ; c’est la réponse d’un comp-teur idéal.

Z(t) = limε→0

Yε(t)

donc E[Z(t)] = λ et Rz(t1, t2) = λ2 + λδ(t2 − t1)

16

Shot NoiseSoit un ensemble de points {ti} distribués selon une loi de Poisson, et leprocessus s(t)

S(t) =∑i

h(t− ti) = (h ? Z)(t)

où h(t) est la réponse impulsionnelle d’un filtre (causal et stable en général)et Z(t) est le processus d’impulsions de Poisson.D’après les résultats précédents, on a

E[S(t)] = H(0)E[Z(t)] = H(0)λ et Sss(ν) = |H(ν)|2(λ2δ(ν) + λ)

et donc, puisque |H(ν)|2δ(ν) = H(0)2δ(ν),

Rzz(τ) = TF−1[Sss(ν)] = λ2H2(0) + λρ(τ)

finalement (Th. de Campbell) :

ms = λ∫ ∞−∞

h(t)dt et σ2s = λρ(0) = λ∫ ∞−∞

h2(t)dt

17

ExempleSoit h(t) = e−αtU(t) et S(t) = [h ? Z](t) alors

H(ν) =1

α + j2πν

ms =λ

ασ2s =

λ

2α

Sss(ν) =λ2

α2δ(ν) +

λ

α2 + 4π2ν2

Css(τ) =λ

2αe−α|τ |

18

Exemple de processus stochastique continu : étude du ’speckle’ (tavelures)Soit n(~r, t) = n(~x, z, t) l’indice de réfraction au point ~r à la date t : c’est unprocessus stochastique, supposé ergodique et stationnaire (hypothèse bru-tale !), de temps de corrélation τc >> λc : une observation sur δt

La moyenne spatiale de φz(~x) est nulle, et si ~x >> L (grande échelle de laturbulence, ’échelle externe’) alors on considère que la distribution spatiale deφz est gaussienne.Rappel : Fonction caractéristique de la distribution gaussienne∫ ∞

−∞

e−jux√2πσ

e−(x−m)

2

2σ2 dx = ejume−u2σ2

2

d’où, φz étant à distribution gaussienne

E[e−j(φz(~x−~ξ)−φz(~x))] = e−

12E[|φz(~x−~ξ)−φz(~x)|

2] = e−12Sφz(

~ξ)

Sφz(~ξ) est la fonction de structure de la phase. Par stationnarité (spatiale, par

rapport à ~x), on a

Sφz(~ξ) = 2E[|φz(~ξ)|2]− 2E[φz(~x− ~ξ)φz(~x)]

Soit, en utilisant l’expression de φz(~x) (page précédente), et la stationnaritéde n(~x, z, t) (par rapport à ~x, z),

E[φz(~x− ~ξ)φz(~x)] = k2∫ z+∆zz

∫ z+∆zz E[n(~x− ~ξ, h)n(~x, u)]dudh

. . . (θ = h− u)= k2

∫ z+∆zz

∫ z+∆zz E[n(~x− ~ξ, z − θ)n(~x, z)]dθdh

finalement

E[φz(~x− ~ξ)φz(~x)] = k2∆z∫ z+∆zz E[n(~x− ~ξ, z − θ)n(~x, z)]dθ

E[|φz(~ξ)|2] = E[|φz(~0)|2] = k2∆z∫ z+∆zz E[n(~0, z − θ)n(~0, z)]dθ

etSφz(

~ξ) = 2k2∆z∫ z+∆zz [Rn(

~ξ, θ)−Rn(~0, θ)]dθor, si n(~x, z) est stationnaire dans le plan z = cste, on établit

2[Rn(~ξ, θ)−Rn(~0, θ)] = [Sn(~ξ, θ)− Sn(~0, θ)]

Sφz(~ξ) = k2∆z

∫ z+∆zz [Sn(

~ξ, θ)− Sn(~0, θ)]dθ

Ot d’après les hypothèses de Kolmogorov et Obukhov,

Sn(~r) = C2n|~r|2/3 ~r = (~x, z)

Après intégration, on obtient (voir Roddier 81, Borgnino 2004), en notant queRΨz est invariant par diffraction de Fresnel,

RΨz(~x) = RΨz=0(~x) = e−12Sφz(~x) = e−

122.91k

2C2n∆z|~x|5/3

D’où on déduit la fonction de transfert du filtre spatial lié à la présence deturbulence à l’altitude z, par TF inverse...

Cas des systèmes discrets! ! ! on ne considère ici que des échantillonnages à pas constant ! ! ! !On note x(n) ou xn la série numérique discrète ; si x(n) vient d’un processusd’échantillonnage alors

x(n)def= x(nTe),

1

Te> ∆ν

où ∆ν est la largeur du support spectral de x(t).RappelsLa TF de x(n) est continue, périodique, de période Fe = 1/Te ; par ’défaut’,Te = 1 :

X(ν) =∑

n x(n)e−2jπνn

x(n) =∫ 1/2−1/2 X(ν)e

+2jπνn

On considère désormais N échantillons ; Le spectre échantillonné à pas fré-quentiel ∆ν = FeN , permet d’introduire la TF discrète : La TF de x(n) estcontinue, périodique, de période Fe = 1/Te ; par ’défaut’, Te = 1 :

X(k)def= X(kFeN ) =

∑N−1n=0 x(n)e

−2jπknN

x(n) = 1N∑N−1

k=0 X(k)e+2jπknN

20

Autocorrélation : Rxx(n1, n2) = E[x(n1)x∗(n2)]Stationnarité d’ordre 2 : Rxx(n1, n2) = Rxx(n1 − n2)Processus discret, blanc : Rxx(n1, n2) = g(n1)δ(n1 − n2)où δ(n) = 1 sin = 0 et δ(n) = 0 sin 6= 0Transformée de Laplace échantillonnée et Transformée en z :

∫x(t)

∑n

δ(t− nTe)e−ptdt =∑n

x(n)e−pnTe

On pose alors z = epTe ⇒ (Bande de CV en p) → (Anneau de CV en z)d’où X(z) =

∑n x(n)z

−n et X(ν) = X(z = ej2πν)si {z/|z| = 1} appartient à l’anneau de CV.Filtre discret :

y(n) =∑

k h(n− k)x(k) = [x ? h](n)Y (z) = H(z)X(z)

Les propriétés vues dans le cas des signaux continus se généralisent alorssans difficulté :Ryy(m) = Rxx(m) ? [

∑k h(m + k)h

∗(k)]Densité spectrale de puissance du processus discret x :Sxx(z) =

∑n Rxx(n)z

−n

et si {z/|z| = 1} appartient à l’anneau de CV de S(z) :

Sxx(ν) = Sxx(z = ej2πν) =∑

n Rxx(n)e−j2πνn

R(n) =∫ 1/2−1/2 Sxx(ν)e

j2πνn

Formule des interférences :Si h(n) ∈ IR, H∗(ej2πν) = H(e−j2πν) alors pour |z| = 1 :

Syy(z) = H(z)H(1

z)Sxx(z)