Cap1-Probabilidad II P

22
σ σ

description

estadistica

Transcript of Cap1-Probabilidad II P

Page 1: Cap1-Probabilidad II P

Introducción a la Teoría de Probabilidades

Carlos Almeida

Universidad de las Fuerzas Armadas - ESPE

Beca Prometeo

13 de enero de 2014

Índice

1. Introducción 1

2. Espacio de Probabilidad y Elementos aleatorios 2

2.1. σ-álgebras (tribu o σ-campos) y medidas . . . . . . . . . . . . 22.2. Funciones medibles y distribuciones . . . . . . . . . . . . . . . 4

3. Integración y Diferenciación 6

3.1. Integración . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.2. Derivada de Radon-Nikodym . . . . . . . . . . . . . . . . . . . 10

4. Distribuciones y sus características 11

5. Esperanza Condicional 14

6. Resultados Asintóticos 17

6.1. Modos de convergencia . . . . . . . . . . . . . . . . . . . . . . 176.2. Convergencia de transformaciones . . . . . . . . . . . . . . . . 196.3. La(s) ley(es) de los grandes números . . . . . . . . . . . . . . 206.4. El teorema central de límite . . . . . . . . . . . . . . . . . . . 22

1. Introducción

Estas notas de curso son basadas en el capítulo 1 del libro: MathematicalStatistics de Jun Shao, 1998, Springer.

Este libro es la base del curso de estadística matemática de la Universityof Wisconsing-Madison y está pensado para un curso de 30 semanas a razón

1

Page 2: Cap1-Probabilidad II P

de tres horas de clases más dos horas de discusión por semana de clases. Sepresupone buen conocimiento de análisis.

2. Espacio de Probabilidad y Elementos alea-torios

Experimento aleatorio: El resultado no puede ser predecido con certezaAxiomatización: A. N. Kolmogorov (1933), pero existen antecedentes, La-

place, Moivre, Markov.

2.1. σ-álgebras (tribu o σ-campos) y medidas

Ω: Elementos de interés, contiene todos los resultados posibles (Probabili-dad), espacio de muestras (Estadística)

Ejemplo: un conjunto de números, un subintervalo de la recta real, etc

2Ω: Conjunto de todos los subconjuntos de Ω

Denición 1. Sea F una colección de subconjuntos de Ω, F es una σ-álgebrasi:

1. ∅ ∈ F

2. Si A ∈ F , entonces AC ∈ F

3. Si Ai ∈ F , i = 1,2,. . . , entonces la unión ∪Ai ∈ F

Observaciones:

(Ω,F) : Espacio medible

A ∈ F : conjunto medible (eventos)

∩Ai ∈ F

∅,Ω y 2Ω son σ-álgebras

A ⊂ Ω tal que A 6= ∅ y A 6= Ω, ∅, A,AC ,Ω es σ-álgebra (la máspequeña que contiene A)

Sea σ(C) una colección de subconjuntos de Ω, la más pequeña σ-álgebraque contiene C, i.e.:

σ(C) =⋂B∈M

B, M = B : C ⊂ B, y B es una σ-álgebra

2

Page 3: Cap1-Probabilidad II P

Sea O el conjunto de abiertos de R, a la σ-álgebra generada por O sellama Conjuntos de Borel o Borelianos

Denición 2. Sea (Ω,F) un espacio medible, A una función ν denida enF se llama medida si:

1. 0 ≤ ν(A) ≤ ∞ para cualquier A ∈ F

2. ν(∅) = 0

3. Si Ai ∈ F , i = 1,2,. . . , y los Ai's son disjuntos (i.e. Ai ∩ Aj = ∅ sii 6= j), entonces

ν

(∞⋃i=1

Ai

)=∞∑i=1

ν(Ai)

Observaciones:

(Ω,F , ν) : Espacio medido,

Si existe una sucesión A1 ⊂ A2 ⊂ . . . tal que lımAn = Ω y para todon, ν(An) <∞ se dice que la medida es σ-nita

Si ν(Ω) = 1, probabilidad y usualmente ν = P (o Q), (Ω,F , P ) sellamara espacio probabilizado

Ejemplos: Medida de conteo, medida de Lebesgue

Proposición 1. Sea (Ω,F , ν) un espacio medible

1. (Monotinicidad) Si ⊂ B, entonces ν(A) ≤ ν(B)

2. (Subaditividad) Para qualquier secuencia A1, A2, . . .

ν

(∞⋃i=1

Ai

)≤

∞∑i=1

ν(Ai)

3. (Continuidad) Si A1 ⊂ A2 ⊂ . . . (o A1 ⊃ A2 ⊃ . . . y ν(A1) < ∞),entonces

ν( lımn→∞

An) = lımn→∞

ν(An)

donde:

lımn→∞

An =n⋃

i=1

Ai

(o lım

n→∞An =

n⋂i=1

)

3

Page 4: Cap1-Probabilidad II P

Proposición 2. En un espacio probabilizado (Ω,F , P ),

1. Sea F (x) := P ((−∞, x]) la función de probabilidad acumulada, enton-ces:

F (−∞) = lımx→−∞ F (x) = 0

F (∞) = lımx→∞ F (x) = 1

F no es decreciente, i.e. F (x) ≤ F (y)) si x < y

F es continua por la derecha, i.e lımy→x,y>x F (x) = F (y)

2. Si una función F sobre R satisface las cuatro propiedades de la parte 1entonces es la c.d.f. de una única medida de probabilidad sobre (R,B)

En la caso multidimensional, se dene el espacio medible producto y lamedida producto, para el caso de la σ-álgebra producto se dene como lagenerada por el producto cartesiano de las σ-álgebras, y la medida productoestá justicada el la proposición:

Ejemplo: medida de Lebesgue en (Rk,Bk)El concepto de c.d.f. se extiende a Rk y es denida por:

2.2. Funciones medibles y distribuciones

Considere una función (aplicación) f de Ω sobre un espacio más simpleΛ (usualmente Rk). Sea B ⊂ Λ, la imagen inversa de f se dena por:

La función inversa no necesita estar denida, y tenemos las siguientespropiedades:

4

Page 5: Cap1-Probabilidad II P

Con esto se tiene la siguiente denición de función medible:

Si Λ = R y G = B (σ-álgebra de Borel), entonce se dice Borel medible oBorel función

Ejemplos:

función indicatriz

funciones simples

Una proposición importante:

5

Page 6: Cap1-Probabilidad II P

Observación: Es difícil de encontrar funciones que no sean Borel

Sea (Ω,F , ν) un espacio medible f una función medible de (Ω,F) a (Λ,G),la medida inducida por f es la medida en G denida por:

La medida imagen, cuando se trata de una probabilidad (P X−1) esllamada ley de la distribución de X y usualmente es denotada por PX . y suc.d.f. por FX .

Ejemplos:

c.d.f. discreta

Distribución uniforme en [a, b]

Exponencial

3. Integración y Diferenciación

A diferencia que en cálculo elemental, aquí primero se introduce la inte-gración y luego la diferenciación

3.1. Integración

Se dene la integral de funciones de Borel con respecto a (w.r.t.) unamedida ν. La denición se hace por etapas,

1. Para funciones simples no negativas:

Con ai > 0, i = 1, . . . , k

6

Page 7: Cap1-Probabilidad II P

Observaciones:∫ϕdν =∞ es posible

Diferentes representaciones de una función simple son posibles pe-ro todas dan la misma respuesta, entonces la denición es correcta

2. Funciones de Borel nonegativas:

Sea f una función de Borel no negativa:

Observaciones:

Cómo justicar el lado derecho de la denición

Para cualquier función f Borel medible, existe una secuencia defunciones simples ϕ1, ϕ2, . . . tal que 0 ≤ ϕ ≤ f para cualquier i y

lımn→∞

∫ϕndν =

∫fdν

3. Finalmente, para una función f medible cualquiera, se dene primero:

f+(ω) = maxf(ω), 0, f−(ω) = max−f(ω), 0

Observe que f+ y f− son Borel medibles no negativas, f(ω) = f+(ω)−f−(ω) y |f(ω)| = f+(ω) + f−(ω).

Observaciones:

7

Page 8: Cap1-Probabilidad II P

Está bien denida, aunque puede tomar valores de ∞ o −∞.

Si∫f+dν y

∫f−dν y son ambas nitas, decimos que f es integra-

ble.

Diferentes notaciones:∫fdν,

∫f(ω)dν,

∫f(ω)dν(ω),

∫f(ω)ν(dω).

En espacios probabilizados,∫XdP es usualmente escrito como

EX o E(X).

Examples:

En un conjunto contable: ∫fdν =

∑ω∈Ω

f(ω)

En R, con respcto a la medida de Lebesgue, sobre un intervalo [a, b] laintegral coincide con la integral de Riemann cuando esta última estábien denida.

Propiedades:

Si una armación se cumple para todo ω ∈ Ω−N , con ν(N ) = 0, se diceque es casi en todas partes (a.e.) ν, Si la medida es de probabilidad, se dicecasi seguramente (a.s.)

|∫fdν| ≤

∫|f |dν

Si f > 0 (a.e.) entonces∫fdν ≥ 0

Si f = g (a.e.) entonces∫fdν =

∫gdν

Algunas veces se requiere saber si se puede intercambiar los límites conla integral:

Sea f1, f2, . . . y lımn→∞ fn, existe entonces, bajo que condiciones se daque:

8

Page 9: Cap1-Probabilidad II P

La respuesta está en el siguiente teorema:

Ejercicio: Intercambio de la integral con la diferenciaciónEl siguiente teorema generaliza el de cambio de variables:

La importancia de este resultado está por ejemplo en que el en un espacioprobabilizado, si se dene una variable aleatoria X, el cálculo de la esperanzase puede hacer de la siguiente manera:

EX =

∫Ω

XdP =

∫RxdPX

o para una función de Borel g sobre los reales:

Eg(X) =

∫g(x)dPX =

∫xdPg(X)

También en algunos casos se puede intercambiar el orden de integración:

9

Page 10: Cap1-Probabilidad II P

Este resultado puede extenderse de forma natural a la medida producto

3.2. Derivada de Radon-Nikodym

Sea (Ω,F , ν) un espacio medible y f una función de Borel no negativa,la función:

λ(A) =

∫A

fdν, A ∈ F

es una medida en (Ω,F). Observe además que

ν(A) = 0 implica λ(A) = 0

Si se da esta última propiedad se dice que λ es absolutamente continuacon relación a ν.

El teorema de Radon-Nikodim muestra que esta última es también unacondición suciente

f se llama derivada de Rdon-Nikodym o densidad de λ con respecto a ν,en el contexto de probabilidades a f se le conoce como función de densidadde probabilidades (p.d.f)

Cálculo con derivadas de R-N

10

Page 11: Cap1-Probabilidad II P

4. Distribuciones y sus características

Discretas si son dominadas por alguna medida de conteo

Ver tabla 1

Continuas si son dominadas por la medida de Lebesgue

Ver Tabla 2

Existen p.d.f. que no son ni discretas ni continuas

Cambios de variable, ver ejemplos

Funciones generadosras de momentos:

EXk es el /k-esimo momento / de X

11

Page 12: Cap1-Probabilidad II P

E|X|k es el k-esimo momento absoluto de X

Si µ = EX, E(X−µ)k es el k-esimo momento central de X, el segundomomento central es llamado varianza

En el caso multidimensional: matriz de varianzas-covarianzas es:

Var(X) = E(X − EX)>(X − EX)

Los momentos son interesantes características de las distribuciones, pe-ro estas no las determinan. Funciones que determinan las distribuciones seintroducen a continuación:

Tenemos los siguientes resultados:

12

Page 13: Cap1-Probabilidad II P

13

Page 14: Cap1-Probabilidad II P

5. Esperanza Condicional

En probabilidades básicas, se dene la probabilidad condicional P (B |A) = P (A∩B)/P (A) provisto que P (A) 6= 0, pero muchas veces necesitamosesta noción incluso en casos en los que P (A) = 0, ejemplo A = Y = c ,donde Y es una variable aleatoria real continua.

La σ-álgebra σ(Y ) contiene la ïnformación de Y ". El siguiente teoremacaracteriza la esperanza condicional:

Desarrollar el ejemplo 1.18Aplicado a funciones medibles, tenemos la siguiente proposición:

Además:

14

Page 15: Cap1-Probabilidad II P

Esto esta en acuerdo con las deniciones usadas en probabilidades básicas.Algunas propiedades muy útiles de las probabilidades condicionales son:

Desarrollar el ejemplo del .estimador del error de media cuadrática"Independencia

15

Page 16: Cap1-Probabilidad II P

El siguiente resultado es muy útil para chequear la independencia;

Observations:

X1, X2, . . . , XK son independientes si

FX(x1, x2, . . . , xK) = FX1(x1)FX2(x2)...FXK(xK)

fX(x1, x2, . . . , xK) = fX1(x1)fX2(x2)...fXK(xK)

Si X1, X2, . . . , XK son independientes y E|X1 . . . XK | <∞|$, entonces

E(X1 . . . XK) = EX1 . . . EXK

Independencia implica no correlación, pero el inverso no siempre escierto

Probabilidad Condicional

Se justica a con el siguiente teorema:

También se puede dada una colección de probabilidades condicionales,denir una probabilidad conjunta como sigue:

16

Page 17: Cap1-Probabilidad II P

Desarrollar el Ejemplo 1.21

6. Resultados Asintóticos

Deniciones de convergencia, relaciones,principales resultadosLas leyes de los grandes númerosEl teorema central del límteSe estudia el comportamiento límite de variables aleatorias y sus distri-

buciones

6.1. Modos de convergencia

Se denen cuatro modos de convergencia de variables (vectores) aleato-rios:

17

Page 18: Cap1-Probabilidad II P

El siguiente resultado describe las relaciones entre los diferentes modosde convergencia:

Desarrollar el ejemplo 1.22El resultado siguiente es muy útil para demostrar convergencia en distri-

bución:

18

Page 19: Cap1-Probabilidad II P

Junto con la siguiente proposición, este teorema puede usarse para mos-trar la convergencia en ley.

6.2. Convergencia de transformaciones

Que pasa cuando se aplica una función g Borel medible a una sucesiónde variables aleatorias, se resume en el siguiente teorema

Presentar ejemplo 2.13,Observe que la convergencia conjunta en algunos casos no puede ser re-

lajada.Un resultado importante que puede evitar en algunos casos la exigencia

de la convergencia conjunta es:

19

Page 20: Cap1-Probabilidad II P

6.3. La(s) ley(es) de los grandes números

20

Page 21: Cap1-Probabilidad II P

Una versión ligeramente menos exigente se presenta en el siguiente teore-ma:

21

Page 22: Cap1-Probabilidad II P

6.4. El teorema central de límite

Para aproximar las distribuciones tenemos uno de los as importantes re-sultados que permite trabajar en estadística:

Desarrollar el ejemplo 1.26

22