Семинар 11Байесовские методы

Грауэр Л.В., Архипова О.А.

Санкт-Петербург, 2014

Задание 1.Байесовский доверительный интервал

Смоделируйте выборку объемом 100 из экспоненциальнораспределенной Exp(θ). Найдите байесовскую точечную оценкупараметра. Постройте байесовский доверительный интервалдля параметра θ. Сравните построенный доверительныйвариант с асимптотическим доверительным интервалом.X1, . . . ,Xn — выборка из экспонениальной генеральнойсовокупности с плотностью распределения

p(Xi ) = θe−θXi , Xi > 0

Функция правдоподобия

L(θ,X1, . . . ,Xn) = θne−θ∑n

i=1 Xi

Пусть априорное распределение параметра θ

p(θ) ∼ 1θ, θ > 0

Задание 1.

Тогда

p̃(θ|X1, . . . ,Xn) ∼ p(θ)L(θ,X1, . . . ,Xn) ∼ θn−1e−θ∑

Xi

Это ядро гамма-распредления с параметром формы n ипараметром нормы

∑ni=1 Xi . Учитывая нормирующий

коэффициент, имеем

p̃(θ|X1, . . . ,Xn) =(∑

Xi )n

Γ(n)θn−1e−θ

∑Xi , θ > 0

Задание 1.функции в R

I rexp(. . . )I qgamma(. . . )I qnorm(. . . )I pgamma(. . . )

Для нахождения точечной оценки сгенерите выборку изапостериорного распредления параметра объемом не менее10000.

Задание 2.Оценки параметров линейной регрессии

Смоделируйте трехмерную связную выборку объемом 100согласно модели Y = X1 + X2 + ε. Найдите мнк и байесовскиеоценки неизвестных параметров, а также постройтедоверительные интервалы для неизвестных параметров

I library(pscl) для обратного гамма распределенияI qigamma квантили обратное гамма распределенияI qt

Y = Xβ + ε, ε ∼ MVN(0, σ2In)

Функция правдоподобия

L(β, σ2) = (2πσ2)−n/2e−(y−Xβ)T (y−Xβ)

2σ2

МНК оценки неизвестных параметров

β̂ = (XTX−1)XT y , σ̂2 =(y − X β̂)T (y − X β̂)

n − k

L(β, σ2|X , y) ∼ σ−nexp

{−[σ̂2(n − k) + (β − β̂)TXTX (β − β̂)]

2σ2

}

Пустьp(β) ∼ 1, β ∈ (−∞,+∞)

p(σ) ∼ 1σ, σ ∈ (0,+∞)

Апостериорное совместное распределение

p̃(β, σ2|X , y) ∼ L(β, σ2|X , y)p(β)p(σ)

∼ σ−n−1exp

{−[σ̂2(n − k) + (β − β̂)TXTX (β − β̂)]

2σ2

}

Апостериорное распределение параметра β — t-распределениес (n − k) степенями свободы и ковариационной матрицей(n−k)σ̂2(XTX )−1

n−k−2

p̃(β|X , y) ∼ [σ̂2(n − k) + (β − β̂)TXTX (β − β̂)]−n/2

Апостериорное распределение параметра σ2 — обратное гаммараспределение с параметрами 0.5(n − k − 1) и 0.5σ̂2(n − k)

p̃(σ2|X , y) ∼ (σ2)−0.5(n−k−1)−1e−0.5σ̂2(n−k)

σ2

Задание 3Проверка статистических гипотез

Проверьте гипотезу о равенстве средних двух независимыхнормально распределенных случайных величин. Для принятиярешения используйте Байесовский фактор. Оценитевероятности ошибок первого и второго рода данного подхода.Воспользуйтесь классической двух-выборочной t-статистикой