Lasketaan todennäköisyys Metropolis-Hastingsissa: Kuinka se liittyy Bayesian analyysin posteriorisuuteen?

Kim 05/06/2018. 2 answers, 181 views
bayesian mcmc metropolis-hastings

Peruskysymys MCMC Metropolis-Hastings-algoritmista. Yritän ymmärtää Metropolis-Hastings-algoritmia ja se on yhteys Bayesian analyysiin. Oletetaan, että haluan rakentaa MCMC MH algrorytmin arvioimaan posteriorijakaumani Bayesian analyysissani.

Tarkastelen vaiheita, joissa $ \ alpha $ lasketaan: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | textbf {Y})} $$ Minulla on (yksinkertaisuuden vuoksi) oletettu, että MH-algoritmissa esiintyminen on symmetrinen.

$ P (\ theta ^ * | \ textbf {Y}) $ on todennäköisyys, että $ \ theta ^ * $ antaa tietomme. Pohjimmiltaan ennen MH-algoritmia, meidän on oletettava jakelu $ \ theta $: lle, eikö? Ja on $ P (\ theta ^ * | \ textbf {Y}) $ posteriorijakauma? Kuinka lasketaan $ P (\ theta ^ * | \ textbf {Y}) $ ?

Voit myös antaa oral (sanojen) selvityksen $ P (\ theta ^ * | \ textbf {Y}) $: sta ja se on yhteys jälkikäteen, jonka haluamme laskea. Hämmennysni syntyy siitä tosiasiasta, että emme pysty tunnistamaan posteriorijakaumaa ja tämä on MH: n koko asia. Joten miten voidaan laskea todennäköisyys ...

2 Answers


niandra82 05/06/2018.

On paljon sekaannusta. Haluatko arvioida posteriorisen $ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y} $$ jossa käytän $ f () $ osoittamalla tiheyttä, niin että se on mahdollisimman yleistä. Sinun täytyy päättää mallin todennäköisyydestä, eli $ f (\ mathbf {y} | \ theta) $ ja edeltävä yli $ \ theta $, eli $ f (\ theta) $. Toisin sanoen sinun täytyy olettaa, että jokainen niistä jakautuu tiettyyn jakeluun. Sitten tiedät molempien toiminnalliset muodot.

Jos haluat saada näytteitä takaosasta MH: n avulla, valitset $ \ theta $ alkuarvon, jota kutsumme $ \ theta ^ 0 $. Nyt ehdotat jotain symmetristä jakelua (jotta asiat ovat mahdollisimman yksinkertaisia), ilmaistuna $ \ theta ^ * $. Seuraavaksi lasketaan seuraava $ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ ja näyte yhtenäisestä jakelusta $$ u \ sim \ text {Unif} (0,1). $$ Jos $ u <\ alpha $ asetat $ \ theta ^ 1 = \ theta ^ * $, muuten $ \ theta ^ 1 = \ theta ^ 0 $.

Sitten toistat samoja vaiheita löytää $ \ theta ^ 2, \ theta ^ 3, ... $ arvot konvergenssiin asti.


niandra82 05/11/2018.

Sinulla on vielä paljon sekaannusta. Yritän selittää esimerkin avulla.

Oletetaan $ \ mathbf {Y} = (y_1, \ dots, y_n) '$, ja sinulla on $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, jossa $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$ eli regressiomalli. Sitten parametrit ovat $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. Havainto, joka on annettu $ \ theta $, on riippumaton ja todennäköisyys on $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ jossa $ f (y_i | \ theta) $ on normaali keskiarvolla $ \ beta_0 + \ beta_1x_i $ ja varianssi $ \ sigma ^ 2 $.

Kuten näette, voit yleensä laskea $ f (\ mathbf {Y} | \ theta) $, koska se on sinun mallisi, olette oletuksena.

Tietenkin sinun on myös määriteltävä ensin $ \ beta_0 $, $ \ beta_1 $ ja $ \ sigma ^ 2 $, eli $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) $, esimerkiksi.

$ f (\ mathbf {Y} | \ theta) $ ei ole yhtä suuri kuin $ f (\ mathbf {Y}) $, koska normaali todennäköisyys riippuu parametreista $ theta $.

Nyt, jos haluat saada jälkikäteen näytteitä $ f (\ theta | Y) $, aloita määrittämään alkuarvo $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ ja $ \ sigma ^ {2,0} $ , ehdotat joitain uusia arvoja, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ ja $ \ sigma ^ {2, *} $, ja käytät aiemmin annettua vastausta voit päivittää parametrit. Huomaa, että $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$ jossa $ f (y_i | \ theta ^ *) normaali keskiarvo $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ ja varianssi $ \ sigma ^ {2, *} $.

BTW: sinun ei tarvitse laskea takana, idea on saada näytteitä psoterior $ f (\ theta | \ mathbf {Y}) $

Related questions

Hot questions

Language

Popular Tags