Lasketaan todennäköisyys Metropolis-Hastingsissa: Kuinka se liittyy Bayesian analyysin posteriorisuuteen?

Kim 05/06/2018. 2 answers, 181 views
bayesian mcmc metropolis-hastings

Peruskysymys MCMC Metropolis-Hastings-algoritmista. Yritän ymmärtää Metropolis-Hastings-algoritmia ja se on yhteys Bayesian analyysiin. Oletetaan, että haluan rakentaa MCMC MH algrorytmin arvioimaan posteriorijakaumani Bayesian analyysissani.

Tarkastelen vaiheita, joissa $ \ alpha $ lasketaan: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | textbf {Y})} $$ Minulla on (yksinkertaisuuden vuoksi) oletettu, että MH-algoritmissa esiintyminen on symmetrinen.

$ P (\ theta ^ * | \ textbf {Y}) $ on todennäköisyys, että $ \ theta ^ * $ antaa tietomme. Pohjimmiltaan ennen MH-algoritmia, meidän on oletettava jakelu $ \ theta $: lle, eikö? Ja on $ P (\ theta ^ * | \ textbf {Y}) $ posteriorijakauma? Kuinka lasketaan $ P (\ theta ^ * | \ textbf {Y}) $ ?

Voit myös antaa oral (sanojen) selvityksen $ P (\ theta ^ * | \ textbf {Y}) $: sta ja se on yhteys jälkikäteen, jonka haluamme laskea. Hämmennysni syntyy siitä tosiasiasta, että emme pysty tunnistamaan posteriorijakaumaa ja tämä on MH: n koko asia. Joten miten voidaan laskea todennäköisyys ...

2 Answers


niandra82 05/06/2018.

On paljon sekaannusta. Haluatko arvioida posteriorisen $ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y} $$ jossa käytän $ f () $ osoittamalla tiheyttä, niin että se on mahdollisimman yleistä. Sinun täytyy päättää mallin todennäköisyydestä, eli $ f (\ mathbf {y} | \ theta) $ ja edeltävä yli $ \ theta $, eli $ f (\ theta) $. Toisin sanoen sinun täytyy olettaa, että jokainen niistä jakautuu tiettyyn jakeluun. Sitten tiedät molempien toiminnalliset muodot.

Jos haluat saada näytteitä takaosasta MH: n avulla, valitset $ \ theta $ alkuarvon, jota kutsumme $ \ theta ^ 0 $. Nyt ehdotat jotain symmetristä jakelua (jotta asiat ovat mahdollisimman yksinkertaisia), ilmaistuna $ \ theta ^ * $. Seuraavaksi lasketaan seuraava $ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ ja näyte yhtenäisestä jakelusta $$ u \ sim \ text {Unif} (0,1). $$ Jos $ u <\ alpha $ asetat $ \ theta ^ 1 = \ theta ^ * $, muuten $ \ theta ^ 1 = \ theta ^ 0 $.

Sitten toistat samoja vaiheita löytää $ \ theta ^ 2, \ theta ^ 3, ... $ arvot konvergenssiin asti.


niandra82 05/11/2018.

Sinulla on vielä paljon sekaannusta. Yritän selittää esimerkin avulla.

Oletetaan $ \ mathbf {Y} = (y_1, \ dots, y_n) '$, ja sinulla on $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, jossa $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$ eli regressiomalli. Sitten parametrit ovat $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. Havainto, joka on annettu $ \ theta $, on riippumaton ja todennäköisyys on $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ jossa $ f (y_i | \ theta) $ on normaali keskiarvolla $ \ beta_0 + \ beta_1x_i $ ja varianssi $ \ sigma ^ 2 $.

Kuten näette, voit yleensä laskea $ f (\ mathbf {Y} | \ theta) $, koska se on sinun mallisi, olette oletuksena.

Tietenkin sinun on myös määriteltävä ensin $ \ beta_0 $, $ \ beta_1 $ ja $ \ sigma ^ 2 $, eli $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) $, esimerkiksi.

$ f (\ mathbf {Y} | \ theta) $ ei ole yhtä suuri kuin $ f (\ mathbf {Y}) $, koska normaali todennäköisyys riippuu parametreista $ theta $.

Nyt, jos haluat saada jälkikäteen näytteitä $ f (\ theta | Y) $, aloita määrittämään alkuarvo $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ ja $ \ sigma ^ {2,0} $ , ehdotat joitain uusia arvoja, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ ja $ \ sigma ^ {2, *} $, ja käytät aiemmin annettua vastausta voit päivittää parametrit. Huomaa, että $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$ jossa $ f (y_i | \ theta ^ *) normaali keskiarvo $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ ja varianssi $ \ sigma ^ {2, *} $.

BTW: sinun ei tarvitse laskea takana, idea on saada näytteitä psoterior $ f (\ theta | \ mathbf {Y}) $


HighResolutionMusic.com - Download Hi-Res Songs

1 Alan Walker

Diamond Heart flac

Alan Walker. 2018. Writer: Alan Walker;Sophia Somajo;Mood Melodies;James Njie;Thomas Troelsen;Kristoffer Haugan;Edvard Normann;Anders Froen;Gunnar Greve;Yann Bargain;Victor Verpillat;Fredrik Borch Olsen.
2 Sia

I'm Still Here flac

Sia. 2018. Writer: Sia.
3 Cardi B

Taki Taki flac

Cardi B. 2018. Writer: Bava;Juan Vasquez;Vicente Saavedra;Jordan Thorpe;DJ Snake;Ozuna;Cardi B;Selena Gomez.
4 Little Mix

Woman Like Me flac

Little Mix. 2018. Writer: Nicki Minaj;Steve Mac;Ed Sheeran;Jess Glynne.
5 Halsey

Without Me flac

Halsey. 2018. Writer: Halsey;Delacey;Louis Bell;Amy Allen;Justin Timberlake;Timbaland;Scott Storch.
6 Lady Gaga

I'll Never Love Again flac

Lady Gaga. 2018. Writer: Benjamin Rice;Lady Gaga.
7 Bradley Cooper

Shallow flac

Bradley Cooper. 2018. Writer: Andrew Wyatt;Anthony Rossomando;Mark Ronson;Lady Gaga.
8 Bradley Cooper

Always Remember Us This Way flac

Bradley Cooper. 2018. Writer: Lady Gaga;Dave Cobb.
9 Kelsea Ballerini

This Feeling flac

Kelsea Ballerini. 2018. Writer: Andrew Taggart;Alex Pall;Emily Warren.
10 Mako

Rise flac

Mako. 2018. Writer: Riot Music Team;Mako;Justin Tranter.
11 Dewain Whitmore

Burn Out flac

Dewain Whitmore. 2018. Writer: Dewain Whitmore;Ilsey Juber;Emilio Behr;Martijn Garritsen.
12 Avril Lavigne

Head Above Water flac

Avril Lavigne. 2018. Writer: Stephan Moccio;Travis Clark;Avril Lavigne.
13 Khalid

Better flac

Khalid. 2018. Writer: Charlie Handsome;Jamil Chammas;Denis Kosiak;Tor Erik Hermansen;Mikkel Stoleer Eriksen;Khalid.
14 Lady Gaga

Look What I Found flac

Lady Gaga. 2018. Writer: DJ White Shadow;Nick Monson;Mark Nilan Jr;Lady Gaga.
15 Deep Chills

Run Free flac

Deep Chills. 2018.
16 Dynoro

In My Mind flac

Dynoro. 2018. Writer: Georgi Kay;Feenixpawl;Ivan Gough.
17 Charli XCX

1999 flac

Charli XCX. 2018. Writer: Charli XCX;Troye Sivan;Leland;Oscar Holter;Noonie Bao.
18 NCT 127

Regular (English Version) flac

NCT 127. 2018.
19 Lukas Graham

Love Someone flac

Lukas Graham. 2018. Writer: Don Stefano;Morten "Rissi" Ristorp;Morten "Pilo" Pilegaard;Jaramye Daniels;James Alan;David LaBrel;Lukas Forchhammer Graham.
20 Rita Ora

Let You Love Me flac

Rita Ora. 2018. Writer: Rita Ora.

Related questions

Hot questions

Language

Popular Tags