Bayesin informaatiokriteeri (BIC) / Schwarzin kriteeri

Bayesin tilastot >

Bayesin informaatiokriteeri (engl. Bayesian Information Criterion, BIC) on indeksi, jota käytetään bayesiläisessä tilastotieteessä valitsemaan kahden tai useamman vaihtoehtoisen mallin välillä.

BIC tunnetaan myös nimellä Schwarzin informaatiokriteeri (abrv. SIC) tai Schwarz-Bayesin informaatiokriteeri. Se julkaistiin Gideon E. Schwarzin vuonna 1978 julkaisemassa artikkelissa, ja se on läheistä sukua Akaiken informaatiokriteerille (AIC), joka julkaistiin virallisesti vuonna 1974.

Bayesin informaatiokriteerin / Schwarzin kriteerin määritelmä

Bayesin informaatiokriteeri (Bayesian Information Criterion, BIC) määritellään seuraavasti:

k log(n)- 2log(L(θ̂)).

Tässä n on otoskoko; havaintojen tai datapisteiden lukumäärä, jonka kanssa työskentelet. k on niiden parametrien lukumäärä, joita mallisi estimoi, ja θ on kaikkien parametrien joukko.

L(θ̂) edustaa testatun mallin todennäköisyyttä ottaen huomioon aineistosi, kun sitä arvioidaan θ:n suurimmilla todennäköisyysarvoilla. Voisit kutsua tätä mallin todennäköisyydeksi ottaen huomioon, että kaikki on kohdistettu edullisimpiinsa.

Toinen tapa ymmärtää L(θ̂) on, että se on todennäköisyys saada ne tiedot, jotka sinulla on, olettaen, että testattava malli olisi annettu.

Mallien vertailu

Mallien vertailu Bayesin informaatiokriteerillä tarkoittaa yksinkertaisesti BIC:n laskemista kullekin mallille. Mallia, jolla on pienin BIC, pidetään parhaana, ja se voidaan kirjoittaa BIC* (tai SIC*, jos käytät tätä nimeä ja lyhennettä).

Voidaan myös laskea Δ BIC; tietyn mallin ja ”parhaan” mallin, jolla on alhaisin BIC, välinen ero ja käyttää sitä argumenttina toista mallia vastaan. Δ BIC on vain BICmalli – BIC*, jossa BIC* on paras malli.

Jos Δ BIC on alle 2, sitä pidetään ’tuskin mainitsemisen arvoisena’ argumenttina joko parhaan teorian puolesta tai vaihtoehtoista teoriaa vastaan. Etu, jonka se antaa parhaalle mallillemme, on liian pieni ollakseen merkittävä. Mutta jos Δ BIC on välillä 2-6, voidaan sanoa, että todisteet toista mallia vastaan ovat positiivisia, eli meillä on hyvä argumentti ”parhaan mallimme” puolesta. Jos se on 6:n ja 10:n välillä, evidenssi parhaan mallin puolesta ja heikompaa mallia vastaan on vahva. Δ BIC on suurempi kuin kymmenen, mikä tarkoittaa, että todistusaineisto, joka puoltaa parasta malliamme vaihtoehtoista mallia vastaan, on todella erittäin vahva.

Esimerkki

Esitettäkö, että sinulla on aineisto, jossa on 50 havaintopistettä, ja malli 1 estimoi 3 parametria. Malli 2 estimoi 4 parametria. Oletetaan, että maksimaalisen todennäköisyyden logi mallille 1 on a; ja mallille 2 se on 2a. Käyttämällä kaavaa k log(n)- 2log(L(θ)):

Laskemalla SIC tällä datalla saadaan:

• Malli 1: 3log(50) – 2a = 5.1 – 2a
• Malli 2: 4log(50) – 4a = 6.8 – 4a

Laskemalla SIC tällä datalla saadaan siis ΔBIC 1.7 – 2a.

Koska todisteet, jotka Bayesin informaatiokriteeri antaa meille mallille 1, ovat ”mainitsemisen arvoisia” vain, jos 1.7 – 2a > 2, voimme väittää ratkaisevia tuloksia vain, jos -2a > 0.3; eli a < -0.15.

Claeskins, G. & Hkort, N. (2008). Model Selection and Model Averaging (Cambridge Series in Statistical and Probabilistic Mathematics) 1. painos. Cambridge University Press.
Fabozzi, Focardi, Rachev & Arshanapalli. Rahoitusekonometiikan perusteet: Tools, Concepts, and Asset Management Applications. Liite E: Mallinvalintakriteeri: AIC ja BIC. Haettu osoitteesta http://onlinelibrary.wiley.com/store/10.1002/9781118856406.app5/asset/app5.pdf;jsessionid=A6726BA5AE1AD2A5AF007FFF78528249.f03t01?v=1&t=je8jr983&s=09eca6efc0573a238457d475d3ac909ec816a699 1. maaliskuuta 2018
Wasserman, Larry. STAT 705 Lecture Notes: Model Selection
Retrieved from http://www.stat.cmu.edu/~larry/=stat705/Lecture16.pdf on March 1, 2018

——————————————————————————

Tarvitsetko apua kotitehtävän tai kokeen kysymyksen kanssa? Chegg Studyn avulla saat kysymyksiisi vaiheittaiset ratkaisut alan asiantuntijalta. Ensimmäiset 30 minuuttia Chegg-opettajan kanssa ovat ilmaisia!