Bayesian Information Criterion (BIC) / Schwarz Criterion

Statystyka bayesowska >

Bayesian Information Criterion (BIC) jest wskaźnikiem używanym w statystyce bayesowskiej do wyboru między dwoma lub więcej alternatywnymi modelami.

Kryterium BIC jest również znane jako kryterium informacyjne Schwarza (abrv. SIC) lub kryteria informacyjne Schwarza-Bayesa. Został on opublikowany w 1978 roku przez Gideona E. Schwarza i jest ściśle związany z kryterium informacyjnym Akaike (AIC), które zostało formalnie opublikowane w 1974 roku.

Definicja Bayesowskiego Kryterium Informacyjnego / Kryterium Schwarza

Bayesowskie kryterium informacyjne (BIC) jest zdefiniowane jako

k log(n)- 2log(L(θ̂)).

Tutaj n jest wielkością próby; liczbą obserwacji lub liczbą punktów danych, z którymi pracujesz. k jest liczbą parametrów, które twój model szacuje, a θ jest zbiorem wszystkich parametrów.

L(θ̂) reprezentuje prawdopodobieństwo testowanego modelu, biorąc pod uwagę twoje dane, kiedy oceniane przy maksymalnych wartościach prawdopodobieństwa θ. Możesz nazwać to prawdopodobieństwem modelu, biorąc pod uwagę wszystko wyrównane do ich najbardziej korzystnych wartości.

Innym sposobem zrozumienia L(θ̂) jest to, że jest to prawdopodobieństwo uzyskania danych, które masz, zakładając, że testowany model był dany.

Porównywanie modeli

Porównywanie modeli za pomocą bayesowskiego kryterium informacji polega po prostu na obliczeniu BIC dla każdego modelu. Model z najniższym wskaźnikiem BIC jest uważany za najlepszy i może być zapisany jako BIC* (lub SIC*, jeśli używasz tej nazwy i skrótu).

Możemy również obliczyć Δ BIC; różnicę między danym modelem a „najlepszym” modelem o najniższym BIC, i użyć jej jako argumentu przeciwko innemu modelowi. Δ BIC to po prostu BICmodel – BIC*, gdzie BIC* jest najlepszym modelem.

Jeśli Δ BIC jest mniejszy niż 2, jest uważany za „ledwie warty wspomnienia” jako argument za najlepszą teorią lub przeciwko alternatywnej. Przewaga, jaką daje naszemu najlepszemu modelowi, jest zbyt mała, aby była znacząca. Ale jeśli Δ BIC jest pomiędzy 2 a 6, można powiedzieć, że dowody przeciwko innemu modelowi są pozytywne; tzn. mamy dobry argument na korzyść naszego „najlepszego modelu”. Jeśli wynosi od 6 do 10, dowody na rzecz najlepszego modelu i przeciwko słabszemu modelowi są silne. Wartość Δ BIC większa niż dziesięć oznacza, że dowody przemawiające za naszym najlepszym modelem vs. modelem alternatywnym są rzeczywiście bardzo silne.

Przykład

Załóżmy, że masz zestaw danych z 50 punktami obserwacji, a model 1 szacuje 3 parametry. Model 2 szacuje 4 parametry. Załóżmy, że log maksymalnego prawdopodobieństwa dla modelu 1 wynosi a, a dla modelu 2 wynosi 2a. Korzystając ze wzoru k log(n)- 2log(L(θ)):

Obliczanie SIC na tych danych daje nam:

• Model 1: 3log(50) – 2a = 5.1 – 2a
• Model 2: 4log(50) – 4a = 6.8 – 4a

Więc ΔBIC wynosi 1.7 – 2a.

Ponieważ dowody, które Bayesowskie Kryterium Informacji daje nam dla modelu 1, będą „warte wzmianki” tylko wtedy, gdy 1.7 – 2a > 2, możemy twierdzić o rozstrzygających wynikach tylko wtedy, gdy -2a > 0.3; czyli a < -0.15.

Claeskins, G. & Hkort, N. (2008). Model Selection and Model Averaging (Cambridge Series in Statistical and Probabilistic Mathematics) 1st Edition. Cambridge University Press.
Fabozzi, Focardi, Rachev & Arshanapalli. Podstawy Ekonometrii Finansowej: Tools, Concepts, and Asset Management Applications. Dodatek E: Kryterium wyboru modelu: AIC i BIC. Retrieved from http://onlinelibrary.wiley.com/store/10.1002/9781118856406.app5/asset/app5.pdf;jsessionid=A6726BA5AE1AD2A5AF007FFF78528249.f03t01?v=1&t=je8jr983&s=09eca6efc0573a238457d475d3ac909ec816a699 on March 1, 2018
Wasserman, Larry. STAT 705 Lecture Notes: Model Selection
Retrieved from http://www.stat.cmu.edu/~larry/=stat705/Lecture16.pdf on March 1, 2018

——————————————————————————

Potrzebujesz pomocy z zadaniem domowym lub pytaniem testowym? Dzięki Chegg Study możesz uzyskać rozwiązania swoich pytań krok po kroku od eksperta w danej dziedzinie. Pierwsze 30 minut z korepetytorem Chegg jest bezpłatne!