Bayesianische Statistik >
Das Bayesianische Informationskriterium (BIC) ist ein Index, der in der Bayesianischen Statistik verwendet wird, um zwischen zwei oder mehr alternativen Modellen zu wählen.
Das BIC ist auch bekannt als das Schwarz-Informationskriterium (abrv. SIC) oder das Schwarz-Bayesianische Informationskriterium. Es wurde 1978 von Gideon E. Schwarz veröffentlicht und ist eng mit dem Akaike-Informationskriterium (AIC) verwandt, das 1974 formell veröffentlicht wurde.
Definition des Bayesschen Informationskriteriums / Schwarz-Kriteriums
Das Bayessche Informationskriterium (BIC) ist definiert als
k log(n)- 2log(L(θ̂)).
Hierbei ist n der Stichprobenumfang; die Anzahl der Beobachtungen oder die Anzahl der Datenpunkte, mit denen Sie arbeiten. k ist die Anzahl der Parameter, die Ihr Modell schätzt, und θ ist die Menge aller Parameter.
L(θ̂) steht für die Wahrscheinlichkeit des getesteten Modells angesichts Ihrer Daten, wenn sie bei maximalen Wahrscheinlichkeitswerten von θ ausgewertet werden. Man könnte dies als die Wahrscheinlichkeit des Modells bezeichnen, wenn alles auf ihren günstigsten Wert ausgerichtet ist.
Eine andere Art, L(θ̂) zu verstehen, ist, dass es die Wahrscheinlichkeit ist, die Daten zu erhalten, die man hat, wenn man annimmt, dass das getestete Modell gegeben ist.
Vergleich von Modellen
Beim Vergleich von Modellen mit dem Bayes’schen Informationskriterium wird einfach der BIC für jedes Modell berechnet. Das Modell mit dem niedrigsten BIC wird als das beste angesehen und kann als BIC* (oder SIC*, wenn Sie diese Bezeichnung und Abkürzung verwenden) geschrieben werden.
Wir können auch den Δ BIC berechnen; die Differenz zwischen einem bestimmten Modell und dem „besten“ Modell mit dem niedrigsten BIC, und ihn als Argument gegen das andere Modell verwenden. Δ BIC ist einfach BICModell – BIC*, wobei BIC* das beste Modell ist.
Wenn Δ BIC kleiner als 2 ist, wird es als „kaum erwähnenswert“ betrachtet, entweder als Argument für die beste Theorie oder gegen das alternative Modell. Der Vorteil, den unser bestes Modell dadurch erhält, ist zu gering, um signifikant zu sein. Liegt Δ BIC jedoch zwischen 2 und 6, kann man sagen, dass die Beweise gegen das andere Modell positiv sind, d. h. wir haben ein gutes Argument für unser „bestes Modell“. Liegt er zwischen 6 und 10, ist die Evidenz für das beste Modell und gegen das schwächere Modell stark. Ein Δ BIC von mehr als zehn bedeutet, dass die Evidenz für unser bestes Modell gegenüber dem alternativen Modell in der Tat sehr stark ist.
Beispiel
Angenommen, Sie haben einen Datensatz mit 50 Beobachtungspunkten, und Modell 1 schätzt 3 Parameter. Modell 2 schätzt 4 Parameter. Nehmen wir an, der Logarithmus der maximalen Wahrscheinlichkeit für Modell 1 ist a und für Modell 2 ist er 2a. Unter Verwendung der Formel k log(n)- 2log(L(θ)):
Die Berechnung des SIC für diese Daten ergibt:
- Modell 1: 3log(50) – 2a = 5,1 – 2a
- Modell 2: 4log(50) – 4a = 6,8 – 4a
Der ΔBIC beträgt also 1,7 – 2a.
Da die Beweise, die uns das Bayessche Informationskriterium für Modell 1 liefert, nur dann „erwähnenswert“ sind, wenn 1,7 – 2a > 2 ist, können wir nur dann schlüssige Ergebnisse behaupten, wenn -2a > 0,3 ist; das heißt, a < -0,15.
Claeskins, G. & Hkort, N. (2008). Model Selection and Model Averaging (Cambridge Series in Statistical and Probabilistic Mathematics) 1st Edition. Cambridge University Press.
Fabozzi, Focardi, Rachev & Arshanapalli. The Basics of Financial Econometrics: Tools, Concepts, and Asset Management Applications. Appendix E: Model Selection Criterion: AIC und BIC. Abgerufen von http://onlinelibrary.wiley.com/store/10.1002/9781118856406.app5/asset/app5.pdf;jsessionid=A6726BA5AE1AD2A5AF007FFF78528249.f03t01?v=1&t=je8jr983&s=09eca6efc0573a238457d475d3ac909ec816a699 am 1. März 2018
Wasserman, Larry. STAT 705 Lecture Notes: Model Selection
Abrufen von http://www.stat.cmu.edu/~larry/=stat705/Lecture16.pdf am 1. März 2018
Stephanie Glen. „Bayesian Information Criterion (BIC) / Schwarz Criterion“ From StatisticsHowTo.com: Elementare Statistik für den Rest von uns! https://www.statisticshowto.com/bayesian-information-criterion/
——————————————————————————
Brauchen Sie Hilfe bei einer Hausaufgabe oder einer Prüfungsfrage? Mit Chegg Study können Sie Schritt-für-Schritt-Lösungen für Ihre Fragen von einem Experten auf dem Gebiet erhalten. Ihre ersten 30 Minuten mit einem Chegg Tutor sind kostenlos!