Critère d’information bayésien (BIC) / Critère de Schwarz

Statistiques bayésiennes >

Le critère d’information bayésien (BIC) est un indice utilisé en statistique bayésienne pour choisir entre deux ou plusieurs modèles alternatifs.

Le BIC est également connu sous le nom de critère d’information de Schwarz (abrv. SIC) ou de critères d’information de Schwarz-Bayes. Il a été publié dans un article de 1978 par Gideon E. Schwarz, et est étroitement lié au critère d’information d’Akaike (AIC) qui a été officiellement publié en 1974.

Définition du critère d’information bayésien / critère de Schwarz

Le critère d’information bayésien (BIC) est défini comme

k log(n)- 2log(L(θ̂)).

Ici, n est la taille de l’échantillon ; le nombre d’observations ou le nombre de points de données avec lesquels vous travaillez. k est le nombre de paramètres que votre modèle estime, et θ est l’ensemble de tous les paramètres.

L(θ̂) représente la vraisemblance du modèle testé, étant donné vos données, lorsqu’il est évalué aux valeurs de vraisemblance maximale de θ. Vous pourriez appeler cela la vraisemblance du modèle étant donné que tout est aligné sur leur plus favorable.

Une autre façon de comprendre L(θ̂) est que c’est la probabilité d’obtenir les données que vous avez, en supposant que le modèle testé soit une donnée.

Comparaison des modèles

Comparer les modèles avec le critère d’information bayésien implique simplement de calculer le BIC pour chaque modèle. Le modèle ayant le BIC le plus faible est considéré comme le meilleur, et peut s’écrire BIC* (ou SIC* si vous utilisez ce nom et cette abréviation).

Nous pouvons également calculer le Δ BIC ; la différence entre un modèle particulier et le  » meilleur  » modèle avec le BIC le plus bas, et l’utiliser comme argument contre l’autre modèle. Δ BIC est juste BICmodel – BIC*, où BIC* est le meilleur modèle.

Si Δ BIC est inférieur à 2, il est considéré comme  » méritant à peine d’être mentionné  » comme argument soit pour la meilleure théorie, soit contre l’autre. L’avantage qu’il donne à notre meilleur modèle est trop faible pour être significatif. Mais si Δ BIC est compris entre 2 et 6, on peut dire que les preuves contre l’autre modèle sont positives ; c’est-à-dire que nous avons un bon argument en faveur de notre « meilleur modèle ». S’il est compris entre 6 et 10, les preuves en faveur du meilleur modèle et contre le modèle plus faible sont fortes. Un Δ BIC supérieur à dix signifie que les preuves en faveur de notre meilleur modèle par rapport à l’alternatif sont effectivement très fortes.

Exemple

Supposons que vous ayez un ensemble de données avec 50 points d’observation, et que le modèle 1 estime 3 paramètres. Le modèle 2 estime 4 paramètres. Disons que le log de votre maximum de vraisemblance pour le modèle 1 est a ; et pour le modèle 2, il est 2a. En utilisant la formule k log(n)- 2log(L(θ)):

Calculer SIC sur ces données nous donne:

• Modèle 1 : 3log(50) – 2a = 5,1 – 2a
• Modèle 2 : 4log(50) – 4a = 6,8 – 4a

Donc ΔBIC est 1,7 – 2a.

Puisque la preuve que le critère d’information bayésien nous donne pour le modèle 1 ne sera  » digne d’être mentionnée  » que si 1,7 – 2a > 2, nous ne pouvons prétendre à des résultats concluants que si -2a > 0,3 ; c’est-à-dire a < -0,15.

Claeskins, G. & Hkort, N. (2008). Sélection de modèle et moyenne de modèle (Cambridge Series in Statistical and Probabilistic Mathematics) 1ère édition. Cambridge University Press.
Fabozzi, Focardi, Rachev & Arshanapalli. Les bases de l’économétrie financière : Tools, Concepts, and Asset Management Applications. Annexe E : Critère de sélection de modèle : AIC et BIC. Récupéré de http://onlinelibrary.wiley.com/store/10.1002/9781118856406.app5/asset/app5.pdf;jsessionid=A6726BA5AE1AD2A5AF007FFF78528249.f03t01?v=1&t=je8jr983&s=09eca6efc0573a238457d475d3ac909ec816a699 le 1 mars 2018
Wasserman, Larry. Notes de cours STAT 705 : Model Selection
Retrieved from http://www.stat.cmu.edu/~larry/=stat705/Lecture16.pdf on March 1, 2018

——————————————————————————

Vous avez besoin d’aide pour un devoir ou une question de test ? Avec Chegg Study, vous pouvez obtenir des solutions étape par étape à vos questions de la part d’un expert dans le domaine. Vos 30 premières minutes avec un tuteur Chegg sont gratuites !