08/12/2010
Théorème de Bayes
Le théorème de Bayes est un résultat de base en théorie des probabilités, issu des travaux du révérend Thomas Bayes et retrouvé ensuite indépendamment par Laplace. Dans son unique article, Bayes cherchait à déterminer ce que l’on appellerait actuellement la distribution a posteriori de la probabilité p d’une loi binomiale. Ses travaux ont été édités et présentés à titre posthume (1763) par son ami Richard Price dans Un essai pour résoudre un problème dans la théorie des risques (An Essay towards solving a Problem in the Doctrine of Chances). Les résultats de Bayes ont été repris et étendus par le mathématicien français Laplace dans un essai de 1774, lequel n’était apparemment pas au fait du travail de Bayes. Le résultat principal (la Proposition 9 de l’essai) obtenu par Bayes est le suivant : en considérant une distribution uniforme du paramètre binomial p et une observation m d'une loi binomiale Ses résultats préliminaires, en particulier les propositions 3, 4 et 5 impliquent le résultat que l’on appelle théorème de Bayes (énoncé plus bas) mais il ne semble pas que Bayes se soit concentré ou ait insisté sur ce résultat. Ce qui est « bayésien » (au sens actuel du mot) dans la Proposition 9, c’est que Bayes ait présenté cela comme une probabilité sur le paramètre p. Cela revient à dire qu’on peut déterminer, non seulement des probabilités à partir d’observations des issues d’une expérience, mais aussi les paramètres relatifs à ces probabilités. C’est le même type de calcul analytique qui permet de déterminer par inférence les deux. En revanche, si l’on en croit une interprétation fréquentiste, il ne peut pas exister de probabilité de distribution du paramètre pet par conséquent, on ne peut raisonner sur p qu’avec un raisonnement d’inférence non-probabiliste.Théorème de Bayes
, où m est donc le nombre d’issues positives observées et n le nombre d’échecs observés, la probabilité que p soit entre a et b sachant m vaut :
Sommaire[masquer] |
Le théorème de Bayes est utilisé dans l’inférence statistique pour mettre à jour ou actualiser les estimations d’une probabilité ou d’un paramètre quelconque, à partir des observations et des lois de probabilité de ces observations. Il y a une version discrète et une version continue du théorème. En théorie des probabilités, le théorème de Bayes énonce des probabilités conditionnelles : étant donné deux évènements A et B, le théorème de Bayes permet de déterminer la probabilité de A sachant B, si l’on connaît les probabilités : Ce théorème élémentaire (originellement nommé « de probabilité des causes ») a des applications considérables. Pour aboutir au théorème de Bayes, on part d’une des définitions de la probabilité conditionnelle : en notant soit le théorème de Bayes. Chaque terme du théorème de Bayes a une dénomination usuelle. Le terme P(A) est la probabilité a priori de A. Elle est « antérieure » au sens qu’elle précède toute information sur B. P(A) est aussi appelée la probabilité marginale de A. Le termeP(A|B) est appelée la probabilité a posteriori de A sachant B (ou encore de A sous condition B) . Elle est « postérieure », au sens qu’elle dépend directement de B. Le terme P(B|A), pour un B connu, est appelé la fonction de vraisemblance de A. De même, le terme P(B) est appelé la probabilité marginale ou a priori de B. On améliore parfois le théorème de Bayes en remarquant que afin de réécrire le théorème ainsi : où AC est le complémentaire de A. Plus généralement, si {Ai} est une partition de l’ensemble des possibles, pour tout Ai de la partition. Voyez aussi le théorème des probabilités totales. I. J. Good reprend une idée d’Alan Turing : les probabilités deviennent plus faciles à manier si au lieu de raisonner sur une probabilité p, on travaille sur une quantité construite de la façon suivante : Ev(p) = ln (p/(1-p)) ou Ev(p) = log (p/(1-p)) qu’il nomme weight of evidence, terme auquel on peut donner différentes traductions : « poids de témoignage », « valeur de plausibilité », etc. Ce qui est intéressant à en retenir est ceci : En calculs de fiabilité, où il faut manier des probabilités très grandes (1-ε) et très petites (ε), travailler en termes d’evidences permet une visualisation bien plus claire des classes de sécurité : une évidence de -70 dB correspond à une probabilité de 10-7, etc. On peut également travailler en gardant en toutes circonstances le même nombre de décimales et sans manipuler d’exposants, ce qui améliore la lisibilité des calculs. Il existe aussi une version du théorème pour les distributions continues, qui se déduit simplement de la densité jointe des observations et des paramètres, produit de la vraisemblance par la densité a priori sur les paramètres, par application de la définition des lois et des densités conditionnelles. La forme continue du théorème de Bayes peut aussi s'interpréter comme indiquant que la distribution a posteriori s’obtient en multipliant la distribution a priori, par la vraisemblance, et en effectuant une normalisation (du fait qu'il s'agit d'une densité de probabilité). En calcul bayésien, on prend donc l'habitude de travailler avec des signes de proportionnalité plutôt que des égalités pour diminuer la complexité des expressions puisque les constantes manquantes se retrouvent par intégration (en principe). Les techniques de simulation de type Monte Carloet MCMC n'utilisent d'ailleurs pas ces constantes de normalisation. L’exemple le plus connu est le suivant : si l’on observe K numéros de séries d’appareils, que le plus grand est S, et qu’on les suppose numérotés à partir de 1, quelle est la meilleure estimation du nombre N d’appareils existants ? On démontre[réf. nécessaire] que le meilleur estimateur simple est N = S.(K − 1) / (K − 2), et surtout que la précision de cette estimation croît très vite, même avec de petites valeurs de K. Autre exemple possible : supposons qu’une proportion p inconnue d’électeurs vote « oui » avec p ∈ [0,1]. On tire de la population un échantillon de n électeurs parmi lesquels un nombre x a voté « oui ». La fonction de vraisemblance vaut donc : En multipliant cela par la fonction de densité de probabilité a priori de p et en normalisant, on calcule la distribution de probabilité a posteriori de p, ce qui injecte l'information des nouvelles données du sondage. Ainsi, si la probabilité a priori de p est uniforme sur l'intervalle [0,1], alors la probabilité a posteriori aura la forme d'unefonction bêta. la constante étant différente de celle de la fonction de vraisemblance. La fonction bêta se retrouve avec une grande régularité dans ces questions d’estimation. Le calcul de la variation d’entropie entre l’ancienne et la nouvelle distribution permet de quantifier exactement, en bits, l’information obtenue. Les règles de la théorie mathématique des probabilités s’appliquent à des probabilités en tant que telles, pas uniquement à leur application en tant que fréquences relatives d’évènements aléatoires. On peut décider de les appliquer à des degrés de croyance en certaines propositions. Ces degrés de croyance s’affinent au regard d’expériences en appliquant le théorème de Bayes. Le Théorème de Cox-Jaynes justifie aujourd’hui très bien cette approche, qui n’eut longtemps que des fondements intuitifs et empiriques. À titre d’exemple, imaginons deux urnes remplies de boules. La première contient dix (10) boules noires et trente (30) blanches ; la seconde en a vingt (20) de chaque. On tire sans préférence particulière une des urnes au hasard et dans cette urne, on tire une boule au hasard. La boule est blanche. Quelle est la probabilité qu'on ait tiré cette boule dans la première urne sachant qu'elle est blanche? Intuitivement, on comprend bien qu'il est plus probable que cette boule provienne de la première urne, que de la seconde. Donc, cette probabilité devrait être supérieure à 50 %. La réponse exacte vient du théorème de Bayes. Soit H1 l’hypothèse « On tire dans la première urne. » et H2 l’hypothèse « On tire dans la seconde urne. ». Comme on tire sans préférence particulière, P(H1) = P(H2) ; de plus, comme on a certainement tiré dans une des deux urnes, la somme des deux probabilités vaut 1 : chacune vaut 50 %. Notons 'D' l’information donnée « On tire une boule blanche. » Comme on tire une boule au hasard dans une des urnes, la probabilité de D sachant/sous l’hypothèse H1 vaut : De même si l’on considère H2, La formule de Bayes dans le cas discret nous donne donc. Avant que l’on regarde la couleur de la boule, la probabilité d’avoir choisi la première urne est une probabilité a-priori, P(H1) soit 50 %. Après avoir regardé la boule, on révise notre jugement et on considère P(H1|D), soit 60 %, ce qui confirme notre intuition première. Qui croire, et avec quelle probabilité? Cette approche bayésienne est utilisée par les centres anti-poison pour détecter le plus vite possible et avec le maximum de précision le type d’empoisonnement dont souffre probablement un patient. Un problème régulièrement soulevé par l’approche bayésienne est le suivant : si une probabilité de comportement (délinquance, par exemple) est fortement dépendante de certains facteurs sociaux, culturels ou héréditaires, alors : Les faux positifs sont une difficulté inhérente à tous les tests : aucun test n’est parfait. Parfois, le résultat sera positif à tort, ce que l’on nomme parfois risque du premier ordre ou risque alpha. Par exemple, quand on teste une personne pour savoir si elle est infectée par une maladie, il y a un risque généralement infime que le résultat soit positif alors que le patient n’a pas contracté la maladie. Le problème alors n’est pas de mesurer ce risque dans l’absolu (avant de procéder au test), il faut encore déterminer la probabilité qu’un test positif le soit à tort. Nous allons montrer comment, dans le cas d’une maladie très rare, le même test par ailleurs très fiable peut aboutir à une nette majorité de positifs illégitimes. Imaginons un test extrêmement fiable : Imaginons que la maladie ne touche qu’une personne sur mille, soit avec une probabilité 0,001. Cela peut paraître peu mais dans le cas d’une maladie mortelle, c’est considérable. Nous avons toutes les informations nécessaires pour déterminer la probabilité qu’un test soit positif à tort, ce qui peut causer un surdiagnostic. Désignons par A l’évènement « Le patient a contracté la maladie » et par B l’évènement « Le test est positif ». La seconde forme du théorème de Bayes dans le cas discret donne alors : Sachant que le test est positif, la probabilité que le patient soit sain vaut donc environ : (1 − 0,019) = 0,981. Du fait du très petit nombre de malades, Si le traitement est très lourd, coûteux ou dangereux pour un patient sain, il peut être alors opportun de faire subir à tous les patients positifs un test complémentaire (qui sera sans doute plus précis et plus coûteux, le premier test n’ayant servi qu’à écarter les cas les plus évidents). On a tout de même réussi avec le premier test à isoler une population vingt fois moindre qui contient pratiquement tous les malades. En procédant à d’autres tests, on peut espérer améliorer la fiabilité du test. Le théorème de Bayes nous montre que dans le cas d’une probabilité faible de la maladie recherchée, le risque d’être déclaré positif à tort a un impact très fort sur la fiabilité. Le dépistage d'une maladie rare telle que le cancer peut causer le surdiagnostic.Le théorème de Bayes en Statistique [modifier]
la probabilité que A et B aient tous les deux lieu. En divisant de part et d’autre par P(B), on obtient :
Autres écritures du théorème de Bayes [modifier]
La démarche d’I. J. Good [modifier]
Théorème de Bayes pour des densités de probabilité [modifier]
Inférence bayésienne [modifier]
Exemples [modifier]
De quelle urne vient la boule ? [modifier]
Pronostics contradictoires [modifier]
Aspects sociaux, juridiques et politiques [modifier]
« Faux positifs » médicaux [modifier]
Références [modifier]
Différentes versions de l’essai original, en anglais [modifier]
Commentaires en anglais [modifier]
Autres références [modifier]
Articles connexes [modifier]
07:53 Publié dans Théorème de Bayes | Lien permanent | Commentaires (0) | 
| 
del.icio.us | 
| 
Digg | 
Facebook