Introduction Aux Statistiques Bay Siennes

2.22.2.1Approche partiellement informativeNotion de lois conjuguéesDéfinition 2.1. Une famille F de distributions sur Θ est dite conjuguée pour la loi f (x θ) si pourtout π F ; la distribution a posteriori π(. x) appartient également à F.L’avantage des familles conjuguées est avant tout de simplifier les calculs. Avant le développement des outils de calcul numérique, ces familles étaient pratiquement les seules qui permettaientde faire aboutir des calculs. Un autre intérêt est que la mise à jour la loi se fait à travers lesparamètres de la loi et donc l’interprétation est souvent bien plus facile.Exemple : La famille de toutes les lois de probabilité sur Θ est toujours conjuguée par la loif (. θ), et ce quelque soit la loi f (. θ).Ce premier exemple trivial n’a pas d’intérêt concret mais il permet de se rendre compte qu’unefamille conjuguée n’a d’intérêt que si elle n’est pas trop grande. En particulier, on prendra desfamilles de lois paramétriques de dimension finie.Quelques exemples de lois conjuguéesf (x θ)π(θ) 2 π(θ x) σ µ τ 2 x σ 2 τ 2N σ2 τ 2 , σ2 τ 2N (θ, σ 2 ) N (µ, τ 2 )P(θ)Ga(ν, θ)B(n, θ)N (µ, 1θ )Ga(α, β)Ga(α x, β 1)Ga(α, β)Ga(α ν, β x)Be(α, β) Be(α x, β n x)2Ga(α, β) Ga(α 12 , β (µ x))2Une loi conjuguée peut être déterminée en considérant la forme de la vraisemblance f (x θ)et en prenant une loi a priori de la même forme que cette dernière vue comme une fonction duparamètre.Exemple : on considère une loi Pareto de paramètres (α, a) :f (x θ, a) θaθχ[a, [ (x).xθ 1Supposons a connu, f (x θ) θeθ log(a/x) x 1 χ[a, [ (x). On pourrait donc prendre une loi a priori detype Gamma.2.2.2Cas du modèle exponentielDéfinition 2.2. On appelle famille exponentielle à s paramètres, toute famille de loi de distribution{Pθ } dont la densité a la forme suivante :!sXf (x θ) expηj (θ)Tj (x) B(θ) h(x) exp (hη(θ), T (x)i B(θ)) h(x)j 1où ηi (.) et B(.) sont des fonctions du paramètre θ et les Ti (.) sont des statistiques. Le vecteur η(θ)est appelé paramètre naturel de la famille.6

La vraisemblance complète d’une séquence (x1 , ., xn ) s’écrit! n!nXYf (x θ) exp hη(θ),T (xi )i nB(θ)h(xi ) .i 1i 1PnTn (x) i 1 T (xi ) est appelé vecteur de statistiques exhaustives pour θ. Cette statistique contienttoute l’information de l’échantillon sur les paramètres de la loi de probabilité. Nous renvoyons lelecteur intéressé par la notion de statistique exhaustive à un cours avancé de statistique classique.Il est habituel d’écrire le modèle exponentiel sous la forme dite canonique en le reparamétrant(on pose θ̃i ηi (θ)) ce qui donne f (x θ) exp hθ̃, T (x)i A(θ̃) h(x).La plupart des lois classiques forment des familles exponentielles. On peut citer par exempleles lois de Bernoulli, Poisson, binomiale (avec n fixé), exponentielle, χ2 , normale, gamma, beta, .A contrario, les lois dont le support dépend de θ ne forment jamais des familles exponentielles.Proposition 2.1. Soit f (x, θ) appartenant à une famille exponentielle canonique. Alors une famille de loi a priori conjuguée pour f (x, θ) est donnée par :π(θ) K(µ, λ) exp(hθ, µi λA(θ))où (µ, λ) sont des paramètres (µ de dimension s et λ de dimension 1) et K(µ, λ) est une constantede renormalisation. Dans ce cas la loi a posteriori est de la forme :π(θ x) exp(h(µ T (x)), θi (λ 1)A(θ)).Dem.π(θ x) f (x θ)π(θ) exp (hθ, T (x)i A(θ)) exp(hθ, µi λA(θ)) exp(h(µ T (x)), θi (λ 1)A(θ)).Exemple : exercice 4 du TD2.Remarque 2.1. La proposition 2.1 est formelle, elle peut aboutir à des lois π(θ) non intégrables !Dans la suite on pourra éventuellement considérer des lois π telles queZπ(θ)dθ θOn parle alors de distribution impropre.Important : la distribution a posteriori doit être définie i.e.Zf (x θ)π(θ)dθ .θExemples :— Si X suit une loi normale N (θ, 1) et que π est la mesure de Lebesgue sur R alorsZZ(x θ)21 e 2 dθ 1f (x θ)dθ 2πθ Rθ Ret ainsi la loi a posteriori est π(θ X) N (X, 1).— Exercice 5 du TD2.7

2.3Loi a priori non informativeDans le cas où on dispose que de peu d’informations sur θ, on peut choisir des loi a priori ditespeu ou non informatives. On souhaite que l’a priori intervienne de façon minimale dans la loi aposteriori , i.e. que les données parlent d’elles même.2.3.1Lois invariantes— Soit f une densité sur Rd , la famille de lois {f (. θ)}θ Rd avec f (. θ) f (. θ) est invariantepar translation : en effet, si X f (x θ) alors X θ0 f (x θ θ0 ). On dit dans ce cas queθ est un paramètre de position. Comme {f (. θ)}θ Rd {f (. θ θ0 )}θ Rd , il est naturel dedemander à la loi a priori π d’être invariante par translation, c’est à dire qu’elle satisfasseπ(θ) π(θ θ0 ) pour tous θ0 Θ. On trouve alors que π est constante, c’est-à-dire la loi(éventuellement impropre) uniforme sur Θ.— Si la famille de lois est paramétrée par un paramètre d’échelle, c’est à dire que l’on a f (x σ) 1f ( σx ) pour σ R et f une densité sur Rd , alors elle est invariante par changementσd’échelle : Si X f (x σ), alors αY f (x σα) avec α 0. On dit dans ce cas que σ estun paramètre d’échelle. Comme {f (. σ)}σ R {f (. σα)}σ R , il est naturel de demanderà la loi a priori π d’être invariante par changement d’échelle, c’est-à-dire qu’elle satisfasseπ(σ) απ(ασ) pour tous α 0. Ceci implique que π(σ) c/σ où c est une constante.Dans ce cas la mesure invariante n’est plus constante.Ces approches invariantes sont parfois d’un intérêt limité pour plusieurs raisons :— possibilité d’avoir plusieurs structures d’invariance,— possibilité de ne pas avoir de structure d’invariance,— parfois artificiel, sans intérêt pratique.2.3.2Loi a priori de JeffreysIntuitivement, si l’on ne veut pas d’un a priori informatif, on pourrait penser que la meilleurestratégie est de prendre la loi uniforme sur Θ.Exemple : On s’intéresse à la probabilité de naissance d’une fille notée θ [0, 1]. On peutprendre la loi a priori uniforme sur [0, 1].Cette approche soulève tout de même un problème très important : la notion de non-informationdépend de la paramétrisation du problème ! Par exemple, si θ a pour loi a priori U([0, 1]) et si θφ log 1 θest une reparamétrisation du modèle, alors l’a priori sur φ a pour densité π(φ) e φqui semble beaucoup plus informatif. On voit ainsi qu’une bonne notion de loi a priori(1 e φ )2non-informative est une loi invariante par reparamétrisation.La loi a priori de Jeffreys est fondée sur l’information de Fisher.a) Cas unidimensionnel.On rappelle la définition de l’information de Fischer :#"2 I(θ) Elog f (X θ) θqui, sous certaines conditions de régularité, peut se réécrire 2 I(θ) Elog f (X θ) . θ28

Définition 2.3. La loi a priori de Jeffreys est donnée parpπ(θ) I(θ).Cette loi possède deux intérêts principaux :— I(θ) est un indicateur de la quantité d’information apportée par le modèle f (x θ). DoncI(θ) est grand lorsque le modèle varie fortement autour de θ. par conséquent, au moins àun niveau qualitatif, il paraı̂t intuitivement justifié que les valeurs de θ pour lesquelles I(θ)est plus grande doivent être plus probables a priori.— La loi de Jeffreys est invariante par reparamétrisation. En effet soit φ h(θ) avec h unC 1 -difféomorphisme. Si on note π la loi a priori de θ, alors φ estq de loi π̃ avec π̃(φ) Ce calcul justifieπ(φ) (h 1 )0 (φ) . De plus on a I(φ) I(φ) (h 1 )0 (φ) 2 donc π̃(φ) I(φ).en particulier la présence de la racine carrée.b) Cas multi-dimensionnel.Si θ Rk alors I(θ) est une matrice dont les coefficients sont 2log f (X θ) .Iij (θ) E θi θjDéfinition 2.4. La loi a priori de Jeffreys est donnée parpπ(θ) det(I(θ)).Si θ Rk alors I(θ) est une matrice dont les coefficients sont 2Iij (θ) Elog f (X, θ) . θi θjDéfinition 2.5. La loi a priori de Jeffreys est donnée parpπ(θ) det(I(θ)).Exemple : Si X N (µ, σ 2 ) et que l’on cherche à estimer θ (µ, σ 2 ), alors π(θ) σ 2 .2.4Cas particulier du modèle normalOn a déjà vu que lorsque l’on considère un échantillon i.i.d. X1 , ., Xn N (θ, σ 2 ) on peutprendre une loi gaussienne a priori sur θ, on obtient alors une loi conjuguée : Si π(θ) N (µ, τ 2 )alorsσ2 τ 2σ2π(θ x1 , ., xn ) N (x̄n 2 n 2 (x̄n µ), 2 n 2σn τσn τP2avec x̄n n1 ni 1 xi et σn2 σn . On peut montrer que ce résultat se généralise pour une loigaussienne multidimensionnelle.Proposition 2.2. Soit un échantillon i.i.d. X1 , ., Xn Np (θ, Σ) avec Σ une matrice de covariance connue. Si π(θ) Np (µ, A) alors on a une loi cinjuguée :Σ Σ( A) 1 (x̄n µ), (A 1 nΣ 1 ) 1 ).n nOn peut naturellement se demander ce qui se passe lorsque l’on cherche à estimer l’espéranceet la variance en même temps. On a besoin d’une nouvelle loi a priori sur (θ, Σ).π(θ x1 , ., xn ) Np (x̄n 9

2.4.1Un premier a prioriOn se place en dimension 1 et on considère un échantillon X1 , ., Xn i.i.d. de loi N (θ, σ 2 ). OnnotennX1X2xi , sn (xi x̄n )2 .x̄n n i 1i 1La vraisemblance vaut2L(θ, σ ; x1 , ., xn ) σ n 1 22exp 2 (sn n(x̄ θ) ) .2σEn supposant θ et σ indépendants et en appliquant le principe d’invariance on peut prendre l’apriori non informatif π(θ, σ) σ1 . C’est également l’a priori de Jeffreys. On trouve alors n s2n2 12 2 nπ(x θ, σ ) σ exp 2 (x̄n θ) (σ ) 2 exp 2 .σ2σOn a donc la loi a posteriori suivante :Proposition 2.3.σ2π(θ σ, x) N (x̄n , ) n n 1 s2n2π(σ x) IG,22où la loi IG(α, β) est la loi inverse gamma de densitéβαe β/x χ]0, [ (x).Γ(α)xα 1Ce premier résultat est partiellement intéressant car nous n’obtenons pas une loi conjuguée.2.4.2Loi a priori conjuguéePour obtenir une loi a priori conjuguée et au vue du résultat précédent, on va introduire unedépendance entre θ et σ 2 . On considère la loi a priori suivante :π(θ, σ 2 ) π1 (θ σ 2 )π2 (σ 2 )où σ2π1 (θ σ ) N θ0 ,n0 ν s202π2 (σ ) IG,.2 22Notons que l’on a 4 hyperparamètres θ0 , n0 , νets20 . On trouve alors la loi a posteriori suivante : 1 22 n ν 32π(θ, σ x) σexp 2 (s1 n1 (θ θ1 ) )2σ10

où1(n0 θ0 nx̄n )n1 1 12s21 s2n s20 (n 10 n ) (θ0 x̄n ) .n1 n n0 ,θ1 On obtient donc le

crivant la distribution de probabilit e. On remarque que dans les exemples 3 et 4, on dispose d’une information suppl ementaire sur ce param etre. Ce cours est destin e a donner un cadre pr ecis pour l’utilisation de cette information a priori dans un probl eme d’inf erence. 1 Introduction aux principes de l’inf erence bay esienne. 1.1 Rappels de probabilit es D e nition 1.1 .