TRAITEMENT STATISTIQUE DES DONN EES

3y ago
27 Views
3 Downloads
7.74 MB
52 Pages
Last View : 18d ago
Last Download : 3m ago
Upload by : Eli Jorgenson
Transcription

TRAITEMENT STATISTIQUE DES DONNÉESS1 - Master PHEAPCChapitre 1 : Rappels GénéreauxPr. M. EL KACIMI(1)(1)Université Cadi AyyadFaculté des Sciences SemlaliaDépartement de PhysiqueAnnée universitaire 2019/2020

Chapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données1,

IntroductionChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données2,

IntroductionIntroductionOn observe des évènements d’un certain type et on mesure les propriétésde chaque évènement Moment de la particule ;Nombre de muons dans l’évènement ;Energie des jets ;Energie déposée dans le CM · · · ;Les distributions de ces mêmes propriétés sont prédites par les modèlesthéoriques, tel que le modèle standard (MS), et ce en fonction desparamètres libres, comme pour l’exemple α, GF , MZ , αZ , MH , · · ·L’analyse des données permet, entre autres, de : Estimer les paramètres libres du modèle ; Quantifier les erreurs sur les paramètres estimés avec un niveau deconfiance donné ; Tester jusqu’à quelle limite une théorie décrit bien les données.Traitement Statistique des Données3,

IntroductionIntroductionComposer avec les incertitudesEn physique des particules, nombre de causes peuvent êtresources des incertitudes : la théorie n’est pas déterministe : mécanique quantique ; erreurs aléatoires (dites statistiques) des mesures :présentes même sans l’effet quantique méconaissance de certaines choses : limitations des prix,temps, · · ·RécapitulatifNous pouvons quantifier les incertitudes en utilisant les probabilitésTraitement Statistique des Données4,

Analyse combinatoireChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données5,

Analyse combinatoireAnalyse combinatoireRappels de quelques casDénombrement des dispositions possibles des éléments d’un ensemble fini :Soient les ensembles A, B,· · · ,S avec card(A) na , card(B) nb , · · · ,card(S) ns .On peut distinguerOrder importantOrdre sans importanceSans remiseAvec remiseArrangement sans répétitionCombinaisons sans répétitionArrangement avec répétitionCombinaisons avec répétitionPaires(xa , xb )Multiplets(xa , xb , · · · , xs )Arrangements de p parmi n avec répétitionArrangements de p parmi n sans répétitionPermutations de n sans répétitionPermutations de n avec répétitionCombinaisons de p parmi n sans répétitionCombinaisons de p parmi n avec répétitionTraitement Statistique des Données::::::::na nbna nb · · · nsnpn!/(n p)!n!n!/(n1 ! · · · ns !n!/[p!(n p)!](n p 1)!/[p!(n 1)6,

Analyse combinatoireAnalyse combinatoireRappels de quelques casPartitions généralisées : on introduit cette notion par l’exemple suivantABCDTotal 335253144423135413131313Total1313131352 A B C D::::nAnBnCnD 13!/(3! 3! 5! 2!) 13!/(5! 3! 1! 4!) 13!/(4! 4! 2! 3!) 13!/(1! 3! 5! 4!)Le nombre total de possibilités est donné par N nA nB nc nD .Traitement Statistique des Données7,

Probabilités : Définition et propriétésChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données8,

Probabilités : Définition et propriétésProbabilitésDéfinitionP est une loi de probabilité sur Ω si :Axiome de positivitéP(Xi ) 0 Xi Ω;Axiome d’additivitéP(Xi ou Xj ) P(Xi ) P(Xj );Axiome de certitudeXP(Xi ) 1;PropriétésΩP(A)P(A A)P( ) if A B P(A B) Traitement Statistique des DonnéesAxiomes de Kolmogorov 19331 P(A)10P(A) P(B)P(A) P(B) P(A B)9,

Probabilités : Définition et propriétésProbabilitésPropriétés : Loi d’additionSoit A Ω, A {· · · , Xi , · · · }.card(A) 1 A évènement élémentaire.On généralise la loi d’addition P(A1 A2 ) P(A1 ) P(A2 ) P(A1 A2 ) aucas où Ai , i 1, · · · , n et Ai Aj 6 , et on utilise les notations suivantesPPi P(AP i ), Pijk P(AP i et Aj etAk ) avec i j k, S1 i Pi ,S2 i j Pij , S3 ijk Pijk , · · · ,la probabilité pour qu’au moins un évènement se produise, appelée aussi laformule du crible de Poincaré, estP(A1 ou A2 · · · ou An )Traitement Statistique des Données S1 S2 S3 · · · ( 1)n Sn .10,

Probabilités conditionnellesChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données11,

Probabilités conditionnellesProbabilités conditionnellesDéfinitionLa probabilité conditionnelle d’avoir A sachant que B est réalisé est définieparP(A B) P(A B)P(B)que l’on peut écrire sous la formeP(A B) P(A B)P(B) P(B A)P(A)Deux évènements sont indépendants si P(A B) P(A) P(B).A ne pas confondre avec A B .La probabilité conditionnelle de réalisation de A sachant B dans ce cas estP(A B)Traitement Statistique des Données P(A)etP(B A) P(B)12,

Probabilités conditionnellesDifférentes écoles de probabilitésFréquentiste ou Bayesienne ?Fréquentistes :Les évènements peuvent être répétés :P(A) limN NANMécanique quantique, diffusion, radioactivité, · · ·Bayesienne :La probabilité est une notion subjective. Les évènements sont deshypothèses et la probabilité d’un évènement A est définie par le degré deconviction que A soit vrai.Les deux interprétations sont consistantes avec les axiomes deKolmogorov.Traitement Statistique des Données13,

Théorème de BayesChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données14,

Théorème de BayesThéorème de BayesEnoncéThéorème de Bayes :P(A B)P(B A) P(A).P(B) Révérend T. Bayes(1702/1761)Soient (H1 , · · · , Hi , · · · ) Hypothèses exclusives et exhaustives Hi Hj et i Hi Ω. AlorsB B ( i Hi ) i (B Hi )et le théorème devientP(A B) P(B A) P(A)P(B A) P(A)P PP(B H)iii P(B Hi ) P(Hi )Traitement Statistique des Données15,

Théorème de BayesThéorème de BayesCas d’étude d’hypothèsesDans le cas de l’étude d’hypothèses au lieu d’évènements, le théorème de Bayes est bienadapté.Soient (θ1 , · · · , θn ) n hypothèses exclusives 2 à 2 et exhaustives. L’on cherche à tester unehypothèse à partir d’un échantillon de données observées X 0 , alors :P(X 0 θi )P(θi )P(X 0 )P(θi X 0 ) : la probabilité à postériori de l’hypothèse θi , sachant X 0 .P(θi X 0 ) P(X 0 θi ) : la probabilité d’obtenir les données X 0 dans le cadre de l’hypothèse θi .P(θi ) : la probabilité à priori de θi , qui représente le degré de conviction dans cettehypothèse avant l’expérience.P(X 0 ) est la probabilité d’obtenir les données X 0 quelque soitpeut êtreP θi . Elleconsidérée comme un facteur de normalisation où P(X 0 ) P(X 0 θj )P(θj ).P(θi X 0 ) P(X 0 θi )P(θi )Si P(X 0 ) est inconnue, on ne peut pas calculer la probabilité à postériori de θi mais onpeut calculer le rapport suivantP(θi X 0 )P(θj X 0 )Traitement Statistique des Données16,

Variables aléatoires et loi de probabilitéChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données17,

Variables aléatoires et loi de probabilitéVariables aléatoires et loi de probabilitéVariables aléatoiresDéfinitionSoit Ω l’ensemble des éventualités, dit aussi univers. La v.a. X est uneapplication définie comme suitX: ei ΩΩei RX(ei ) RX peut être continue ou discrète et prend ses valeurs dansDX {x1 , · · · , xn } où n Card(Ω).Traitement Statistique des Données18,

Variables aléatoires et loi de probabilitéVariables aléatoires et loi de probabilitéLoi de probabilitéDéfinitionX est une v.a. prenant ses valeurs dans DX {x1 , · · · , xn }. La loi deprobabilité associée à X est définie comme suitP:DXxi RP (X xi ) P (ei ) piPropriétéXP(X xi ) Xpi 1PEn effet, i P(ei ) P( i ei ) car ei sont disjoints et comme i ei Ω P( i ei ) P(Ω) 1.iTraitement Statistique des Donnéesi19,

Fonction de densité de probabilité : PropriétésChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données20,

Fonction de densité de probabilité : PropriétésFonction de densité de probabilité : fdpDéfinition, HistogrammeDéfinitionLa probabilité par unité de longueur de x est définie commeP (X x)f (X x) limet dP(x [x, x dx]) f (x)dx x 0 xRPropriété : DX f (x)dx 1.Représentation par un histogramme :On répartit les données en Nt classes (bin) entre xmin et xmax : choix du pas àoptimiser( !) x (xmax xmin )/Nt .Le bin i d’abscisse x xmin (i 1) x, comprend N (x) évènements : alorsf (x)Traitement Statistique des Données N (x)Ntot x21,

Fonction de densité de probabilité : PropriétésFonction de densité de probabilité : fdpExemple HistogrammeN(x)N(x)Exemple de données présentées sous forme d’histogramme :525n 10020315210151234567890010x12345678910xN(x)00N(x)n 1000450220200histo: n 10000n 2000pdf: loi Normale1804016014030120100 Données suivant une loinormale : Autant Nt n est grand autant lesdonnées sont bien lissées Choix du pas (binning) : faire apparaı̂tre l’allure de la pdf.2080601040200012345678910x00Traitement Statistique des Données12345678910x22,

Fonction de densité de probabilité : PropriétésFonction de densité de probabilité : fdpyCas de Plusieures variables54.543.53Evenement A2.5dy2Evenement A B1.5Evenement B1f (X x, Y y) lim x 0, y 0dx0.50-10-8-6-4-2024Si l’on prend A B infinitésimal, on peutdéfinir la probabilité élémentaire dP(A B) f (X x, Y y)dxdyce qui permer d’en déduire la densité jointede probabilité dans le cas de deux variablespar68P(A B) X Y10xEt l’on peut déduire que la définition de la densité jointe de probabilité dans le casde plusieurs variables est donnée par :f (X1 x1 , ., Xn xn )Traitement Statistique des Données lim x1 0,., xn 0P(A1 . An ) x1 . xn23,

Fonction de densité de probabilité : PropriétésFonction de partitionFonction de répartitionUne variable aléatoire X [Xmin , Xmax ] est bien décrite soit par sa fonction dedensité de probabilité f (X) soit par sa fonction de répartition F (X) définie parZ XF (X) f (X ′ )dX ′ .XminPDans le cas d’une v.a. discrète, Fk P(i k) i k P(k).Quelques propriétés :250100002008000150600010040005020000-3-2-101203 F (Xmin ) 0 et F (Xmax ) 1. F (X) est monotone dans [Xmin , Xmax ] ; F (X) P (X ′ X). F (x [X1 , X2 ]) F (X2 ) F (X1 ).En général, la probabilité que les variablesaléatoires X et Y prennent leurs valeurs dansD(X, Y ) estZZdF (X, Y ).P (X, Y D) D(x,y)Traitement Statistique des Données24,

Fonction de densité de probabilité : PropriétésFonctions de densité marginaleFonctions de densité marginaleCas de deux variablesConsidérons le cas de deux variables : X [Xmin , Xmax ] et Y [Ymin , Ymax ] ; Soitf (X, Y ) la densité jointe de probabilité.Densité marginale fx (X) de X : Projection de f (X, Y ) sur l’axe OX :Z Ymaxfx (X) f (X, Y )dY.YminDensité marginale fY (Y ) de Y : Projection de f (X, Y ) sur l’axe OY :Z XmaxfY (Y ) f (X, Y )dX.XminDans le cas des variables discrètes, on obtientXPk (k) P(k, j).jTraitement Statistique des Données25,

Fonction de densité de probabilité : PropriétésFonctions de densité marginaleFonctions de densité marginale 2Exemple : f (X, Y ) 1/ 2πe x /2 e y 2La figure ci-dessous illustre le cas d’une pdf jointe f (x, y) 1/ 2πe x /2 e y ainsique les distributions marginales qui lui sont associées.f x(x) Gauss(x,µ 0,σ 1)400200y01050008642-y0f(x,y) Gauss(x,µ 0,σ 1)*e-2-4-6-yf y(x) e-8-10-10 -8Traitement Statistique des Données-6-4-20246810x26,

Fonction de densité de probabilité : PropriétésFonction de densité de probabilité conditionnelleFonctions de densité de probabilité conditionnelleDéfinitionEvènement A : x [x, x dx] y dP(A) fx (x)dxEvènement B : y [y, y dy] x dP(B) fy (y)dyEvènement A B : (x, y) [x, x dx] [y, y dy] dP(A B) f (x, y)dxdyLa probabilité conditionnelle de B sachant A est donnée pardP(B A) dP(A B) dP(A B)f (x, y)dxdyf (x, y) dydP(A)fx (x)dxfx (x)f (x, y)dxdyf (x, y)dP(A B) dxdP(B)fy (y)dyfy (y)Aussi, les fonctions de densité conditionnelle h(y x) et g(x y) sont données parh(y x) Traitement Statistique des DonnéesdP(B A) yf (x, y)f (x, y), g(x y) fx (x)fy (y)lim y 027,

Changement de variableChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de densité de probabilité conditionnelle8. Changement de variable Cas d’une seule v.a. Cas de plusieures v.a.9. Propriétés des distributions Fonction génératrice des moments10. Propagation des erreurs1.2.3.4.5.6.7.Traitement Statistique des Données28,

Changement de variableCas d’une seule v.a.Changement de variableg(y)dy g(y) Dans le cas où h 1 (y)Pni 1 f (xi ) h′ (x) f (x1 )dx1 f (x2 )dx220dy1510dx500y h(x) h(X) est bijectivef (X) étant la pdf de X. On cherche g(Y ) lapdf de Y .Nous avons P(y [y, y dy]) P(x [x dx])ce qui donne g(y)dy f (x)dx.On déduit alors quef (h 1 (y))1 g(y) f (h 1 (y)) dy/dx h′ (x) h(X) est non bijective. Considérons le casillustré par la figure ci-contre où h 1 (y) {x1 , x2 } et dx1 dx2 dx. Nous obtenonsy h(x)Cas d’une seule v.a X : Y h(X)1234567898930y h(x) (x-5)225x h-1(y) y 5(f (x1 ) f (x2 ))20 h′ (h 1 (y)) y 5) f ( y 5) 2 y15f ( dy10dx1 {x1 , · · · , xn }, alors g(y)Traitement Statistique des Données10x dx250123456710x29,

Changement de variableCas de plusieures v.a.Changement de variableyCas de plusieurs v.a x (x1 , · · · , xn ) et z h( x)4z h(x,y) xy3.5Prenons le cas de x (x, y) de pdf jointe f (x, y).Soit dS l’élément de surface délimité par les hyperplans d’équations zR Ret z dz. Ainsi la probabilitéf (x, y)dxdy ce qui donneP(z [z, z dz]) dS32.5z2z dz1.510.500g(z)dz ZZ dx0Z(z dz)/xf (x, y)dy z/x Z dy00.5Z11.522.533.54x(z dz)/yf (x, y)dxz/y dzzdyf ( , y)yyZ Z dyz dxzg(z) f (x, )f ( , y)xxyy00dxf (x,0z dz) x xZ0Dans le cas général où z est une fonction de n variables aléatoires,Rg(z)dz dS f (x1 , ., xn )dx1 .dxn .Traitement Statistique des Données30,

Changement de variableCas de plusieures v.a.Changement de variableCas de plusieurs v.a x (x1 , · · · , xn ) et z z ( x)Soit x(x1 , · · · , xn ) f ( x) et z (z1 ( x), · · · , zn ( x)). Chaque zi ( x) a une fonctionréciproque xi ( z ).On définit la pdf jointe g( z ). Le but est de chercher les pdf marginales gi (zi )Première étape : déterminer g( z) :g( z) J f ( x( z )) x1 z1 x1 z2 xn z1 xn z2. x1 zn.f (x1 ( z ), ., xn ( z )) xn zn.où J est le jacobien du changement de variables.Exemple : (x1 x, x2 y) (z1 x, z2 xy) :Le jacobien est alors égal à : J x z1 y z1 x z2 y z2Traitement Statistique des Données 1y x01x 11z2 g(z1 , z2 ) f (z1 , ).z1z1z131,

Changement de variableCas de plusieures v.a.Changement de variableCas de plusieurs v.a x (x1 , · · · , xn ) et z h( x)Deuxième étape :On détermine gi (zi ) en intégrant sur toutes les variables zj pour i 6 j :gi (zi ) Z J f (x1 ( z ), · · · , xn ( z ))nYdzjj6 iReprenons l’exemple précédent (x1 x, x2 y) (z1 x, z2 xy) :Cherchons à calculer g2 (z2 ) :g2 (z2 )dz2 dz2Z J f (x, y)dz1ZZz2 dxz2 dz1 f (x, )g2 (z2 ) f (z1 , )z1 z1x xce qui n’est d’autre que le résultat obtenu précédamment.Traitement Statistique des Données32,

Propriétés des distributionsChapitre 1 : Rappels GénéreauxIntroductionAnalyse combinatoireProbabilités : Définition et propriétésProbabilités conditionnellesThéorème de BayesVariables aléatoires et loi de probabilitéFonction de densité de probabilité : Propriétés Fonction de partition Fonctions de densité marginale Fonction de

Chapitre 1 : Rappels G en ereaux 1.Introduction 2.Analyse combinatoire 3.Probabilit es : D efinition et propri et es 4.Probabilit es conditionnelles 5.Th eor eme de Bayes 6.Variables al eatoires et loi de probabilit e 7.Fonction de densit e de probabilit e : Propri et es Fonction de partition Fonctions de densit e marginale

Related Documents:

La science historique des donn ees : la statistique La statistique est l’ etude de la collecte de donn ees, leur analyse, leur traitement, l’interpr etation des r esultats et leur pr esentation a n de rendre les donn ees compr ehensibles par tous. C’est a la fois une science, une

Cette d emarche m ene a d e nir des hypoth eses sur la loi P des donn ees et a d eterminer une famille de lois a laquelle la loi P est susceptible d’appartenir. Ensuite on cherche a identi er la loi P des donn ees dans cette famille de lois, en construi-sant un estimateur. Chapitre 4 introduit des

des repr esentations communes, soit des diff erences pouvant s’expliquer par les niveaux d’enseigne-ment pratiqu es au coll ege. Le recueil des donn ees, a l’aide d’un questionnaire ecrit comportant une centaine de questions ferm ees, semi-ferm ees et ouvertes, a concern e 264 enseignants de coll ege. On

1.3 Recherche des k croquis les plus proches La d etermination des k croquis les plus proches d’un croquis source Q dans la base de donn ees de r ef erence LS sera e ectu ee par une fonction NearestNeighbours(LS, Q, k). Cette fonc-tion devra calculer les distances selon l’alg

1 1 1 Introduction à la statistique descriptive Les méthodes de la statistique descriptive (statistique déductive) permettent de mener des études à partir de données exhaustives, c'est-à-dire concernant tous les individus de

d’information d’une organisation. Definition (Systeme de gestion de base de donn ees) Le systeme logiciel qui permet a des utilisateurs de d efinir, creer, mettre a jour une base de donn ees et d’en

presentation de llinstitut haitien de statistique ’institut haitien de statistique et d’informatique (ihsi) ihsi 50 ans statistique guide la décision

Have a brain storming session where they generate 10-15 themes. (Be patient, they'll get there eventually.) After they generate the list, allow people to talk in behalf of specific ideas Sometimes they may combine items Give everyone 3 votes and go through the list voting. If there is a clear winner then proceed. Otherwise repeat the process, but with one vote. Post the chosen theme .