Test du ?² : encyclopédie mathématiques
Cet article est issu de l'encyclopédie libre Wikipedia.|
|
Cet article ne cite pas suffisamment ses sources (mai 2010).
Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ». (Modifier l'article)
|
|
|
Cet article doit être recyclé.
Une réorganisation et une clarification du contenu sont nécessaires. Discutez des points à améliorer en page de discussion.
|
Le test du χ²[1] est un test statistique permettant de tester l'adéquation d'une série de données à une famille de loi de probabilités ou de tester l'indépendance entre deux variables aléatoires.
Il a été proposé par le statisticien Karl Pearson en 1900[2].
Sommaire
|
À la base d'un test statistique il y a la formulation d'une hypothèse appelée hypothèse zéro (H0). Dans le cas présent, elle suppose que toutes les données considérées dérivent de la même loi de probabilité (ou, dit différemment, la distribution observée n'est pas différente de la distribution supposée d'après la loi que l'on souhaite tester).
Ces données ayant été réparties en classes, il faut
Si cette distance est supérieure à la distance critique, on conclut que le résultat n'est pas dû seulement aux fluctuations d'échantillonnage et que l'hypothèse nulle H0 doit donc être rejetée. Le risque choisi au départ est celui de donner une réponse fausse lorsque les fluctuations d'échantillonnage sont seules en cause. Le rejet est évidemment une réponse négative dans les tests d'adéquation et d'homogénéité mais il apporte une information positive dans les tests d'indépendance. Pour ceux-ci, il montre le caractère significatif de la différence, ce qui est intéressant en particulier dans les tests de traitement d'une maladie.
Il s'agit de juger de l'adéquation entre une série de données statistiques et une loi de probabilité définie a priori (comme une loi uniforme ou une loi de Poisson par exemple).
Exemple concret : Soit un nombre donné de cultures cellulaires rigoureusement identiques. Chacune comporte un certain nombre de colonies. Toutes les cultures sont en fait des cultures de cellules cancéreuses et on cherche à déterminer dans quelle mesure l'action d'un produit empêche leur division. Précisément on veut savoir si le nombre de colonies dont la croissance sera interrompue par le produit suit une loi de Poisson de paramètre λ.
Après avoir exposé les cellules au produit, on obtient des résultats précis: X1 colonies de la première culture ont subi l'influence du produit, X2 pour la deuxième culture... Xn pour la n-ième culture. On effectuera un test du χ² sur ces valeurs pour juger l'hypothèse selon laquelle leur distribution suit une loi de Poisson.
La statistique mathématique a pour but la description d'une population dont on ne connaît qu'un nombre relativement petit d'individus. Pour cela on associe une loi de probabilité à cette population. Mis à part certains problèmes de physique fondamentale et, à l'opposé, certains problèmes élémentaires (jeux de hasard équitables, par exemple), cette loi de probabilité est en toute rigueur inconnue. L'hypothèse selon laquelle la population suit une loi de probabilité donnée a priori peut être testée par la méthode décrite ci-après.
Lorsqu'on découvre un élément de la population, celui-ci est considéré comme une réalisation d'une variable aléatoire correspondant à la loi de probabilité choisie. Plus généralement, un ensemble d'éléments est une réalisation de ce qu'on appelle un échantillon aléatoire.
Les valeurs connues doivent être réparties entre diverses classes. En supposant l'indépendance des valeurs considérées regroupées dans
classes, l'effectif de chaque classe
est une variable aléatoire définie par la loi multinomiale. La loi de probabilité testée permet de définir également pour chaque classe la probabilité
.
Les effectifs mesurés étant , la quantité
représente, d'une certaine manière, la distance entre les données et la loi de probabilité supposée. C'est une réalisation d'une variable aléatoire qui dérive d'une loi du χ² à (m-1) degrés de liberté. La probabilité donnée par les tables de dépassement de la valeur calculée donne alors une indication sur le réalisme de l'hypothèse.
Il est peu vraisemblable que les paramètres qui caractérisent la loi de probabilité (moyenne, variance, ...) soient connus au moment du test. Les données sont donc utilisées pour estimer ceux-ci, ce qui facilite l'adéquation. Il faut alors diminuer le nombre de degrés de liberté du nombre de paramètres estimé.
Celles-ci doivent être assez nombreuses pour ne pas perdre trop d'information mais, à l'inverse, pour satisfaire les conditions requises par la méthode, elles ne doivent pas être trop petites. En théorie, il faudrait que les effectifs soient infinis pour que la loi normale s'applique mais il est généralement admis qu'il faut 5 éléments dans chaque classe. Cette règle a été très discutée et celle qui semble recueillir le plus de suffrages est due à Cochran : 80 % des classes doivent satisfaire la règle des cinq éléments tandis que les autres doivent être non vides. On peut utiliser le crière de Yates pour déterminer ce nombre .
Le critère porte sur les déduits de la distribution de référence et non sur les
des données analysées. Il est souvent satisfait sans difficulté car, à la différence de la construction d'un histogramme, il est possible de jouer sur la largeur des classes.
Il s'agit alors de se demander si deux listes de nombres de même effectif peuvent dériver de la même loi de probabilité. La méthode précédente s'applique en remplaçant le terme relatif à la loi de probabilité par
relatif Ă la seconde liste et le
est donné par
.
Cette notation s'inspire de celle utilisée pour le test d'adéquation, elle-même déduite de la notation classique de la loi multinomiale. Ici, comme dans le test d'indépendance, la notion de probabilité n'apparaît plus de manière explicite. De nombreux utilisateurs préfèrent donc adopter la notation qui utilise les symboles pour les valeurs observées et
pour les valeurs espérées, ce qui conduit à l'expression
.
Lorsqu'on considère plusieurs populations auxquelles on associe le même ensemble de critères qualitatifs, l'hypothèse à tester est l'indépendance entre la population d'appartenance de l'individu et la valeur des critères. L'hypothèse affirme donc que le fait de connaître la population d'un individu n'influence pas la valeur des critères.
Pour ce problème, il est commode de partir d'un exemple concret, comme la relation entre le revenu et le sexe d'un individu. La distribution du revenu des hommes est-elle différente de celui des femmes ? Une représentation sur une table de contingence des occurrences des variables permet d'illustrer la question.
| Salaire | 1000-2000 | 2000-3000 | 3000-4000 | 4000-5000 | Total |
|---|---|---|---|---|---|
| Hommes | 50 | 70 | 110 | 60 | 290 |
| Femmes | 60 | 75 | 100 | 50 | 285 |
| Total | 110 | 145 | 210 | 110 | 575 |
Dans cet exemple fictif on remarque que les femmes sont plus nombreuses dans les classes à bas salaires et moins nombreuses dans celles à haut salaire que les hommes. Cette différence (c’est-à -dire cette dépendance entre les variables) est-elle statistiquement significative ? Le test du χ² aide à répondre à cette question.
On peut constater que pour chaque ligne, il y a 4-1 = 3 variables indépendantes, et pour chaque colonne il y a 2-1 = 1 variable indépendante, ce qui conduit à 3 x 1 = 3 degrés de liberté.
Si on se donne un risque de se tromper (rejeter à tort l'hypothèse nulle) égal à 5 %, la valeur critique trouvée dans les tables est 7,81.
Il faut bâtir l'hypothèse nulle qui, dans ce cas, ne dépend ni d'une loi de probabilité, ni d'une distribution de référence. On suppose qu'il n'y a pas de différence entre les salaires des hommes et ceux des femmes, les proportions des différentes catégories de salaires étant donc conservées d'une ligne à l'autre.
Les données correspondantes sont obtenues en remplaçant la valeur de chaque cellule par le produit du total de sa colonne, divisé par le total général, et multiplié par le total de sa ligne. On vérifie que les totaux sont inchangés.
| Hypothèse | 1000-2000 | 2000-3000 | 3000-4000 | 4000-5000 | Total |
|---|---|---|---|---|---|
| Hommes | 55,5 | 73,1 | 105,9 | 55,5 | 290,0 |
| Femmes | 54,5 | 71,9 | 104,1 | 54,5 | 285,0 |
| Total | 110,0 | 145,0 | 210,0 | 110,0 | 575,0 |
Le calcul du χ² des données s'effectue en remplaçant le terme relatif à chaque cellule par la quantité indiquée pour le test d'homogénéité et calculée à partir des deux tableaux précédents.
| 1000-2000 | 2000-3000 | 3000-4000 | 4000-5000 | Total | |
|---|---|---|---|---|---|
| Hommes | 0,54 | 0,13 | 0,16 | 0,37 | 1,20 |
| Femmes | 0,55 | 0,14 | 0,16 | 0,38 | 1,23 |
| Total | 1,09 | 0,27 | 0,32 | 0,75 | 2,43 |
La distance calculée (2,43) étant inférieure à la distance critique (7,81), il n'y a pas lieu de mettre en cause l'égalité des salaires, avec un risque de se tromper égal à 5%.
Il convient de rappeler que ce résultat repose sur des données choisies arbitrairement qui ont... peu de chance de représenter une réalité quelconque.
De manière plus profonde, les classes choisies, à la différence de ce qui se passait dans les tests d'adéquation et d'homogénéité, bien que présentant ici un aspect numérique, pourraient fort bien être associées à des notions qualitatives sans que le raisonnement soit modifié.
Le test utilisé, le Chi-carré de Pearson, s'intéresse à la différence entre la valeur observée Oij (ou valeur empirique) et la valeur attendue s'il y avait indépendance Eij; (ou valeur théorique).
avec
On a :
oĂą
et
H0 : : les variables sont indépendantes (Hypothèse nulle).
H1 : : les variables ne sont pas indépendantes, l'écart entre valeur observée et attendue n'est pas dû au hasard).
Cette statistique suit asymptotiquement une Loi du χ² à (I-1)(J-1) degrés de liberté, avec I le nombre de modalités de la première variable et J les nombre de modalités de la seconde variable.
Plusieurs auteurs proposent des critères pour savoir si un test est valide, voir par exemple [PDF] The Power of Categorical Goodness-Of-Fit Test Statistics p. 19 (p. 11 du ch. 2), Michael C. Steele. On utilise en général le critère de Cochran de 1954 selon lequel toutes les classes i, j doivent avoir une valeur théorique non nulle (E i, j ≥ 1), et que 80 % des classes doivent avoir une valeur théorique supérieure ou égal à 5 :
Lorsque le nombre de classes est petit, cela revient à dire que toutes les classes doivent contenir un effectif théorique supérieur ou égal à 5.
D'autres valeurs ont été proposées pour l'effectif théorique minimal : 5 ou 10 pour tous (Cochran, 1952), 10 (Cramér, 1946) ou 20 (Kendall, 1952). Dans tous les cas, ces valeurs sont arbitraires.
Certains auteurs ont proposé des critères basés sur des simulations, par exemple :
Il existe un test asymptotique très semblable, le test du rapport de vraisemblance (likelihood ratio test), ainsi qu'un test exact, le test de Fisher.
Le développement des méthodes bayésiennes - seules utilisables lorsqu'on n'a que peu de données sous la main - a dégagé un test de vraisemblance nommé le psi-test, dont Myron Tribus fait remarquer qu'il devient asymptotiquement identique au χ² à mesure que le nombre de données augmente[3].
Soient A et B les deux variables dont on souhaite tester l'indépendance.
Pour rappel, si A et B sont indépendantes on a la relation suivante :
ou pour la fonction de densité conjointe :
Soit ici
Que vaut p(A=i ) ?
Ă€ partir de la table de contingence, on prendra simplement la somme de toutes les valeurs oĂą A = 1, soit, dans notre notation
Ainsi
Pour la preuve que le test suit une loi Chi-carré, on en donnera ici que quelques « pistes ».
Si on suppose que chaque xij suit une loi de Poisson, on peut montrer que les valeurs standardisées
suivent asymptotiquement une loi normale. Alors
suit asymptotiquement une loi Chi-carré à IJ-1 degrés de liberté
Quant aux degrés de libertés, comme on doit estimer les , on perd (I-1)+(J-1) degrés de liberté (et non pas I+J car
: le dernier paramètre se déduit des autres). On a alors au final
Les phénomènes quantifiables au sein d'une population sont soumis à des fluctuations statistiques. Considérons par exemple le taux de chômage dans un état donné, ou bien le taux de croissance.
D'une année sur l'autre, des variations dans ces taux sont systématiquement enregistrées (baisse ou hausse) pour autant elles ne signifient pas en elle-même, contrairement à une croyance trop répandue, que la variable considérée (taux de croissance ou de chômage) a bel et bien changé (rigoureusement qu'elle a changé de loi, c’est-à -dire que des procédés mis en place sont venus influencer sa distribution). Lorsque l'on considère une variable, il faut distinguer l'impact causal de la fluctuation statistique aléatoire. Ainsi, une baisse du taux de chômage de 2% d'une année à l'autre peut très bien n'être imputable qu'au caractère aléatoire de la variable « taux de chômage » et ne rien signifier sur le plan causal. Cette baisse ne signifie pas d'elle-même que des mesures efficaces ont influencé la loi de distribution du chômage. Seuls les tests statistiques sont connus actuellement pour faire foi et déterminer (à un seuil donné) si cette variation est le fruit du hasard ou non. À cet égard les tests du χ² sont exceptionnellement utiles.
Cet article est issu de l'encyclopédie libre Wikipedia.