Inscription / Connexion Nouveau Sujet
Accueil l'île des mathématiques Forum de mathématiquesListe de tous les forums de mathématiques SupérieurOn parle exclusivement de maths, pour le supérieur principalement, les BTS, IUT, prépas... Autre StatistiquesTopics traitant de statistiques [tout]Lister tous les topics de mathématiques
Niveau autre
Partager :

droite de regression

Posté par chlomolamb (invité) 22-06-06 à 23:30

bonjour tout le monde

connaissez vous une démonstration pas trop difficile ni trop longue pour déterminer la droite de régression avec la méthode des moindres carrés.toutes les démo que j'ai trouvée sont longue et demandent de se rappeler de beaucoup d'astuces ou bien utilisent des outils compliqués.si je tombe dessus au capes c'est mort!!

Posté par
Roulianere : droite de regression 23-06-06 à 00:00

Je crois que la démo est de toute façon pas facile.

Tu peux voir une démo sur le site de megamaths ( dans la leçon sur ce thème)

Posté par
Nicolas_75 Correcteurre : droite de regression 23-06-06 à 04:14

Bonjour,

Je crois avoir trouvé une démonstration facile, niveau Terminale.

(1) Rappel du théorème

Du moins formulé à ma sauce.

Définition et théorème. Soit C un caractère statistique double, X et Y ses caractères marginaux, et \left((x_i,y_j), n_{ij}\right) la série statistique double discrète associée au caractère C. On note M_{ij} les points de coordonnées (x_i,y_j). On les renumérote en les points M_1, ..., M_n, respectivement associés à l'effectif n_1, ..., n_n. Ils forment un nuage de points.
On suppose que X n'est pas un caractère constant, donc que V(X)\neq 0.
Soit une droite \mathscr{D} quelconque, mais non verticale. On définit la distance verticale entre le nuage et \mathscr{D} par \displaystyle\delta=\frac{1}{N}\Bigsum_{k=1}^nn_kM_kH_k^2 où H_k est le point de \mathscr{D} ayant même abscisse que M_k.
(1) Il existe une unique droite \mathscr{D}_0 minimisant cette distance verticale. Elle s'appelle la droite d'ajustement de Y en X par la méthode des moindres carrés ou méthode de Gauss. Elle a pour équation :
\fbox{y-\overline{Y}=a\left(x-\overline{X}\right)\;\textrm{avec}\; a=\frac{\mathrm{cov}(X,Y)}{V(X)}}
ou encore :
\fbox{y=\frac{\mathrm{cov}(X,Y)}{V(X)}\, x+\left(\overline{Y}-\frac{\mathrm{cov}(X,Y)}{V(X)}\,\overline{X}\right)}
(2) Elle passe par le point moyen du nuage, de coordonnées \left(\overline{X},\overline{Y}\right).
(3)La distance verticale des points à la droite des moindres carrés s'exprime alors par :
\fbox{\delta_{min}=V(Y)\left[1-r_{XY}^2\right]\;\;\in[0;V(Y)]}
où r_{XY}, appelé coefficient de corrélation, est le réel défini par :
\fbox{r_{XY}=\frac{\mathrm{cov}(X,Y)}{\sigma(X)\sigma(Y)}}
(4) Le coefficient de corrélation est donc une bonne mesure de la qualité de l'ajustement affine :
(i) -1\le r_{XY}\le 1
(ii) on a : r^2=a\cdot a' où a est défini ci-dessus et a' est la pente de la droite d'ajustement de X en Y (on suppose V(Y)\neq 0) ;
(iii) on a : |r|=1\Longleftrightarrow Y est une fonction affine de X, c'est-à-dire que tous les points du nuage sont sur la droite d'ajustement ;
(iv) l'ajustement est d'autant meilleur que r_{XY}\simeq \pm 1 ;
(v) l'ajustement est d'autant plus mauvais que r_{XY}\simeq 0.
(5)La distance verticale entre une droite \mathscr{D} quelconque d'équation y=ax+b et le nuage de points s'écrit :
\fbox{f(a,b)=\delta_{min}+\frac{1}{N}\Bigsum_{i=1}^pn_i\left[a'x_i+b'\right]^2=\delta+\overline{\left[a'X+b'\right]^2}}
avec a'=a-\frac{\mathrm{cov}(X,Y)}{V(X)} et b'=b-\left(\overline{Y}-\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\right)

(2) La démonstration simple

Il existe une démonstration "classique" minimisant la distance d'une droite quelconque y=ax+b avec le nuage de points. Cette distance est une fonction de 2 variables, donc la démonstration fait intervenir du calcul différentiel.

Je pense avoir trouvé beaucoup plus simple, accessible en Terminale (corsé). C'est en fait le point (5) du théorème ci-dessus. Cette démonstration ne fait intervenir que des expressions du second degré, sans dérivation. Revers de la médaille : les calculs sont un peu lourds, et nécessitent de bien maîtriser les notions statistiques définies en cours.

Soit \mathscr{D} une droite quelconque d'équation y=ax+b. La distance verticale entre le nuage et la droite s'écrit :
f(a,b)=\frac{1}{N}\Bigsum_{i=1}^pn_i\left(y_i-ax_i-b\right)^2=\overline{\left(Y-aX-b\right)^2}
On définit a', b' et \delta_{min} de la façon suivante :
\left\{\begin{array}{rcl} \\ a & = & a'+\frac{\mathrm{cov}(X,Y)}{V(X)}\\ \\ b & = & b'+\left(\overline{Y}-\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\right)\\ \\ \delta_{min} & = & V(Y)\left[1-\frac{\left[\mathrm{cov}(X,Y)\right]^2}{V(X)V(Y)}\right] = V(Y)\left[1-r_{XY}^2\right] \\ \end{array}\right.
Il vient :
\begin{array}{rcl} \\ f(a,b) & = & \displaystyle\overline{\left(Y-a'X-\frac{\mathrm{cov}(X,Y)}{V(X)}X-b'+\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}-\overline{Y}\right)^2}\\ \\ & = & \displaystyle\overline{\left[\left(Y-\frac{\mathrm{cov}(X,Y)}{V(X)}X-\overline{Y}+\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\right)+\left(-a'X-b'\right)\right]^2}\\ \\ & = & ...\\ \\ & = & \displaystyle\delta_{min}-2\underbrace{\overline{\left(Y-\frac{\mathrm{cov}(X,Y)}{V(X)}X-\overline{Y}+\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\right)\left(a'X+b' \right)}}_{=\displaystyle\beta}\\ \\ & & +\overline{\left(a'X+b'\right)^2} \\ \end{array}
où \beta désigne tout ce qui suit le "2" jusqu'au bout de la ligne.
En développant :
\begin{array}{rcl} \\ \beta & = & a'\overline{XY}-a'\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X^2}-a'\overline{X}\overline{Y}+a'\frac{\mathrm{cov}(X,Y)}{V(X)}\left(\overline{X}\right)^2\\ \\ & & + b'\overline{Y}-\frac{\mathrm{cov}(X,Y)}{V(X)}b'\overline{X}-b'\overline{Y}+b'\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\\ \\ & = & a'\mathrm{cov}(X,Y)-a'\frac{\mathrm{cov}(X,Y)}{V(X)}V(X)+0+0\\ \\ & = & 0 \\ \end{array}
Donc :
f(a,b)=\delta_{min}+\underbrace{\overline{\left[a'X+b'\right]^2}}_{\displaystyle=\zeta}

On a ainsi trouvé l'expression générale de la distance verticale entre une droite et le nuage : f(a,b) est la somme d'une constante (\delta_{min}) et d'une grandeur variable \zeta (en fonction de a' et b') mais toujours positive.

(1) On en conclut l'existence de la droite des moindres carrés, correspondant à a'=b'=0, c'est-à-dire à :
\left\{\begin{array}{rcl} \\ a & = & a'+\frac{\mathrm{cov}(X,Y)}{V(X)}\\ \\ b & = & b'+\left(\overline{Y}-\frac{\mathrm{cov}(X,Y)}{V(X)}\overline{X}\right) \\ \end{array}\right.
La distance entre la droite des moindres carrés et le nuage vaut alors : \delta_{min} = V(Y)\left[1-\frac{\left[\mathrm{cov}(X,Y)\right]^2}{V(X)V(Y)}\right] = V(Y)\left[1-r_{XY}^2\right]

(2) Quant à l'unicité...
Une droite y=ax+b minimise la distance au nuage si et seulement si elle permet également d'atteindre \delta_{min} donc si \overline{\left[a'X+b'\right]^2}=0
Une somme de carrés est nulle si et seulement si tous les carrés sont nuls :
\forall i\in|[1,p]|,\; a'x_i+b'=0
Soit un i_0 quelconque dans |[1,p]| :
b'=-a'x_{i_0}
Alors :
\forall i\in|[1,p]|,\; a'\left(x_i-x_{i_0}\right)=0
Or, puisque X n'est pas constant, il existe un i_1 différent de i_0 tel que x_{i_1}\neq x_{i_0}. On en déduit a'=0, puis b'=0.

Fin de la démonstration.

Sauf erreur !

Nicolas

Posté par
JJare : droite de regression 23-06-06 à 07:41

Il me semble que la démonstration classique donnée dans :
http://fr.wikipedia.org/wiki/Régression_linéaire
au paragraphe: "Démonstration des formules par étude d'un minimum" est des plus simples (quelques lignes seulement)

Posté par chlomolamb (invité)re : droite de regression 23-06-06 à 09:53

bonjour et merci a tous et particulièrement à nicolas quel courage d'avoir tapé tout ça.mais avouez quand même que ce n'est pas si facile à retrouver tout seul sans documents...
encore merci a tous

Posté par
Nicolas_75 Correcteurre : droite de regression 23-06-06 à 10:08


chlomolamb, je t'en prie.
Regarde bien le lien donné par JJa : je pense que c'est la démonstration attendue.

Bonjour JJa. Je ne prétends évidemment pas dire quelle démonstration est la "meilleure" ou non, mais voici mon sentiment...

a) La démonstration que tu signales sur wikipedia est la plus "classique". Mais, en Terminale, elle ne me semble pas très rigoureuse. En effet, on est face à une fonction de 2 variables :
- on minimise par rapport à b en gardant a constant,
- puis on remplace b par sa valeur minimale, et on minimise par rapport à a.
Je ne vois pas bien quel théorème de Terminale justifie ce raisonnement.

b) En revanche, la démonstration ci-dessus me semble complètement explicable en Terminale, et donne en même temps deux "bonus" :
- l'expression de la distance minimale, faisant intervenir le coefficient de corrélation, avec un facteur en (1-r²) permettant de justifier pourquoi on dit que l'approximation est d'autant meilleure que le coefficient est proche de +-1
- l'expression de l'écart entre la distance d'une droite quelconque et la distance minimale

Ce n'est que mon avis. Mais chacun est libre de choisir l'approche qui lui convient le mieux, bien sûr.

Nicolas

Posté par
Nicolas_75 Correcteurre : droite de regression 23-06-06 à 10:09

(chlomolamb, la démonstration que je propose ci-dessus ne me semble pas adaptée au CAPES : trop longue, trop de "chances" de faire des erreurs de calcul)

Posté par chlomolamb (invité)re : droite de regression 23-06-06 à 10:13

nicolas merci mais laquelle me conseillez vous alors

Posté par chlomolamb (invité)re : droite de regression 23-06-06 à 10:15

pour la démo de wikipédia quel théorème (deug) justifie cette démarche

Posté par
Nicolas_75 Correcteurre : droite de regression 23-06-06 à 10:25

Citation :
mais laquelle me conseillez vous alors

Je ne peux pas répondre précisément à ta question. Je n'ai jamais passé le Capes, et ne sais pas ce que l'on attend des candidats.

Il me semble que cette démonstration fait partie des "zones grises" du programme de Terminale, où tout n'est pas justifiable. Je préfère me taire et laisser d'autres Mathîliens ayant l'expérience du Capes te suggérer la stratégie la plus optimale.

Nicolas

Posté par Laety (invité)re : droite de regression 23-06-06 à 17:54

Bonjour,

j'ai les cours du CNED du capes externe, la démonstration utilisée dans ces cours est celle de Wikipedia...


Rechercher
Menu
Espace membre
Changer d'île

Vous devez être membre accéder à ce service...

Pas encore inscrit ?

1 compte par personne, multi-compte interdit !

Ou identifiez-vous :

Rester sur la page

Inscription gratuite

Fiches en rapport

parmi 1768 fiches de maths

Désolé, votre version d'Internet Explorer est plus que périmée ! Merci de le mettre à jour ou de télécharger Firefox ou Google Chrome pour utiliser le site. Votre ordinateur vous remerciera !