Legendre et la méthode des moindres carrés

La méthode du maximum de vraisemblance et celle des moindres carrés sont les outils de la théorie des erreurs ou de l'estimation, utilisés tous les jours dans toutes les sciences d'observation.

La théorie des erreurs a été développée pour résoudre trois problèmes : combiner les erreurs pour choisir une valeur "juste milieu", trouver la loi de densité de probabilité (1) des erreurs, choisir une démarche pour déterminer des quantités dans un système d'équations surdéterminé (2).

L'estimation du maximum de vraisemblance est une méthode statistique courante utilisée pour inférer les paramètres de la distribution de probabilité d'un échantillon de mesures donné.

Par ailleurs, la recherche de la valeur la plus probable d'une quantité observée par diverses mesures donne le résultat suivant : la valeur la plus probable est telle que la somme des carrés des différences entre les observations et cette valeur est minimum.

@@@@@@@

La première publication de la méthode des moindres carrés (destinée à déterminer des quantités dans un système d'équations surdéterminé) est due à Legendre qui l'a donnée en annexe d'un ouvrage intitulé Nouvelles méthodes pour la détermination des orbites des comètes (1805) (3).

 

Gauss, dans son traité Theoria motus corporum coelestium (4) publié en 1809, indique qu’il utilisait cette technique depuis 1795. Il écrit : Au reste, ce principe, dont nous avons fait usage depuis 1795, a été donné dernièrement par Legendre dans ses Nouvelles méthodes pour la détermination des orbites des comètes, Paris, 1806 ; on trouvera dans cet ouvrage plusieurs conséquences que le désir d'abréger nous a fait omettre.

 

 

Cette affirmation de Gauss irrita Legendre. Il écrit à Gauss, quelque temps après, en 1809 (Gauss, Werke, Band. 10/1, p. 380) : Je ne vous dissimulerai donc pas, Monsieur, que j’ai éprouvé quelque regret de voir qu’en citant mon mémoire …, vous dites principum nostrum …Il n’est aucune découverte qu’on ne puisse s’attribuer en disant qu’on avait trouvé la même chose quelques années auparavant ; mais si on n’en fournit pas la preuve en citant le lieu où on l’a publiée, cette assertion devient sans objet et n’est plus qu’une chose désobligeante pour le véritable auteur de la découverte. En Mathématiques il arrive très souvent qu’on trouve les mêmes choses qui ont été trouvées par d’autres et qui sont bien connues; c’est ce qui m’est arrivé nombre de fois, mais je n’en ai point fait mention et je n’ai jamais appelé principum nostrum un principe qu’un autre avait publié avant moi. Vous êtes assez riche de [votre] fonds, Monsieur, pour n’avoir rien à envier à personne; et [je suis] bien persuadé au reste que j’ai à me plaindre de l’expression seulement et nullement de l’intention …

Dans une lettre à Laplace datée de 1812 (Werke, Band 10/1 pp. 373-374) Gauss déclare, pour sa part : J’ai fait usage de la méthode des moindres carrés depuis l’an 1795 (…) Cependant mes applications fréquentes de cette méthode ne datent que de l’année 1802, depuis ce temps j’en fait usage pour ainsi dire tous les jours dans mes calculs astronomiques sur les nouvelles planètes. (…). Au reste j’avais déjà communiqué cette même méthode, beaucoup avant la publication de l’ouvrage de M. Legendre, à plusieurs personnes, entre autres à Mr. Olbers en 1803. Ainsi, pouvais-je dans ma théorie parler de la méthode des moindres carrés, dont j’avais fait depuis sept ans mille et mille applications (…). Pouvais-je parler de ce principe, -que j’avais annoncé à plusieurs de mes amis déjà en 1803 comme devant faire partie de l’ouvrage que je préparais,-comme d’une méthode empruntée de Mr. Legendre? Je n’avais pas l’idée, que Mr. Legendre pouvait attacher tant de prix à une idée aussi simple, qu’on doit plutôt s’étonner qu’on ne l’a pas eue depuis 100 ans, pour se fâcher que je raconte, que je m’en suis servi avant lui ? … Mais j’ai cru que tous ceux qui me connaissent le croiraient même sur ma parole, ainsi que je l’aurais cru de tout mon coeur si Mr. Legendre avait avancé, qu’il avait possédé la méthode déjà avant 1795.

La méthode des moindres carrés est qualifiée par Stigler dans son History of Statistics (Belknap Press, 1986) comme le thème dominant - le leitmotiv - des mathématiques statistiques au XIXe siècle. Stigler ajoute que la clarté de l’exposition de Legendre n’a pas été surpassée et que ce texte doit être compté dans l’histoire de la statistique comme l’une des introductions d’une nouvelle méthode les plus claires et les plus élégantes. Pour sa part, Joseph Bertrand, dans l’introduction de sa traduction de divers mémoires de Gauss intitulée Méthode des moindres carrés, (1855) affirme que Gauss considérait que la meilleure méthode pour combiner les observations était un des problèmes les plus importants de la philosophie naturelle.

Legendre : une méthode algébrique

La méthode utilisée par Legendre pour exposer la méthode des moindres carrés n'est pas probabiliste mais purement algébrique : il traite le problème algébrique de la détermination des quantités dans un système d'équations surdéterminé.

On peut commenter la méthode de Legendre comme suit en reprenant les équations des erreurs écrites par Legendre au début de son mémoire :

De tous les principes qu'on peut proposer pour cet objet, je pense qu'il n'en est pas de plus général, de plus exact, ni d'une application plus facile que celui (...) qui consiste à rendre minimum la somme des carrés des erreurs. Par ce moyen, il s'établit entre les erreurs une sorte d'équilibre qui empêchant les extrêmes de prévaloir, est très propre à faire connaître l'état du système le plus proche de la vérité.

La somme des carrés des erreurs s'écrit :

Les dérivées partielles doivent donc être nulles.

Soit, pour la dérivée par rapport à x

En prenant, de même, les dérivées partielles par rapport aux autres inconnues – qui sont en nombre n –, on obtient finalement n équations :

Le nombre d'équations étant égal aux nombres d'inconnues, il existe une solution et une seule, qui donne les valeurs des inconnues qui, selon l'approche empirique adoptée, sont les plus proches des valeurs réelles. Comme l’indique Legendre :

On obtiendra de cette manière autant d’équations du minimum qu’il y a d’inconnues, et il faudra résoudre ces équations par les méthodes ordinaires.

@@@@@@@

La moyenne arithmétique des mesures est un cas particulier lorsque l'on a une seule variable x avec un coefficient constant b= b' = b" = ....= 1. Legendre vérifie que, dans ce cas, la méthode des moindres carrés consiste à minimiser la somme

soit en dérivant par rapport à x

Legendre, ajoute la remarque suivante :

Ces formules sont les mêmes par lesquelles on trouverait le centre de gravité commun de plusieurs masses égales, situés dans les points donnés (…) Si on divise la masse d’un corps en molécules égales et assez petites pour être considérées comme des points, la somme des quarrés des distances des molécules au centre de gravité sera un minimum.

La méthode, qui aboutit à ce résultat intuitif dans des cas simples, est néanmoins très facile à utiliser lorsque la situation est plus complexe. Par exemple, l'orbite elliptique d'une comète est déterminée par rapport au plan de l'écliptique par le calcul de six paramètres, inclinaison de l'orbite, demi grand-axe, excentricité, longitude du nœud ascendant, longitude du périhélie et date de passage de l'objet céleste au périhélie. En général, trois observations depuis la Terre donnant chacune six angles sont suffisantes pour résoudre le problème. La méthode de Gauss pour écrire les équations et les résoudre est alors la plus souvent employée.

L'approche probabiliste de la méthode des moindres carrés chez Gauss et Laplace

Pour comprendre le problème sur le plan probabiliste nous allons dire quelques mots des méthodes de Gauss et de Laplace relatives au même problème.

On peut, en utilisant le concept de variable aléatoire, exposer comme suit le résultat de Gauss publié dans sa Theoria motus corporum coelestium (5) de 1809. Considérons que les erreurs sur une quantité X inconnue, pour laquelle on dispose de plusieurs mesures x₁ , x₂, ..., x_n , sont e₁ = x₁ - X, ..., e_n = x_n -X et correspondent à des réalisations de n variables aléatoires indépendantes E₁, ..., En de même loi continue de densité f, dépendant de la valeur inconnue de X.

Pour X donné, la probabilité d'effectuer des erreurs comprises entre e₁ + de₁, ..., e_n + de_n est alors (compte tenu de l'indépendance)

On peut alors, selon la méthode de Bayes ou de probabilité des causes, les mesures x₁, ..., x_n étant connues et considérées comme des conséquences de la distribution des erreurs, chercher quelle est la valeur de X (la cause) la plus vraisemblable.

On sait que la moyenne arithmétique correspond à la valeur recherchée de X. Ceci correspond à un axiome dans la théorie de Gauss (6). Cette moyenne vérifie l'équation en X

On peut vérifier qu’avec cette loi, le produit est maximum (ce qui est recherché d'après ce qui précède) lorsque la somme des carrés des écarts des mesures est minimale.

Figure 2 : Fonction densité de probabilité de la « loi normale » (loi de Gauss-Laplace) d’espérance μ et de variance σ.

 

En résumé, Gauss, dans son traitement de la théorie des erreurs de 1809, introduit en fait le principe du maximum de vraisemblance (puisqu'il cherche la valeur de la quantité inconnue X qui rendra maximale la probabilité d'observation des mesures observées x₁, ..., x_n et donc des erreurs e₁, ...e_n.). Après ajout du postulat de la moyenne arithmétique, il obtient à la fois la loi de distribution normale et le principe des moindres carrés. La justification de ce principe des moindres carrés est donc la maximalisation de la distribution a posteriori des erreurs.

@@@@@@@

En ce qui concerne Laplace, il écrit de son côté, dans son mémoire de 1811 (7) dans l’objectif de généraliser les résultats de Legendre et de Gauss :

Lorsque l'on veut corriger par l'ensemble d'un grand nombre d'ob­servations plusieurs éléments déjà connus à peu près, on s'y prend de la manière suivante. Chaque observation étant une fonction des éléments, on substitue dans cette fonction leurs valeurs approchées, augmentées respectivement de petites corrections qu'il s'agit de connaître. En développant ensuite la fonction en série, par rapport à ces corrections, et négligeant leurs carrés et leurs produits, on égale la série à l'observation, ce qui donne une première équation de con­dition entre les corrections des éléments. Une seconde observation fournit une équation de condition semblable, et ainsi du reste. Si les observations étaient rigoureuses, il suffirait d'en employer autant qu'il y a d'éléments ; mais, vu les erreurs dont elles sont susceptibles, on en considère un grand nombre, afin de compenser les unes par les autres ces erreurs, dans les valeurs des corrections que l'on déduit de leur ensemble. Mais de quelle manière, faut-il combiner entre elles les équations de condition pour avoir les corrections les plus précises ? C'est ici que l'analyse des probabilités peut être d'un grand secours. Toutes les manières de combiner ces équations se réduisent à les multiplier chacune par un facteur particulier et à faire une somme de tous ces produits : on forme ainsi une première équation finale entre les corrections des éléments. Un second système de facteurs donne une seconde équation finale, et ainsi de suite jusqu'à ce que l'on ait autant d'équations finales que d'éléments dont on déterminera les corrections en résolvant ces équations. Maintenant il est visible qu'il faut choisir les systèmes de facteurs, de sorte que l'erreur moyenne à craindre en plus ou en moins sur chaque élément soit un minimum. J'entends par erreur moyenne la somme des produits de chaque erreur par sa probabilité. En déterminant les facteurs par cette condition, l'analyse conduit à ce résultat remarquable, savoir que, si l'on prépare chaque équation de condition de manière que son second membre soit zéro, la somme des carrés des premiers membres est un minimum, en y faisant varier successivement chaque correction. Ainsi cette méthode, que MM. Legendre et Gauss ont proposée, et qui, jusqu'à présent, ne présentait que l'avantage de fournir, sans aucun tâtonnement, les équations finales nécessaires pour corriger les éléments, donne en même temps les corrections les plus précises.

En résumé, Gauss avait démontré en 1809 la loi normale en considérant comme un axiome l'hypothèse que si une quantité a été obtenue par plusieurs observations, faites avec le même soin dans des circonstances semblables, la moyenne arithmétique des valeurs observées sera la valeur la plus probable de cette quantité. Laplace, dans la suite de son mémoire de 1810, démontre que même en ignorant la distribution des erreurs sur chaque groupe de mesures, on peut, lorsque le nombre d'observations est très grand, remplacer les mesures par leur moyenne empirique et obtenir pour l'ensemble des observations une loi normale. Comme dans le mémoire de Gauss, Laplace obtient le meilleur résultat en minimisant la somme des carrés des erreurs de chaque résultat, multipliées respectivement par la plus grande ordonnée de la courbe de probabilité des erreurs (car la valeur de l'inconnue X doit rendre maximale la probabilité d'observation des mesures observées x₁, ..., x_n et donc maximale la probabilité d’observation des erreurs e₁, ...e_n). Il est donc évident que les résultats de Laplace sont obtenus, comme ceux de Gauss, à l'aide d'un raisonnement probabiliste.

L'histoire de la méthode des moindres carrés est singulière. Legendre, qui, le premier, l'a proposée, en 1805, aux calculateurs, ne la rattachait à aucune idée théorique. Gauss, qui depuis longtemps en faisait usage, a publié, en 1809, une démonstration acceptée sans contestation.

(…)

Si des grandeurs l₁, l₂,…, l_n ont été observées, la probabilité d'une erreur comprise entre z et z + dz, pour l'une d'elles, étant φ(z)dz, la probabilité du concours des erreurs z₁, z₂,…, z_n est proportionnelle à

φ(z₁) φ(z₂)… φ(z_n) (1)

et ce produit doit être rendu maximum. La fonction φ(z) restant inconnue, le problème paraît insoluble. L'hypothèse la plus plausible est, d'après le résultat du calcul, celle qui rend minima la somme

z₁^² + z₂^² +….z_n^² (2)

Si le produit (1) est maximum quand la somme (2) est minima, il doit rester constant en même temps que celle-ci et la fonction φ(z) doit satisfaire à une équation de la forme

φ(z₁) φ(z₂)… φ(z_n) = F(z₁^² + z₂^² +….z_n^²)

On déduit de cette équation bien connue

φ(z) =G e^-k²z²

C'est la loi proposée en 1809; elle seule peut justifier la règle qu'on en a déduite.

(…)

Toutes les équations, dans la théorie de Gauss, sont réduites au premier degré (…) on peut, z étant très petit, remplacer φ(z) par son développement

Les erreurs constantes (8) étant écartées, c'est une des hypothèses de Gauss, on a φ(z) = φ(-z) et, par conséquent, φ’(0) = 0 et φ’’’(0) = 0. On peut, puisqu'on est convenu de négliger z^² par rapport à z, négliger z⁴ par rapport à z² et réduire φ(z) à la forme

Mais on a, dans les mêmes conditions,

G e^-k²z²= G – Gk^²z^²

Si donc on pose G = a, k = - b^²/a, on aura

φ(z) =G e^-k²z²

La fonction φ(z), quelle que soit sa forme véritable, est réductible, dans les conditions où l'on veut résoudre le problème, à celle que Gauss avait proposée d'abord.
(extrait de Joseph Bertrand, Sur la méthode des moindres carrés, C.R.A.S., Paris, Tome CVI, n°16, 1888, pp. 1115-1117).

@@@@@@@

L'établissement, en 1809 et 1810, de la loi normale, dont l'usage se révèlera fondamental en statistique, s'est donc fait par deux voies : celle de Gauss relative à la théorie des erreurs aboutissant à la méthode des moindres carrés, et celle de Laplace qui a énoncé la première version du théorème de la limite centrale.

La synthèse entre ces deux approches impose, dès 1810, la loi normale comme loi quasi universelle. En effet, même si la distribution individuelle des erreurs ne suit pas une loi normale, celle des moyennes des erreurs suit sous certaines conditions (indépendance, lois identiques), une loi normale.

Le théorème de la limite centrale établit que la somme d'un grand nombre de réalisations de variables aléatoires indépendantes et ayant la même loi de distribution est approximativement distribuée suivant la loi normale si les variables aléatoires ont une variance finie. Abraham de Moivre avait établi le théorème en 1733 pour une loi binomiale et Laplace approxima en 1811 la loi binomiale par la loi normale. Le théorème de la limite centrale est appelé de nos jours le second théorème fondamental des probabilités, le premier étant la loi des grands nombres de Jacob Bernoulli qui indique que la moyenne des réalisations de variables aléatoires indépendantes ayant la même loi de distribution et une espérance finie converge vers la valeur de cette espérance mathématique.

 

 

Le nombre de travaux concernant ces théorèmes étant historiquement très élevé, Lucien Le Cam a commenté avec humour, en 1986, l'histoire du Théorème de la limite centrale [The central limit theorem around 1935. Statistical science, volume 1, 1986, pp.78-96.] (traduction): Au commencement, il y eut De Moivre, Laplace, et de nombreux Bernoullis et ils engendrèrent des théorèmes de la limite, et les hommes avisés dirent que cela était bien et ils donnèrent au théorème le nom de Gauss. Puis vinrent de nouvelles générations qui trouvèrent que le théorème avait une validité expérimentale mais manquait de rigueur. Alors vinrent Chebychev, Liapunov et Markov et ils prouvèrent le théorème et Polya voyant l'usage des moments déclara que le nom Théorème de la limite centrale devait être utilisé. Puis vint Lindeberg et il dit que cela était élémentaire car Taylor avait développé ce qui demandait à être développé, et il le dit deux fois (...)

Compte tenu de l'utilisation permanente de la loi normale, on a, par ailleurs, défini une fonction erreur qui est l'intégrale numérique qui a été introduite par Gauss en 1816. On la trouve tabulée dans tous les manuels et elle est définie par . La probabilité pour qu'une variable normale centrée réduite (9) prenne une valeur dans l'intervalle [-z, z] est

Autre présentation de la méthode des moindres carrés

Le système des multiplicateurs utilisés par Legendre, Gauss et Laplace pour traiter la méthode des moindres carrés constituait en fait la recherche d'une matrice K de r x n éléments telle que l'on obtienne KM= I, I étant la matrice unité.

L'approche de Legendre, purement algébrique, consiste à considérer la relation comme un jeu surdéterminé d'équations linéaires ; la matrice K est alors établie en agissant sur les erreurs elles-mêmes. L'approche probabiliste consiste à établir K en imposant les distributions de probabilité sur les erreurs.

@@@@@@@

Il est à noter qu'un très grand nombre de publications ont été faites, depuis celles de Legendre, Gauss et Laplace, sur ce problème des moindres carrés. Un travail remarquable d'André-Louis Cholesky (1910) montre que la décomposition de la matrice définie plus haut est possible en un produit d'une matrice triangulaire par sa matrice transposée, ramenant la résolution du système de départ à deux résolutions successives de systèmes plus aisés à résoudre (10).

Conclusion

Legendre a terminé son exposé de 1805 sur les moindres carrés par une application à la mesure des degrés du méridien à partir de données établies par Delambre et Méchain. La méthode des moindres carrés a été surtout utilisée au dix-neuvième siècle en astronomie et en géodésie, c'est pourquoi le titre de l'ouvrage de Legendre est relatif aux comètes et son exemple d'application à la géodésie.

Cette méthode est aujourd'hui universellement utilisée de même que la loi normale dite de Laplace-Gauss et les quelques lignes qui précèdent ont tenté de rappeler les circonstances de leur établissement.

Annexe

La densité de la loi normale apparaît page 212 de l'ouvrage de Gauss, Theoria motus corporum, 1809.