Moindres carrés: Techniques d'optimisation pour la vision par ordinateur : méthodes des moindres carrés

Par Fouad Sabry

Qu'est-ce que les moindres carrés

La méthode des moindres carrés est une méthode d'estimation de paramètres en analyse de régression basée sur la minimisation de la somme des carrés des résidus effectués dans les résultats de chaque équation individuelle.

Comment vous en bénéficierez

(I) Informations et validations sur les sujets suivants :

Chapitre 1 : Moindres carrés

Chapitre 2 : Théorème de Gauss-Markov

Chapitre 3 : Analyse de régression

Chapitre 4 : Régression Ridge

Chapitre 5 : Moindres carrés totaux

Chapitre 6 : Moindres carrés ordinaires

Chapitre 7 : Moindres carrés pondérés

Chapitre 8 : Régression linéaire simple

Chapitre 9 : Moindres carrés généralisés

Chapitre 10 : Moindres carrés linéaires

(II) Répondre aux principales questions du public sur les moindres carrés.

(III) Monde réel exemples d'utilisation des moindres carrés dans de nombreux domaines.

À qui s'adresse ce livre

Professionnels, étudiants de premier cycle et des cycles supérieurs, passionnés, amateurs et ceux qui souhaitent aller au-delà des connaissances ou des informations de base pour tout type de moindres carrés.

 

 

• Langue: Français
• Éditeur: Un Milliard De Personnes Informées [French]
• Date de sortie: 11 mai 2024

Aperçu du livre

Moindres carrés

Techniques d'optimisation pour la vision par ordinateur : méthodes des moindres carrés

Fouad Sabry est l'ancien responsable régional du développement commercial pour les applications chez Hewlett Packard pour l'Europe du Sud, le Moyen-Orient et l'Afrique. Fouad est titulaire d'un baccalauréat ès sciences des systèmes informatiques et du contrôle automatique, d'une double maîtrise, d'une maîtrise en administration des affaires et d'une maîtrise en gestion des technologies de l'information de l'Université de Melbourne en Australie. Fouad a plus de 25 ans d'expérience dans les technologies de l'information et de la communication, travaillant dans des entreprises locales, régionales et internationales, telles que Vodafone et des machines commerciales internationales. Actuellement, Fouad est un entrepreneur, auteur, futuriste, axé sur les technologies émergentes et les solutions industrielles, et fondateur de l'initiative One billion knowledge.

Un milliard de connaissances

Moindres carrés

Techniques d'optimisation pour la vision par ordinateur : méthodes des moindres carrés

Fouad Sabry

Copyright

Les moindres carrés © 2024 par Fouad Sabry. Tous droits réservés.

Aucune partie de ce livre ne peut être reproduite sous quelque forme que ce soit ou par quelque moyen électronique ou mécanique que ce soit, y compris les systèmes de stockage et de récupération d'informations, sans l'autorisation écrite de l'auteur. La seule exception est celle d'un critique, qui peut citer de courts extraits dans une critique.

Couverture conçue par Fouad Sabry.

Bien que toutes les précautions aient été prises dans la préparation de ce livre, les auteurs et les éditeurs n'assument aucune responsabilité pour les erreurs ou omissions, ou pour les dommages résultant de l'utilisation des informations contenues dans ce livre.

Table des matières

Chapitre 1 : Les moindres carrés

Chapitre 2 : Théorème de Gauss Markov

Chapitre 3 : Analyse de régression

Chapitre 4 : Régression de crête

Chapitre 5 : Total des moindres carrés

Chapitre 6 : Les moindres carrés ordinaires

Chapitre 7 : Les moindres carrés pondérés

Chapitre 8 : Régression linéaire simple

Chapitre 9 : Les moindres carrés généralisés

Chapitre 10 : Les moindres carrés linéaires

Appendice

À propos de l'auteur

Chapitre 1 : Les moindres carrés

La méthode des moindres carrés est une approche standard de l'analyse de régression qui est utilisée pour approximer la solution des systèmes surdéterminés (ensembles d'équations dans lesquels il y a plus d'équations que d'inconnues). Ceci est accompli en minimisant la somme des carrés des résidus faite dans les résultats de chaque équation individuelle. Un résidu est la différence entre une valeur observée et la valeur ajustée fournie par un modèle.

L'utilisation la plus importante se trouve dans le domaine de l'ajustement des données. Lorsque le problème comporte des incertitudes importantes dans la variable indépendante (la variable x), les méthodes de régression simple et des moindres carrés ont des problèmes ; Dans de tels cas, la méthodologie requise pour ajuster les modèles d'erreurs dans les variables peut être envisagée à la place de celle des moindres carrés. [Exemple concret :] lorsque le problème comporte des incertitudes substantielles dans la variable indépendante (la variable x), les méthodes de régression simple et des moindres carrés ont des problèmes.

Il existe deux types de problèmes qui entrent dans la catégorie des moindres carrés : les moindres carrés linéaires ou ordinaires, et les moindres carrés non linéaires. La distinction entre les deux types est basée sur le fait que les résidus sont linéaires ou non dans toutes les inconnues. Dans l'analyse de régression statistique, l'un des problèmes à résoudre s'appelle le problème des moindres carrés linéaires, et il a une solution fermée. La méthode de raffinement itératif est souvent utilisée pour résoudre le problème non linéaire. Au cours de chaque itération, le système est approximativement modélisé d'après un système linéaire et, par conséquent, le calcul fondamental est le même pour les deux scénarios.

La variance dans une prédiction de la variable dépendante en fonction de la variable indépendante et les écarts par rapport à la courbe ajustée sont tous deux décrits par des moindres carrés polynomiaux.

Lorsque les observations proviennent d'une famille exponentielle dont l'identité est constituée de statistiques naturelles suffisantes et dont les conditions de lumière sont satisfaites (par exemple, pour les distributions normales, exponentielles, de Poisson et binomiales), les estimations standardisées des moindres carrés et les estimations du maximum de vraisemblance sont les mêmes. C'est le cas de toutes les familles exponentielles dont l'identité est une statistique naturelle suffisante. La technique des moindres carrés peut être développée à part entière en tant que méthode d'estimation des moments.

Le raisonnement qui suit est formulé presque entièrement en termes de fonctions linéaires ; Néanmoins, l'utilisation des moindres carrés est non seulement acceptable mais aussi réalisable pour les familles de fonctions plus génériques. De plus, l'approche des moindres carrés peut être utilisée pour ajuster un modèle linéaire étendu en appliquant itérativement une approximation quadratique locale à la probabilité (en utilisant les informations de Fisher). Cela est possible lors de l'utilisation des informations Fisher.

Adrien-Marie Legendre est crédité d'être celui qui a développé et publié le premier la technique des moindres carrés (1805), Au cours de l'ère des découvertes, les scientifiques et les mathématiciens se sont efforcés de donner des réponses aux problèmes de la traversée des eaux de la Terre en utilisant le concept des moindres carrés. Cette approche a émergé des sciences de l'astronomie et de la géodésie à la suite de leurs efforts. La description précise du comportement des corps célestes était la clé pour permettre aux navires de voyager dans de grandes mers, où les marins ne pouvaient plus dépendre des observations terrestres pour la navigation. C'était le cas car les observations à terre n'étaient plus disponibles.

Cette approche représentait l'apogée d'un certain nombre de développements qui avaient eu lieu au cours du XVIIIe siècle :

L'agrégation est le processus qui consiste à combiner plusieurs observations afin d'arriver à l'estimation la plus précise possible de la valeur réelle ; les erreurs ont tendance à diminuer plutôt qu'à augmenter à la suite de ce processus, qui a peut-être été articulé à l'origine par Roger Cotes en 1722.

Le processus consistant à combiner de nombreuses observations faites dans les mêmes circonstances, par opposition à un effort pour observer et enregistrer une seule observation de la manière la plus précise possible. La stratégie était souvent appelée la technique des moyennes. Tobias Mayer, qui étudiait les librations de la lune en 1750, et Pierre-Simon Laplace, qui travaillait à expliquer les variations de mouvement de Jupiter et de Saturne en 1788, étaient deux personnes notables qui ont utilisé cette technique dans leurs recherches respectives.

La combinaison d'un certain nombre d'observations distinctes faites dans diverses circonstances. Le nom de « méthode de la plus petite déviation absolue » a été donné à la technique au fil du temps. En 1757, Roger Joseph Boscovich l'utilise dans son ouvrage sur la forme de la terre, et Pierre-Simon Laplace l'utilise en 1799 pour la même émission. Les deux hommes sont connus pour leurs contributions au domaine.

La construction d'un critère qui peut être examiné pour déterminer si la solution avec le moins d'erreur a été obtenue est ce que l'on appelle le développement de critères. Laplace a tenté de proposer une approche d'estimation qui entraînerait le moins d'erreur d'estimation possible et fournirait une forme mathématique de la densité de probabilité pour les erreurs. Laplace a modélisé la distribution d'erreur en utilisant une distribution exponentielle symétrique à deux côtés, que nous appelons maintenant la distribution de Laplace. Il a utilisé la somme de l'écart absolu comme erreur d'estimation. Il croyait que c'étaient les hypothèses les plus simples qu'il pouvait faire, et il avait souhaité atteindre la moyenne arithmétique comme l'estimation la plus précise possible. Au lieu de cela, il s'est appuyé sur la médiane postérieure comme estimation.

En 1805, le mathématicien français Legendre a fourni la première explication de la technique des moindres carrés qui était à la fois complète et claire. Ceci, bien sûr, a entraîné un désaccord sur la préséance avec Legendre. Cependant, c'est tout à l'honneur de Gauss d'être allé au-delà du travail de Legendre et d'avoir réussi à combiner la technique des moindres carrés avec les lois de probabilité et de distribution normale. C'est un accomplissement qui mérite des éloges. Il avait réussi à compléter le programme de Laplace, qui l'obligeait à spécifier une forme mathématique de la densité de probabilité pour les observations, en fonction d'un nombre fini de paramètres inconnus, et à définir une méthode d'estimation qui minimise l'erreur d'estimation. De plus, il avait spécifié une forme mathématique de la densité de probabilité pour les observations en fonction d'un nombre fini de paramètres inconnus. Gauss a démontré que la moyenne arithmétique est en fait la meilleure