Estimation du mouvement: Avancées et applications en vision par ordinateur

Par Fouad Sabry

Qu'est-ce que l'estimation de mouvement

En vision par ordinateur et en traitement d'images, l'estimation de mouvement est le processus de détermination des vecteurs de mouvement qui décrivent la transformation d'une image 2D à une autre ; généralement à partir d’images adjacentes dans une séquence vidéo. C'est un problème mal posé car le mouvement se produit en trois dimensions (3D) mais les images sont une projection de la scène 3D sur un plan 2D. Les vecteurs de mouvement peuvent concerner l'image entière ou des parties spécifiques, telles que des blocs rectangulaires, des patchs de forme arbitraire ou même par pixel. Les vecteurs de mouvement peuvent être représentés par un modèle de translation ou de nombreux autres modèles qui peuvent se rapprocher du mouvement d'une véritable caméra vidéo, comme la rotation et la translation dans les trois dimensions et le zoom.

Comment allez-vous procéder ? avantage

(I) Informations et validations sur les sujets suivants :

Chapitre 1 : Motion_estimation

Chapitre 2 : Motion_compensation

Chapitre 3 : Algorithme_de correspondance de blocs

Chapitre 4 : H.261

Chapitre 5 : H.262/MPEG-2_Part_2

Chapitre 6 : Codage_vidéo_avancé

Chapitre 7 : Global_motion_compensation

Chapitre 8 : Block-matching_and_3D_filtering

Chapitre 9 : Video_compression_picture_types

Chapitre 10 : Video_super-resolution

(II) Répondre aux principales questions du public sur l'estimation de mouvement.

(III) Exemples concrets d'utilisation de l'estimation de mouvement dans de nombreux domaines.

À qui s'adresse ce livre

Professionnels, étudiants de premier cycle et des cycles supérieurs, passionnés, amateurs et ceux qui souhaitent aller au-delà des connaissances ou des informations de base pour tout type d'estimation de mouvement.

 

 

• Langue: Français
• Éditeur: Un Milliard De Personnes Informées [French]
• Date de sortie: 12 mai 2024

Aperçu du livre

Estimation du mouvement

Avancées et applications de la vision par ordinateur

Fouad Sabry est l'ancien responsable régional du développement commercial pour les applications chez Hewlett Packard pour l'Europe du Sud, le Moyen-Orient et l'Afrique. Fouad est titulaire d'un baccalauréat ès sciences des systèmes informatiques et du contrôle automatique, d'une double maîtrise, d'une maîtrise en administration des affaires et d'une maîtrise en gestion des technologies de l'information de l'Université de Melbourne en Australie. Fouad a plus de 25 ans d'expérience dans les technologies de l'information et de la communication, travaillant dans des entreprises locales, régionales et internationales, telles que Vodafone et des machines commerciales internationales. Actuellement, Fouad est un entrepreneur, auteur, futuriste, axé sur les technologies émergentes et les solutions industrielles, et fondateur de l'initiative One billion knowledge.

Un milliard de connaissances

Estimation du mouvement

Avancées et applications de la vision par ordinateur

Fouad Sabry

Copyright

Estimation © du mouvement 2024 par Fouad Sabry. Tous droits réservés.

Aucune partie de ce livre ne peut être reproduite sous quelque forme que ce soit ou par quelque moyen électronique ou mécanique que ce soit, y compris les systèmes de stockage et de récupération d'informations, sans l'autorisation écrite de l'auteur. La seule exception est celle d'un critique, qui peut citer de courts extraits dans une critique.

Couverture conçue par Fouad Sabry.

Bien que toutes les précautions aient été prises dans la préparation de ce livre, les auteurs et les éditeurs n'assument aucune responsabilité pour les erreurs ou omissions, ou pour les dommages résultant de l'utilisation des informations contenues dans ce livre.

Table des matières

Chapitre 1 : Estimation du mouvement

Chapitre 2 : Compensation de mouvement

Chapitre 3 : Algorithme de correspondance de blocs

Chapitre 4 : H.261

Chapitre 5 : H.262/MPEG-2 Partie 2

Chapitre 6 : Codage vidéo avancé

Chapitre 7 : Compensation de mouvement globale

Chapitre 8 : Correspondance de blocs et filtrage 3D

Chapitre 9 : Types d'images de compression vidéo

Chapitre 10 : Super-résolution vidéo

Appendice

À propos de l'auteur

Chapitre 1 : Estimation du mouvement

L'estimation de la quantité de mouvement entre deux images 2D, généralement à partir d'images successives dans une séquence vidéo, est connue sous le nom d'estimation de mouvement. Le mouvement se produit en trois dimensions, mais les images sont des projections de la scène tridimensionnelle sur un plan bidimensionnel, ce qui en fait un problème mal posé. L'estimation de mouvement peut être effectuée sur l'image entière (estimation globale du mouvement) ou sur des régions plus petites ou des pixels individuels. Le modèle translationnel n'est qu'un des nombreux modèles qui peuvent être utilisés pour représenter les vecteurs de mouvement, qui peuvent inclure des éléments tels que la rotation, la translation dans les trois dimensions et le zoom avant et arrière.

L'estimation du mouvement et le flux optique sont souvent utilisés de manière interchangeable mais signifient la même chose. L'enregistrement des images et la correspondance stéréo sont également liés de cette manière. En réalité, chacune de ces expressions décrit une méthode permettant de localiser des caractéristiques correspondantes dans des photos ou des images vidéo successives. Les points de deux photographies (cadres) de la même scène ou du même objet du monde réel sont « généralement » le même point dans l'espace et le temps. La métrique correspondante, une mesure de la similitude de deux points d'image, doit être définie avant que l'estimation du mouvement puisse commencer. Il n'y a pas de réponse universellement correcte ici ; la mesure d'appariement optimale dépendra plutôt de l'objectif du mouvement estimé et de l'approche d'optimisation utilisée pendant la phase d'estimation.

En fonction de l'emplacement du même macrobloc ou d'un macrobloc comparable dans une image différente, connue sous le nom d'image de référence, un vecteur de mouvement est créé pour représenter le macrobloc en question dans l'image d'origine.

Selon la norme H.264/MPEG-4 AVC, le vecteur de mouvement est défini comme suit :

Les coordonnées de l'image décodée sont décalées par rapport aux coordonnées de l'image de référence via un vecteur bidimensionnel appelé vecteur de mouvement, qui est utilisé pour l'interprédiction.

Les approches basées sur les pixels (« directes ») et basées sur les caractéristiques (« indirectes ») peuvent être utilisées pour localiser les vecteurs de mouvement (« indirects »). Deux articles, un de chaque côté d'une controverse bien connue, ont été écrits dans le but de parvenir à une résolution.

Algorithme pour faire correspondre les blocs

Techniques basées sur la corrélation de phase et le domaine fréquentiel

Algorithmes récursifs de pixels

Flux optique

Les techniques indirectes utilisent des fonctionnalités telles que la détection des coins pour trouver des correspondances dans des images adjacentes, généralement par l'application d'une fonction statistique sur une petite ou une grande région. L'objectif de la fonction statistique est de filtrer les correspondances de mouvement erronées.

Le RANSAC est un exemple de fonction statistique utile.

On peut soutenir que la définition des critères d'appariement est une étape nécessaire dans pratiquement toute approche. La seule vraie distinction est entre comparer d'abord chaque pixel (comme avec la quadrature de la différence) et ensuite résumer une région d'image locale (comme avec les approches basées sur les caractéristiques) ou vice versa (mouvement de base de bloc et mouvement basé sur le filtre). Une nouvelle méthode de correspondance des critères fonctionne en résumant d'abord une région d'image locale à chaque emplacement de pixel (en utilisant une transformation de caractéristique comme la transformée laplacienne), puis en comparant les deux ensembles de résumés. Alors que certains critères de correspondance peuvent éliminer des paires d'éléments de données qui ne vont pas vraiment ensemble tout en ayant un score de correspondance élevé, d'autres critères de correspondance ne le peuvent pas.

En vision par ordinateur et en traitement d'images, l'estimation du mouvement affine est utilisée pour calculer une approximation approximative du mouvement relatif de deux images ou images. Suppose que le mouvement peut être représenté par une transformation linéaire suivie d'une translation et d'une rotation (transformation affine).

La compensation de mouvement est le processus d'utilisation des vecteurs de mouvement d'une image pour générer une nouvelle transformation.

L'estimation et la compensation de mouvement sont des composants essentiels de la compression vidéo car elles permettent l'utilisation de la redondance temporelle. Presque toutes les normes d'encodage vidéo, y compris les normes HEVC les plus récentes, utilisent l'estimation et la compensation de mouvement basées sur des blocs.

Reconstruire la géométrie 3D d'une scène à partir d'images de caméra en mouvement est l'objectif de la localisation et de la cartographie simultanées.

{Fin du chapitre 1}

Chapitre 2 : Compensation de mouvement

Lors de la prédiction de la prochaine image d'une vidéo en fonction des images avant et après celle-ci, la compensation de mouvement est une technique algorithmique utilisée pour tenir compte du mouvement de la caméra et/ou de l'objet. Il est utilisé pour créer des fichiers MPEG-2 et d'autres formats de compression vidéo en encodant des données