Estimation de la pose du corps articulé: Déverrouiller le mouvement humain dans la vision par ordinateur

Par Fouad Sabry

Qu'est-ce que l'estimation de la pose d'un corps articulé

Dans le domaine de la vision par ordinateur, l'étude des techniques et des systèmes qui récupèrent la pose d'un corps articulé, composé d'articulations. et les pièces rigides, grâce à l'utilisation d'observations basées sur des images, est appelée estimation de la pose du corps articulé. Il s'agit de l'un des défis les plus anciens en matière de vision par ordinateur en raison de la complexité des modèles qui relient l'observation à la position et en raison de la gamme de scénarios dans lesquels cela serait utile.

Comment vous bénéficierez

(I) d'informations et de validations sur les sujets suivants :

Chapitre 1 : Estimation de la pose du corps articulé

Chapitre 2 : Segmentation d'images

Chapitre 3 : Localisation et cartographie simultanées

Chapitre 4 : Reconnaissance gestuelle

Chapitre 5 : Suivi vidéo

Chapitre 6 : Matrice fondamentale (vision par ordinateur)

Chapitre 7 : Structure à partir du mouvement

Chapitre 8 : Modèle de sac de mots en vision par ordinateur

Chapitre 9 : Point- enregistrement des ensembles

Chapitre 10 : Michael J. Black

(II) Répondre aux principales questions du public sur l'estimation de la pose du corps articulé.

(III) Exemples du monde réel pour l'utilisation de l'estimation de la pose du corps articulé dans de nombreux domaines.

À qui s'adresse ce livre

Professionnels, étudiants de premier cycle et des cycles supérieurs, passionnés, amateurs et ceux qui souhaitent aller au-delà des connaissances ou des informations de base pour tout type d'estimation de pose du corps articulé.

 

 

• Langue: Français
• Éditeur: Un Milliard De Personnes Informées [French]
• Date de sortie: 29 avr. 2024

Aperçu du livre

Estimation de la pose du corps articulé

Libérer le mouvement humain dans la vision par ordinateur

Fouad Sabry est l'ancien responsable régional du développement commercial pour les applications chez Hewlett Packard pour l'Europe du Sud, le Moyen-Orient et l'Afrique. Fouad est titulaire d'un baccalauréat ès sciences des systèmes informatiques et du contrôle automatique, d'une double maîtrise, d'une maîtrise en administration des affaires et d'une maîtrise en gestion des technologies de l'information, de l'Université de Melbourne en Australie. Fouad a plus de 25 ans d'expérience dans les technologies de l'information et de la communication, travaillant dans des entreprises locales, régionales et internationales, telles que Vodafone et des machines professionnelles internationales. Actuellement, Fouad est un entrepreneur, auteur, futuriste, axé sur les technologies émergentes et les solutions industrielles, et fondateur de l'initiative One Billion Knowledge.

Un milliard de connaissances

Estimation de la pose du corps articulé

Libérer le mouvement humain dans la vision par ordinateur

Fouad Sabry

Copyright

Estimation © de la pose du corps articulé 2024 par Fouad Sabry. Tous droits réservés.

Aucune partie de ce livre ne peut être reproduite sous quelque forme que ce soit ou par quelque moyen électronique ou mécanique que ce soit, y compris les systèmes de stockage et de récupération d'informations, sans l'autorisation écrite de l'auteur. La seule exception est celle d'un critique, qui peut citer de courts extraits dans une critique.

Couverture dessinée par Fouad Sabry.

Bien que toutes les précautions aient été prises dans la préparation de ce livre, les auteurs et les éditeurs n'assument aucune responsabilité pour les erreurs ou omissions, ou pour les dommages résultant de l'utilisation des informations contenues dans le présent document.

Table des matières

Chapitre 1 : Estimation de la pose du corps articulé

Chapitre 2 : Segmentation d'images

Chapitre 3 : Localisation et cartographie simultanées

Chapitre 4 : Reconnaissance gestuelle

Chapitre 5 : Suivi vidéo

Chapitre 6 : Matrice fondamentale (vision par ordinateur)

Chapitre 7 : Structure à partir du mouvement

Chapitre 8 : Modèle de sac de mots en vision par ordinateur

Chapitre 9 : Enregistrement d'un jeu de points

Chapitre 10 : Michael J. Black

Appendice

À propos de l'auteur

Chapitre 1 : Estimation de la pose du corps articulé

Le domaine de la vision par ordinateur connu sous le nom d'« estimation de la pose d'un corps articulé » se concentre sur les techniques et les systèmes qui peuvent déterminer la position d'un objet en mouvement à partir d'une série d'images de ses articulations et de ses parties rigides. La difficulté des modèles qui relient l'observation à la position, ainsi que le large éventail d'applications, en ont fait un défi durable dans le domaine de la vision par ordinateur.

Les robots doivent être capables de détecter et de comprendre la présence de personnes dans leur voisinage immédiat. La machine interactive doit comprendre le contexte réel du scénario si un humain utilise des gestes pour pointer vers un objet spécifique. En raison de son importance et de sa difficulté, plusieurs méthodes ont été développées et mises en œuvre au cours des deux dernières décennies pour résoudre le problème de l'estimation de la pose en vision par ordinateur. L'entraînement de modèles complexes avec d'énormes ensembles de données est une approche courante.

En raison des 244 degrés de liberté et des 230 articulations du corps humain, l'estimation de la pose est un problème difficile avec les études actuelles. Le corps humain a 10 parties principales et 20 degrés de liberté, mais tous les mouvements entre les articulations ne sont pas visibles. Il y a beaucoup de variations dans l'apparence que les algorithmes doivent prendre en compte, y compris les variations dans les vêtements, la forme du corps, la taille et les coupes de cheveux. De plus, les occlusions d'auto-articulation, telles qu'une personne se couvrant le visage avec sa main, ou les occlusions externes peuvent rendre les résultats peu clairs. Enfin, la plupart des algorithmes calculent la pose à partir des images monoculaires (bidimensionnelles) de l'appareil photo standard. Des conditions d'éclairage et de caméra incohérentes peuvent contribuer au problème. Des performances supplémentaires ne font qu'ajouter à la complexité. Ces images ont beaucoup de place pour les erreurs d'interprétation car elles n'ont pas les informations de profondeur d'une posture corporelle réelle. Les efforts récents dans ce sens utilisent les informations de couleur et de profondeur capturées par les caméras RGBD.

Dans une technique basée sur un modèle utilisée par la plupart des systèmes d'estimation de la pose corporelle articulée, la similitude/différence la plus extrême/minimale entre une observation (entrée) et un modèle modèle est utilisée pour déterminer une pose estimée. Divers capteurs, tels que les suivants, ont été envisagés pour effectuer l'observation :

Imagerie aux longueurs d'onde visibles, Photos prises dans le spectre infrarouge à ondes longues, Photographie à temps de vol et

Photos prises avec un télémètre laser.

Le modèle utilise directement les représentations intermédiaires produites par ces capteurs. Voici quelques-unes des représentations :

Aspect de l'image, Reconstruction à partir de voxels (éléments de volume), En trois dimensions, à l'aide d'un total de noyaux gaussiens

Maillages de surface tridimensionnels.

Le squelette humain est l'endroit où le concept de « modèle basé sur les pièces » a émergé pour la première fois. Lorsqu'un objet a la capacité de s'articuler, il peut être désassemblé en composants qui peuvent être réorganisés dans une variété de configurations. L'échelle et l'orientation de l'objet principal sont articulées aux échelles et aux orientations des pièces. Les ressorts servent à relier les nombreux composants du modèle, ce qui permet de le décrire mathématiquement. Ainsi appelé parce qu'il ressemble à un ressort, ce modèle a d'autres noms. La compression et la dilatation des ressorts expliquent la proximité relative des différents composants. Les orientations des ressorts sont limitées par la géométrie. Les jambes, par exemple, n'ont pas de bras qui peuvent tourner en cercle complet. Par conséquent, les composants ne peuvent pas être orientés de cette manière. Le nombre de combinaisons viables est donc réduit.

Dans le modèle de ressort, les nœuds (V) représentent les composants, tandis que les arêtes (E) représentent les ressorts qui les relient.

Chaque emplacement de l'image est accessible par les x y coordonnées et de l'emplacement du pixel.

Soit {\displaystyle \mathbf {p} _{i}(x,\,y)} pointé à {\displaystyle \mathbf {i} ^{th}} l'emplacement.

Alors le coût associé à l'assemblage du ressort entre {\displaystyle \mathbf {i} ^{th}} et le {\displaystyle \mathbf {j} ^{th}} point peut être donné par {\displaystyle S(\mathbf {p} _{i},\,\mathbf {p} _{j})=S(\mathbf {p} _{i}-\mathbf {p} _{j})} .

Par conséquent, le coût total associé à la mise en place l des composants à des emplacements {\displaystyle \mathbf {P} _{l}} est donné par

{\displaystyle S(\mathbf {P} _{l})=\displaystyle \sum _{i=1}^{l}\;\displaystyle \sum _{j=1}^{i}\;\mathbf {s} _{ij}(\mathbf {p} _{i},\,\mathbf {p} _{j})}

L'équation susmentionnée est une simplification du modèle de ressort couramment utilisé pour décrire la posture du corps. La minimisation de la fonction de coût ou d'énergie est utilisée pour estimer la pose à partir de photographies. Il y a deux termes dans cette fonction d'énergie. Le premier prend en compte la correspondance de chaque partie avec les données de l'image, tandis que le second tient compte de la correspondance des parties orientées (déformées), de sorte que l'articulation et la détection d'objets sont prises en compte.

Une chaîne hiérarchique est utilisée pour construire le squelette cinématique.

Chaque segment de corps rigide possède son système de coordonnées local qui peut être transformé en système de coordonnées universel via une matrice de transformation 4×4 {\displaystyle T_{l}} , {\displaystyle T_{l}=T_{\operatorname {par} (l)}R_{l},}

où {\displaystyle R_{l}} désigne la transformation locale du segment du corps S_{l} vers son parent {\displaystyle \operatorname {par} (S_{l})} .

Il y a trois degrés de