Compression des données: Libérer l’efficacité de la vision par ordinateur grâce à la compression des données

Par Fouad Sabry

Qu'est-ce que la compression de données

Dans la théorie de l'information, la compression de données, le codage source ou la réduction du débit binaire est le processus de codage des informations en utilisant moins de bits que la représentation originale. Toute compression particulière est soit avec ou sans perte. La compression sans perte réduit le nombre de bits en identifiant et en éliminant la redondance statistique. Aucune information n'est perdue lors de la compression sans perte. La compression avec perte réduit les bits en supprimant les informations inutiles ou moins importantes. Généralement, un appareil qui effectue la compression des données est appelé encodeur, et celui qui effectue l'inversion du processus (décompression) est appelé décodeur.

Comment vous en bénéficierez

(I) Informations et validations sur les sujets suivants :

Chapitre 1 : Compression des données

Chapitre 2 : Format de fichier audio

Chapitre 3 : Codec

Chapitre 4 : JPEG

Chapitre 5 : Compression avec perte

Chapitre 6 : Compression sans perte

Chapitre 7 : Image compression

Chapitre 8 : Codage de transformation

Chapitre 9 : Codec vidéo

Chapitre 10 : Transformation en cosinus discret

(II) Répondre à la Principales questions publiques sur la compression des données.

(III) Exemples concrets d'utilisation de la compression des données dans de nombreux domaines.

À qui s'adresse ce livre

Professionnels, étudiants de premier cycle et des cycles supérieurs, passionnés, amateurs et ceux qui souhaitent aller au-delà des connaissances ou des informations de base pour tout type de compression de données.

 

 

• Langue: Français
• Éditeur: Un Milliard De Personnes Informées [French]
• Date de sortie: 5 mai 2024

Aperçu du livre

Compression des données

Libérer l'efficacité de la vision par ordinateur grâce à la compression des données

Fouad Sabry est l'ancien responsable régional du développement commercial pour les applications chez Hewlett Packard pour l'Europe du Sud, le Moyen-Orient et l'Afrique. Fouad est titulaire d'un baccalauréat ès sciences des systèmes informatiques et du contrôle automatique, d'une double maîtrise, d'une maîtrise en administration des affaires et d'une maîtrise en gestion des technologies de l'information, de l'Université de Melbourne en Australie. Fouad a plus de 25 ans d'expérience dans les technologies de l'information et de la communication, travaillant dans des entreprises locales, régionales et internationales, telles que Vodafone et des machines professionnelles internationales. Actuellement, Fouad est un entrepreneur, auteur, futuriste, axé sur les technologies émergentes et les solutions industrielles, et fondateur de l'initiative One Billion Knowledge.

Un milliard de connaissances

Compression des données

Libérer l'efficacité de la vision par ordinateur grâce à la compression des données

Fouad Sabry

Copyright

Compression © de données 2024 par Fouad Sabry. Tous droits réservés.

Aucune partie de ce livre ne peut être reproduite sous quelque forme que ce soit ou par quelque moyen électronique ou mécanique que ce soit, y compris les systèmes de stockage et de récupération d'informations, sans l'autorisation écrite de l'auteur. La seule exception est celle d'un critique, qui peut citer de courts extraits dans une critique.

Couverture dessinée par Fouad Sabry.

Bien que toutes les précautions aient été prises dans la préparation de ce livre, les auteurs et les éditeurs n'assument aucune responsabilité pour les erreurs ou omissions, ou pour les dommages résultant de l'utilisation des informations contenues dans le présent document.

Table des matières

Chapitre 1 : Compression des données

Chapitre 2 : Format de fichier audio

Chapitre 3 : Codec

Chapitre 4 : JPEG

Chapitre 5 : Compression avec perte

Chapitre 6 : Compression sans perte

Chapitre 7 : Compression d'image

Chapitre 8 : Codage de transformation

Chapitre 9 : Codec vidéo

Chapitre 10 : Transformée en cosinus discrète

Appendice

À propos de l'auteur

Chapitre 1 : Compression des données

Dans la théorie de l'information, la compression de données, le codage source et d'autres domaines connexes : Dans le langage courant, un dispositif qui s'engage dans le processus de compression des données est connu sous le nom d'encodeur, tandis qu'un appareil qui s'engage dans l'inverse du processus, c'est-à-dire la décompression, est connu sous le nom de décodeur.

La compression de données est le processus de réduction de la taille d'un fichier de données, et c'est un terme qui est assez souvent utilisé. Le codage source est un processus d'encodage qui a lieu à la source de données d'origine, avant que les données ne soient stockées ou transférées. Ce processus est mentionné dans le cadre de la transmission de données. Il est important de ne pas confondre le codage source avec d'autres types de codage, tels que le codage de canal, qui est utilisé pour la détection et la correction des erreurs, ou le codage de ligne, qui est une méthode pour mapper des données sur un signal.

La compression des données est bénéfique car elle réduit la quantité d'espace et de bande passante nécessaire pour stocker et transférer les informations. Les procédures de compression et de décompression nécessitent toutes deux une quantité importante de ressources de calcul. Le compromis de complexité spatio-temporelle est un élément qui doit être pris en compte lors de la compression des données. Par exemple, une méthode de compression vidéo peut nécessiter un matériel coûteux afin que la vidéo soit décompressée suffisamment rapidement pour être regardée pendant qu'elle est décompressée. De plus, l'option de décompresser complètement la vidéo avant de la regarder peut être gênante ou nécessiter un espace de stockage supplémentaire. Lors de la conception de schémas de compression de données, les concepteurs doivent faire des compromis entre un certain nombre de facteurs différents. Ces facteurs incluent le niveau de compression atteint, la quantité de distorsion introduite (lors de l'utilisation de la compression de données avec perte) et la quantité de ressources de calcul nécessaires pour compresser et décompresser les données.

Afin de représenter les données sans perdre aucune information dans le processus, les méthodes de compression de données sans perte utilisent souvent la redondance statistique. Cela garantit que le processus peut être inversé. Étant donné que la grande majorité des données dans le monde réel ont une redondance statistique, la compression sans perte est possible. Par exemple, une image peut inclure des taches de couleur qui ne changent pas au cours de plusieurs pixels ; Dans ce cas, les données peuvent être enregistrées sous la forme « 279 pixels rouges » plutôt que sous la forme traditionnelle de « pixel rouge, pixel rouge,... » Il s'agit d'une illustration fondamentale de l'encodage de la longueur d'exécution ; Il existe de nombreuses autres méthodes pour réduire la taille d'un fichier en supprimant les informations redondantes.

Les techniques de compression telles que Lempel-Ziv (LZ) sont aujourd'hui parmi les algorithmes les plus utilisés pour le stockage de données sans perte. Les entrées de table sont remplacées par la répétition de chaînes de données dans la technique de compression LZ, qui est un modèle de compression basé sur une table. Cette table est construite dynamiquement pour la grande majorité des algorithmes LZ en utilisant les données des étapes précédentes de l'entrée. La plupart du temps, la table elle-même est encodée par Huffman. Les codes basés sur la grammaire comme celui-ci sont capables de compresser avec succès des entrées substantiellement répétitives, telles qu'une collection de données biologiques d'espèces identiques ou presque apparentées, une collection massive de documents versionnés, des archives Internet, etc. La construction d'une grammaire sans contexte qui dérive une seule chaîne est l'entreprise fondamentale des systèmes de codage basés sur la grammaire. Sequitur et Re-Pair sont deux autres techniques de compression de la grammaire qui ont des applications pratiques.

Des modèles probabilistes, tels que la prédiction par appariement partiel, sont utilisés dans les compresseurs sans perte les plus puissants développés ces derniers temps. La modélisation statistique indirecte est une autre façon de penser à la transformée de Burrows-Wheeler, que vous pouvez également envisager.

À peu près au même moment où les photos numériques se sont répandues à la fin des années 1980, les premières normes de compression d'image sans perte ont été développées. Au début des années 1990, les techniques de compression avec perte ont commencé à se généraliser. Ces distinctions perceptuelles sont utilisées par une variété de formats de compression bien connus, tels que la psychoacoustique et la psychovisual, respectivement, pour la compression du son, des images et de la vidéo.

Le codage par transformation est à la base de la grande majorité des méthodes de compression avec perte, en particulier la transformée en cosinus discrète (DCT). Il a été conçu pour la première fois par Nasir Ahmed en 1972, et il a ensuite construit un algorithme fonctionnel avec l'aide de T. Natarajan et K. R. Rao en 1973. Nasir Ahmed a présenté l'idée pour la première fois en janvier 1974. audio et vidéo (dans des formats tels que MPEG, AVC et HEVC) (tels que MP3, AAC et Vorbis).

Afin d'améliorer les capacités de stockage, les appareils photo numériques utilisent une sorte de compression d'image connue sous le nom de compression d'image avec perte. Les DVD, les Blu-ray et les vidéos en streaming sont tous des exemples de formats vidéo qui utilisent un codage vidéo avec perte. La compression avec perte est largement utilisée dans l'industrie vidéo.

Dans le processus de compression audio avec perte, des techniques du domaine de la psychoacoustique sont utilisées pour dépouiller le signal audio des composants inaudibles ou audibles dans une moindre mesure. Le codage de la parole est considéré comme un domaine différent de la compression audio à usage général, car la compression de la parole humaine nécessite souvent l'utilisation de méthodes encore plus spécialisées. Par exemple, le codage vocal est utilisé dans la téléphonie sur Internet. La compression audio est utilisée pour l'extraction de CD, et les lecteurs audio sont chargés de décoder les fichiers compressés.

La compression avec perte peut entraîner une perte de génération.

La théorie de l'information et, plus précisément, le théorème de codage source de Shannon servent de base théorique à la compression ; Les théories spécifiques au domaine comprennent la théorie algorithmique de l'information pour la compression sans perte et la théorie de la distorsion de taux pour la compression avec perte. Claude Shannon est principalement crédité d'avoir initié ces sous-domaines de recherche lorsqu'il a publié un certain nombre d'articles fondateurs sur le sujet tout au long de la seconde moitié des années 1940 et du début des années 1950. La théorie du codage et l'inférence statistique sont deux sujets liés mais distincts qui se rapportent également à la compression.

Les concepts d'apprentissage automatique et de compression sont intimement liés l'un à l'autre. Afin d'atteindre le plus haut niveau possible de compression des données, un système capable de prédire la probabilité a posteriori d'une séquence à la lumière de son historique complet est idéal (en utilisant le codage arithmétique sur la distribution de sortie). D'autre part, un compresseur parfait peut être utilisé à des fins prédictives (en trouvant le symbole qui compresse le mieux, compte tenu de l'historique précédent). Cette comparabilité a été utilisée comme argument en faveur de l'utilisation de la compression des données comme norme pour « l'intelligence universelle ».

Selon la théorie AIXI, qui est une relation qui est plus clairement énoncée dans le prix Hutter, le plus petit logiciel possible qui crée x est la plus grande compression possible de x qui est concevable. Par exemple, selon ce modèle, la taille compressée d'un fichier zip prend en compte à