Initiation à l'écosytème Hadoop

Par Juvénal CHOKOGOUE

Les entreprises qui souhaitent exploiter leurs données utilisent aujourd'hui Hadoop d'une manière ou d'une autre. Cependant, la valorisation des données en Big Data a entrainé un foisonnement de problématiques qui nécessitent des réponses technologiques aussi différentes les unes que les autres. Hadoop a beau être le socle technologique du Big Data, il n'est pas à lui seul capable de répondre à toutes ces problématiques.

C'est pour combler ces lacunes qu'un ensemble de technologies regroupées sous le nom d'écosystème Hadoop a été développé. L'écosystème Hadoop fournit une collection d'outils et technologies spécialement conçus pour faciliter le développement, le déploiement et le support des solutions Big Data.

Le but de ce guide est de vous initier aux technologies clé du Big Data. Il fournit une vision panoramique et pragmatique des technologies principales de l'écosystème Hadoop utilisées par les entreprises pour valoriser leurs données.  Il a été rédigé pour trois types de profils :

• Toute personne qui souhaite développer des compétences sur une ou plusieurs technologies particulières de l'écosystème Hadoop ;
• Toute personne qui est impliquée dans le traitement et la valorisation de données en entreprise (par exemple : chargé d'étude, statisticien, Data Scientist, Data Enginer, architecte, administrateur, DBA, etc.)
• Ou d'une manière générale, toute personne qui souhaite s'orienter vers le Big Data (étudiant, professionnel en reconversion)

L'objectif de l'ouvrage est double :

• Vous fournir un panorama global des technologies qui tournent autour de l'écosystème Hadoop et leur portée fonctionnelle ;
• Vous initier de façon pragmatique à 7 technologies principales de l'écosystème Hadoop, notamment Spark, Hive, Pig, HBase, Oozie, Sqoop et Kafka.

De plus, il inclut un bonus qui permet de monter en compétence sur ElasticSearch, pour apprendre l'indexation et la recherche de contenu au-delà du SQL.

Il est écrit selon un style tutoriel pas-à-pas et vous permettra de progresser à votre rythme.

• Langue: Français
• Éditeur: Juvénal CHOKOGOUE
• Date de sortie: 6 oct. 2018
• ISBN: 9781386638858

Aperçu du livre

JUVENAL CHOKOGOUE

http://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/

Table de matières

––––––––

Introduction

1 – Introduction à l’écosystème Hadoop

1.1 – De l’approche centralisée à l’approche décentralisée

1.2 – Généralités sur Hadoop

1.3 – Taxonomie de l’écosystème Hadoop

2 – Hive

2.1 – Ecriture des requêtes Hive

3 – Pig

3.1 – Ecriture des requêtes en Pig

3.2 – Rétro-ingénierie du Hive à Pig

4 – Spark

4.1 – Définition de Spark

4.2 – Tutoriel Spark Scala

5 – HBase

6 – Sqoop

7 – Kafka

8 – Oozie

9 – Conclusion

10 – Bonus

Votre avis compte !

Une image contenant capture d’écran Description générée avec un niveau de confiance très élevé

http://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/

EBOOK EN BONUS - ELASTICSEARCH

La donnée est le carburant de l’économie Numérique. Elle a toujours été le support de toute prise de décision efficace. Cependant, en Interne, beaucoup d’entreprises souffrent encore de l’incapacité qu’ont leurs employés à retrouver du contenu dans leurs fichiers.  Il peut s’agir de la simple recherche d’hôtel le plus confortable d’une zone, de la recherche d’itinéraire de transport le plus proche d’un magasin, du nombre de clients qui ont acheté une catégorie de produits, ou de la liste des employés les plus productifs. Avec la quantité phénoménale des données qui prévaut actuellement, il est de plus en plus difficile d’utiliser le SQL pour la recherche de contenu. L’indexation de contenu est la technique principale utilisée actuellement pour rechercher de façon efficace du contenu. L’indexation de contenu permet de réaliser les recherches en se basant d’une part sur un index et d’autre part sur un score de similarité qui attribue un niveau d’importance à chaque fichier.

En complément de cet ebook, nous vous offrons un guide pas-à-pas de 30 pages qui vous permettra d’aller au-delà du SQL pour la recherche de contenu en utilisant ElasticSearch. Pour le recevoir directement dans votre boîte mail, cliquez sur le lien suivant : http://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/

Introduction

Le 21ème siècle a été témoin d’une explosion sans précédent du volume de données. D’après le constat des experts, des institutions publiques et privés, 90 % des données récoltées depuis le début de l’humanité ont été générées durant les 2 dernières années. Le marché qualifie aujourd’hui de « Big Data » cette explosion de données.

En réalité, le Big Data est le reflet d’un changement plus profond : le passage d’une ère industrielle caractérisée par l’électricité vers une ère Numérique caractérisée par la donnée. Ce changement a entraîné de profondes modifications dans la société contemporaine : modèles économiques à coût marginal décroissant, commoditisation de la connaissance, décentralisation du pouvoir de création de l’information, suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets, blockchains. Bref, aucun aspect de la société et de nos vies n‘y échappe.

Bien qu’effrayant à vue d’œil, ce changement est en réalité les prémices de grandes opportunités. En chine, il y’a un proverbe qui résume très bien cela : « lorsque les vents du changement souffle, certains construisent des moulins, tandis que d’autres construisent des abris ». Le changement contient toujours des opportunités qui lui sont inhérentes et ce que le proverbe essaye de dire c’est que les opportunités se perçoivent, elles ne se voient pas à l’œil nu.

La manière de penser nécessaire pour « voir » les opportunités d’un changement est ce que l’on appelle un paradigme (terme emprunté à Thomas Kuhn).

Dans cet ebook, nous allons vous initier à l’utilisation des technologies qui permettent d’identifier les opportunités cachées du Big Data en BtoB (c’est-à-dire pour l’entreprise), au-delà du tapage médiatique et de la publicité des éditeurs logiciels. Plus concrètement, à la fin de la lecture de cet ebook :

-  Vous saurez pourquoi il est nécessaire de vous équiper d’un écosystème de technologies pour identifier