Concevez des architectures Big Data

Il existe énormément d'outils différents pour manipuler des quantités massives de données : pour le stockage, l'analyse ou la diffusion, par exemple. Mais comment assembler ces différents outils pour réaliser une architecture capable de passer à l'échelle, d'être tolérante aux pannes et aisément extensible, tout cela sans exploser les coûts ?

Dans ce cours, nous allons vous présenter un modèle d'architecture très populaire, applicable à pratiquement toutes les situations nécessitant des données massives. Il s'agit de la Lambda Architecture. C'est un modèle qui vous permettra de concevoir une architecture adaptée à vos besoins tout en conservant une structure modulaire. Nous présenterons dans le détail ce modèle générique ainsi que des choix techniques concrets répondant au cahier des charges des différents composants.

Prérequis :

Ce cours peut servir de point d'entrée dans le parcours Data Architect ou de conclusion ! Vous pouvez donc le consulter sans autres prérequis que ceux du parcours.

Mais n'hésitez pas à y revenir souvent, après la lecture des autres cours, pour comprendre comment les différents éléments d'une architecture Big Data s'articulent.

Part #1 - Définissez une architecture Lambda
1. Restez calme ! Je suis data architect.
2. Faites vos premiers pas sur la Lambda Architecture
3. Analysez vos données par lot dans la Batch Layer
4. Partagez vos données avec la Serving Layer
5. Restez à jour avec la Speed Layer
Quiz: Testez-vos connaissances