Publié par

Il y a 4 semaines -

Temps de lecture 2 minutes

Apache Beam meetup 2019-10-17 : Portability, Beam on Spark and more!

Tout Xebia France a fini de déménager pour arriver au 94 Avenue Gambetta Paris 20ème. Notre goût pour le partage de connaissance n’est pas resté dans les cartons ! Le meetup Paris Apache Beam nous a fait l’honneur d’être le premier meetup que nous accueillions en tant que Publicis Sapient Engineering dans nos nouveaux locaux.

Et Beam ! Une intro

Apache Beam est un modèle de programmation qui a pour but d’unifier l’écriture de jobs batch et d’applications temps réelle. C’est une implémentation open source du modèle derrière Dataflow, produit de GCP. Ce n’est ni un framework ni un langage, mais il permet au contraire, de faire le lien entre les deux. Soyons fous ! À force de contributions, on pourrait imaginer dans un futur proche faire tourner sur Apache Spark comme sur Apache Flink un job ETL écrit en Go. Ce principe s’appelle la portabilité et ce meetup y était consacré.

 

Zoom sur la portabilité

Le premier talk est donné par Abbass Marouni, Team lead chez Talend. Il nous a exposé comment Talend adresse plusieurs problématiques posées par leur outil : Big Data Studio. La variété des formats de données, la vitesse d’évolution des produits Big Data et le temps d’itération projet étaient de vrais challenges. La création de Pipeline Designer, un outil similaire mais qui s’appuie cette fois sur Apache Beam, permet de répondre à une partie d’entres elles. Après une explication sur la façon dont la portabilité aide dans le cas de ce produit nous avons eu droit à une démo.

C’est ensuite Ismaël Mejia, ingénieur chez Talend, qui a pris du recul sur l’objectif de Beam et la vision pour le futur de la portabilité. Après un zoom sur le concept de Runner il est aussi revenu sur la manière dont gRPC est utilisé pour se rapprocher de quelque chose agnostique aux langages.

Dans le dernier talk Kyle Weaver a concrétisé ce qui s’est dit avant avec un exemple : celui du Runner Spark. Il a expliqué  que même si les transformations au sein de Beam sont très nombreuses, elles peuvent se décomposer comme une suite de primitives au nombre réduit. On a ensuite listé ensemble quelques transformations Spark et donné leurs équivalents dans ces primitives. De quoi nous donner un petit aperçu de ce qu’il faut pour implémenter le runner de sa plate-forme favorite.

 

Publié par

Publié par Xebia France

Xebia est un cabinet de conseil international spécialisé dans les technologies Big Data, Web, les architectures Java et la mobilité dans des environnements agiles. Depuis plus de 15 ans, nous avons la volonté de partager notre expertise et nos actualités à travers notre blog technique.

Commentaire

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Nous recrutons

Être un Xebian, c'est faire partie d'un groupe de passionnés ; C'est l'opportunité de travailler et de partager avec des pairs parmi les plus talentueux.