Data / IA
Talend soutient Apache Spark, le nouveau moteur d’Hadoop
Par La rédaction, publié le 04 juin 2014
Pour faciliter le transfert de données d’entreprises vers des clusters Hadoop, Talend s’emploie désormais à générer du code adapté au moteur Apache Spark. Les données qui transitent par Hadoop seraient ainsi mieux gérées et moins sollicitées, selon Talend. Les requêtes s’effectueraient à une plus faible latence et les applications s’exécuteraient plus rapidement sur disque et en mémoire.
« Plutôt que de devenir des experts de chaque nouveau projet Hadoop, les utilisateurs peuvent utiliser notre environnement de développement graphique. Talend se charge de générer un code optimisé », explique Fabrice Bonan, co-fondateur de Talend.
Avec le support de la technologie de gestion de clusters Yarn – dont Talend dispose depuis 2012 –, Hadoop est amené à fonctionner à la fois avec MapReduce, le modèle de programmation parallèle de Google, et Apache Spark. Les utilisateurs ne seront ainsi plus restreints à un seul et unique choix technologique.
Hortonworks, l’éditeur de Yarn, l’a bien compris. Apache Spark, écrit en open source, est probablement amené à remplacer MapReduce dans un futur proche. Ce dernier, ne permettant pas l’analyse en temps réel des données, est en effet sur le déclin, même s’il reste toujours fortement lié à Hadoop.
