Il y a une spécialisation de plus en plus forte des métiers de la Data, et l’une de ces spécialités concerne la partie informatique.
(Article d'Andrew Ross du 12 mars 2019)
Data Engineers & Machine Learning Engineers
Avec deux postes centraux qui sont parfois occupés par une seule et même personne : Data
Engineer et Machine Learning Engineer.
Ces termes peuvent recouvrir des réalités différentes, mais en général j’ai observé les
nuances suivantes :
- Le Data Engineer est en « amont » du Data Scientist : il met en place les pipelines de
données, qui sont utilisées par le Data Scientist pour créer son modèle. Et une fois que
le modèle prédictif est en production, ces pipelines de données sont l’ « input »
permettant d’obtenir les « prédictions »
- Le Machine Learning Engineer est en « aval » du Data Scientist : c’est un développeur
qui a des bonnes notions de ce qu’est le Machine Learning. Une fois que le prototype
(ou « POC » i.e. Proof Of Concept) est prêt, il va optimiser le code, et le déployer à
l’échelle dans un système d’information en production
Ces profils sont très recherchés, et en constante évolution. A ce titre, voici un article très
intéressant de Max Beauchemin, sur les grandes tendances de l’évolution du métier de Data
Engineer :
Comme pour le métier de Data Scientist, une évaluation technique poussée s’impose. Voici
quelques-unes des dimensions clés d’après mon expérience : écosystème Hadoop, Spark-
Scala, algorithmes, DevOps…
A cela s’ajoute la dimension de l’infrastructure cloud. Il existe des experts qui maîtrisent à la
fois la couche infrastructure et la couche data, mais là aussi j’ai observé une spécialisation de
plus en plus forte, et une distinction entre le métier de Data Engineer et de Cloud Engineer.
Encore un autre sujet, qui pourra faire l’objet d’un prochain article ! :)
Comments