Développeur Big Data

Je participe au développement d’applications Big Data, de l’étude des besoins client à la réalisation en passant par la conception et la proposition de solutions.

J’ai commencé par un baccalauréat scientifique et une licence en informatique, puis j’ai continué avec un master Big Data en alternance. J’ai effectué deux années d’alternance chez Crédit Agricole CIB où j’ai été embauché après mon diplôme.

Je ne connaissais pas le monde de la Banque et de la Finance quand j’ai trouvé un poste en alternance chez Crédit Agricole CIB. Au cours de mon Master, j’ai découvert un milieu et des sujets très variés. Tous les moyens sont mis en œuvre pour nous permettre de travailler sur la Data avec de nouvelles solutions.

Plusieurs chemins de carrière sont possibles et dépendent bien entendu de mes envies et des opportunités. On peut se spécialiser et devenir expert sur certaines technologies, ce qui permet d’échanger et d’acculturer d’autres équipes sur ces technologies. D’autres préfèrent se tourner vers la gestion de projet ou le management.

Je pense qu’il faut un bon esprit logique car certains problèmes complexes, notamment algorithmiques, peuvent demander beaucoup de réflexion pour trouver la meilleure réponse à un besoin, notamment en termes d’optimisation de performance.

Une journée type s’organise généralement autour du développement d’outils de pilotage et de calculs des risques de marchés. Suivant l’avancement, il peut s’agir d’échanges avec les business analysts, les code designers et les architectes sur la conception du rapport. Viennent ensuite la partie développement pure et enfin les tests qui permettent de s’assurer que le rapport remplit bien ses fonctions. À cela peuvent s’ajouter le suivi et la correction des éventuels problèmes de production.

Les données utilisées par nos rapports sont stockées dans un data lake sur un cluster Hadoop. Nous utilisons Spark en Java et Python pour effectuer des calculs distribués et nous gérons les flux de données avec Kafka. Enfin Jenkins nous permet de gérer l’automatisation des tests et l’intégration continue.

Crédit Agricole CIB offre de nombreuses opportunités pour s’informer sur les nouvelles technologies, avec l’organisation fréquente de conférences animées par des experts. Il y a également des formations en ligne disponibles sur un grand nombre de sujets. Il existe aussi une communauté de développeurs qui organise des événements permettant de rencontrer des profils très variés et donc de découvrir des technologies différentes de celles que l’on utilise dans nos missions.

Il faut avoir une bonne connaissance des environnements Big Data car la compréhension des interactions qu’ont les différents composants entre eux est primordiale pour développer efficacement des applications optimisées.

Plutôt un bon souvenir : lorsque j’ai participé au concours de meilleur développeur de France avec l’équipe du Crédit Agricole, j’ai pu rencontrer des développeurs de tout le Groupe et de LCL, échanger avec eux et aller jusqu’en finale avec certains collègues. Une très belle journée ! 😄