Accueil / IT Business / Communiqués / Ce que vous coûte réellement le gaspillage de talents en ingénierie Data

Ce que vous coûte réellement le gaspillage de talents en ingénierie Data

Les ingénieurs de données passent près de la moitié de leur temps à entretenir les pipelines de données. Le coût moyen total ? 520 000 dollars par an, selon une nouvelle étude.

Construire un modern data stack à partir de zéro est complexe. L’utilisation des API traditionnelles et des outils d’intégration de données hérités est fastidieuse et coûteuse. La collecte, le nettoyage, le tri et l’analyse des données à l’échelle de l’entreprise à travers des dizaines de sources internes et tierces nécessitent une équipe entière d’experts data qui travaillent 24h/24, en maintenant et en mettant à jour constamment ces pipelines complexes.

Mais un data stack fonctionnel est un besoin essentiel. La data est le moteur de l’activité, donnant aux entreprises un aperçu en temps réel des conditions du marché, des supply chains dynamiques et des attentes imprévisibles des clients, afin qu’elles puissent prendre des décisions rapides et précises en temps réel . Les entreprises qui sont en mesure de transformer radicalement leur approche de l’intégration de données en adoptant une approche automatisée et efficace gagneront un temps précieux en ingénierie et créeront des informations critiques qui auront un impact majeur sur l’activité dans un marché concurrentiel.

Malheureusement, de nombreuses entreprises laissent les inefficacités de l’infrastructure de données miner leurs ressources d’ingénierie. Selon une enquête menée par Wakefield Research et Fivetran auprès de 300 responsables des données et de l’analyse, l’ingénieur data consacre 44 % de son temps en moyenne à la maintenance des pipelines de données, ce qui représente un coût de 520 000 $ par an. Il n’est pas surprenant que, selon le même rapport de Wakefield, près de trois ingénieurs data sur quatre estiment que le temps et le talent de leur équipe sont gaspillés sur la gestion manuelle de ces pipelines de données. Peut-on les en blâmer ? Recentrer leurs responsabilités sur l’analyse des données plutôt que sur la maintenance manuelle contribuerait grandement à améliorer le moral et la fidélisation. Pourquoi demander à un ingénieur de données hautement qualifié de tourner des boutons et tirer des leviers ? Ne devrait-il pas travailler réellement avec des données ?

L’agonie d’un pipeline de données manuel 

Malheureusement, les outils d’ingestion de données existants sont mal adaptés aux besoins actuels des entreprises en matière de données. Tout d’abord, il faut parfois des semaines, voire des mois, à un ingénieur de données pour construire un seul connecteur. Multipliez cela par le nombre de connecteurs nécessaires – souvent des dizaines, voire des centaines au sein d’une même entreprise, en fonction de l’environnement de données – et vous parlez d’un projet de plusieurs années rien que pour alimenter votre data warehouse.

Une fois configurés, les outils existants peuvent exiger des ingénieurs qu’ils configurent manuellement des centaines ou des milliers de schémas et de tables, un par un, pour s’assurer que les données arrivent dans le format souhaité. Il y a aussi la question de la maintenance post-construction : ce qui se passe après la création d’un pipeline de données personnalisé. Votre nouveau connecteur peut extraire vos données d’une source donnée, mais vous devez maintenant maintenir continuellement le code et l’infrastructure du système. Chaque fois que votre source publie une mise à jour de son API ou de ses structures de données, vous devez tenir compte des nouveaux points d’accès à l’API et des champs pris en charge, ce qui entraîne la mise à jour des scripts d’extraction du pipeline. Et cela prive l’équipe d’ingénierie des données de ressources.

Intégration de données en tant que service

Une alternative au bricolage consiste à recourir à un service d’intégration de données géré pour construire, gérer et mettre à jour les pipelines de données. Cela permet aux entreprises d’automatiser le processus d’intégration des données dans leur data warehouse, en éliminant la maintenance permanente et tous les tracas liés à la mise à jour des pipelines lorsque les API ou les structures de données changent, et en redonnant aux ingénieurs data un temps précieux.

« Mon travail consiste à m’assurer que chacun dispose des informations dont il a besoin pour gagner en efficacité, offrir des expériences uniques aux clients et optimiser chaque activité » explique Daniel Deng, Data Architect chez le courtier en prêts hypothécaires Lendi. « Je dois faire en sorte qu’il soit aussi facile que possible de travailler et d’analyser les données provenant de diverses sources de données. Plus vite nous obtenons les données, plus vite nous obtenons les informations dont l’entreprise a besoin pour prendre sa décision. Ainsi, plus vite notre entreprise fonctionne et évolue. »

L’impact de l’automatisation du pipeline de données a été encore plus significatif pour Mark Sussman, responsable de l’analyse des données pour ItsaCheckmate. Il a pu mettre en place un cadre complet d’analyse des données en quelques mois seulement, avec une aide minimale en matière d’ingénierie. « Je peux honnêtement dire que nous sommes maintenant une entreprise data centric » a déclaré Mark. « Les informations sont bien plus facilement disponibles pour traiter tout problème client rapidement et efficacement, et nous pouvons nous concentrer sur l’optimisation des expériences client. Mais, par-dessus tout, nous nous concentrons sur la croissance. » Ce constat s’aligne sur les conclusions de Wakefield. Selon le rapport, 69 % des responsables des données et de l’analyse ont déclaré que les résultats commerciaux s’amélioreraient si leurs équipes pouvaient consacrer moins de temps à la gestion manuelle du pipeline. 

Ce que vous pourriez faire 

Alors, que feraient exactement les ingénieurs de données avec 44 % de temps en plus ?

  1. Créer de nouveaux modèles et analyses avancés

Le fait de ne pas avoir à intégrer manuellement les données et à gérer les pipelines de données permet aux ingénieurs Data de faire ce qu’ils font le mieux. Cela inclut la création de nouveaux modèles et de nouvelles analyses. Par exemple, les ingénieurs de données de Canva tirent les analyses de marketing et de vente de dizaines de plateformes d’engagement dans le cloud vers la plateforme de données de l’entreprise gérée par Snowflake. Les informations obtenues grâce aux outils de veille stratégique de l’entreprise, Looker et Mode Analytics, permettent aux spécialistes du marketing de Canva d’apporter les modifications nécessaires et d’optimiser les résultats. Le fait d’extraire automatiquement des données de l’ensemble du Marketing Stack (réseaux sociaux, e-mail et publicité digitale) permet de comparer les performances des campagnes entre Canva et des plateformes tierces, tout en permettant à Canva d’économiser plus de 200 000 dollars par an en coûts d’ingénierie. L’entreprise peut ensuite modéliser les informations pour fournir une vue complète et à 360 degrés du client.

  1. Démocratiser l’accès aux données et instaurer une culture de la donnée

Aman Malhotra, responsable de la croissance et de l’analyse chez Super Dispatch, a vu la demande de données exploser depuis qu’elle a automatisé les pipelines de données de l’entreprise et qu’elle a fourni aux équipes des idées pour les aider à atteindre leurs objectifs spécifiques. Elle est inondée de demandes de données de la part de ses collègues à travers l’entreprise (dans le bon sens du terme, car elle peut facilement répondre à ces demandes). Au lieu de se fier à leur intuition ou de surcharger l’équipe data analytics de demandes, les employés de Super Dispatch peuvent se plonger eux-mêmes dans les données de la manière qui leur convient. La facilité d’accès à la data a donné envie à chacun de mettre la main sur des données exploitables qu’il peut utiliser pour prendre la bonne décision au bon moment, ce qui conduit à des résultats positifs et mesurables. Comparez cela à ce que l’étude a révélé sur l’état actuel des choses dans la plupart des entreprises : 76 % des ingénieurs de données déclarent qu’il leur faut plusieurs jours ou une semaine pour préparer des données en vue de décisions ayant une incidence sur les revenus.

  1. Créez des applications internes pour générer de la valeur commerciale

Les ingénieurs Data peuvent également passer plus de temps à développer des applications internes qui automatisent et rationalisent les processus internes. Daydream, une startup en phase de démarrage dans le domaine de la finance, automatise une grande partie de son pipeline de données, ce qui permet à son équipe Data de se concentrer sur le développement du produit principal de l’entreprise. Cette capacité à recentrer les ressources d’ingénierie a permis à l’entreprise d’accélérer sa mise sur le marché d’un mois complet, ce qui constitue un avantage considérable sur un marché encombré et en plein essor.

  1. Recherchez toujours les possibilités d’automatisation

Une fois les problèmes d’intégration de données résolus, les ingénieurs de données peuvent se concentrer sur les autres outils du Data Stack pour en tirer le meilleur parti. Par exemple, le détaillant en ligne australien Sleeping Duck tire des données de 24 sources de données différentes – de Google Analytics à Xero, la plateforme comptable de l’entreprise – pour prendre des décisions commerciales cruciales dans les domaines du marketing, des ventes et du succès client. Par exemple, la construction et la gestion de ces data ingestion pipelines en interne auraient doublé le temps total nécessaire pour comprendre quelles campagnes de marketing fonctionnent ou non afin d’optimiser les dépenses. L’automatisation du processus d’intégration des données a permis à l’entreprise de disposer du temps et des ressources nécessaires pour obtenir des informations précieuses, transformer ses méthodes de travail et, au final, offrir une meilleure expérience client.

Comment libérer votre temps pour des utilisations plus productives ? 

Le temps consacré au Data engineering est rare, et il est difficile de construire un modern data stack à partir de zéro. Le traitement manuel des données coûte en moyenne 520 000 $ par an à une entreprise. Il est préférable de consacrer ce temps et cet argent à l’exploitation des données afin d’en tirer de puissantes informations commerciales qui permettent de développer le produit principal, de rationaliser les processus internes et d’améliorer l’expérience client. Ce n’est qu’alors que vous pourrez optimiser votre pipeline de données moderne et instaurer une culture axée sur la data dans votre entreprise.

Téléchargez le rapport « The State of Data Management Report » pour découvrir en détail les résultats de l’enquête menée par Wakefield Research et Fivetran auprès de 300 responsables des données et de l’analyse.

Pour plus d’informations, visitez fivetran.com

 

A voir

Rubrik lance Rubrik Security Cloud pour une meilleure protection des données

Rubrik, le spécialiste de la sécurité des données Zéro Trust, annonce le lancement de Rubrik Security Cloud pour mieux protéger les données des clients où qu'elles soient, dans l'entreprise sur le cloud ou en mode SaaS.