Qu’est-ce que le reverse ETL ?

Les ETL permettent aux entreprises d’alimenter leurs entrepôts de données. Dès lors, les données sont disponibles, soit pour être utilisées comme sources fiables pour les outils de Business Intelligence (BI) soit pour être réinjectées dans le Système d’Information (SI) de l’entreprise après une migration.

Avec les reverse ETL, les données conservées dans les entrepôts peuvent être de nouveau valorisées par des applications métiers à des fins opérationnelles.

Ainsi, dans l’entrepôt de données, la conservation des données extraites du SI par un ETL à des fins d’analyse est prolongée.

Dans cet article, découvrons :

  • Ce qu’est un reverse ETL ;
  • Pourquoi l’utiliser ;
  • Et enfin, quels en sont les avantages.

Pour comprendre ce qu’est un reverse ETL, il est nécessaire de revenir à la définition d’un ETL et sur ce qu’il produit. En effet, le reverse ETL procède de l’ETL.

Qu’est-ce qu’un ETL et comment il fonctionne ?

Définition de l’ETL, une source unique de données

ETL définition : ETL, Extract Transform Load, désigne un processus qui consiste à :

  • Extraire des données brutes issues de différentes sources disparates du SI de l’entreprise : gestion commerciale, gestion de production, CRM, comptabilité, finance, paie RH, etc. ;
  • Transformer les données en les contrôlant, les nettoyant (ex : suppression des doublons) et les transposant dans un même format unique ;
  • Charger les données propres et exactes dans un entrepôt de données.

Ainsi, l’entreprise dispose d’un entrepôt de données, source unique de données de qualité, pour analyser ces dernières et alimenter des outils de Business Intelligence pour des prises de décisions stratégiques.

Le processus ETL

Processus ETL (Extract Transform Load)

Qu’est-ce qu’un reverse ETL ?

A quels besoins répond le reverse ETL ?

Avec un reverse ETL, le Data Warehouse (DWH), destination des transferts de données de l’ETL, devient une source de données stratégiques réutilisables.

Le reverse ETL est la réponse des problématiques rencontrée par les DSI et les data managers des entreprises :

  • Les services opérationnels de l’entreprise ont besoin de plus de plus de données pour procéder à des analyses opérationnelles ainsi que pour prendre et justifier des décisions au quotidien : ventes, campagnes marketing, etc ;
  • Les données stockées dans Data Warehouse sont des données exactes, de qualité et à jour, uniquement utilisées pour le reporting et l’analyse décisionnelle à moyen et long terme.

Ainsi, le reverse offre aux opérationnels un accès à des données retravaillées, de qualité et à jour à confronter avec les leurs pour en faire ressortir de la data précise. En effet, les équipes de vente, de marketing et de finance par exemple, peuvent dès lors analyser ces nouvelles données pour des prises de décisions très concrètes.

Comment synchroniser les données des applications métiers des services opérationnels avec les données nettoyées, vérifiées et centralisées dans le Data Warehouse ? Avec le reverse ETL !

Le processus reverse ETL

reverse ETL (Extract Transform Load)

Pour résumer :

·      L’ETL charge les données de l’entreprise dans un Data Warehouse pour créer une source unique de vérité au sein de l’entreprise ;

·      Le reverse ETL extrait les données du Data Warehouse pour alimenter en données de qualité des applications métiers et des outils d’analyse opérationnelle.

C’est un processus qui fonctionne en mode « tabular data streaming » :

  1. Le reverse ETL permet l’exécution de requêtes de type SQL sur les données stockées dans un Data Warehouse ;
  2. Les données extraites via les requêtes sont disponibles dans des tables et des tableaux. Elles sont traitées par des fonctions de mapping  puis poussées vers les applications cibles ;
  3. L’interface graphique du reverse ETL permet de créer les requêtes, de paramétrer les fonctions de mapping et de programmer leurs exécutions à intervalles réguliers pour synchroniser les données des applications cibles avec des données rafraichies.

Pourquoi utiliser un reverse ETL ?

Voici les cinq avantages à utiliser un reverse ETL pour alimenter en données des applications métiers et des outils d’analyse opérationnelle.

1-    Simplification de l’urbanisation du Système d’Information

Dans une entreprise, les sources de données sont multiples. Si l’on souhaite donner à des équipes internes, un accès à des informations transverses, la tâche des DSI peut être très complexe.

En effet, cela induit :

  • la recherche des données au sein de l’ensemble du SI ;
  • l’extraction des données des fichiers et des bases de données ;
  • le nettoyage des données ;
  • et enfin, la transposition des données dans un format unifié.

Cela revient à reproduire le processus d’un ETL. Dans ce cas, un reverse ETL permet de donner un accès immédiat à des données préalablement nettoyées et formatées.

Ainsi, le reverse ETL évite la multiplication des extractions et des importations en fichiers CSV, texte ou par API. Pour tout outil d’analyse opérationnelle ou CRM, le reverse ETL sera le point d’entrée unique concernant l’importation de données.

2-    Accéder à une source unique de données de qualité

Le deuxième avantage d’utiliser l’entrepôt de données alimenté par un ETL comme source de données est la qualité des données stockées. Elles sont réputées être véridiques, propres et actualisées. Avec un reverse ETL, l’entrepôt de données alimenté avec un ETL devient pour le personnel de l’entreprise un véritable « libre-service de data » dans lequel toutes les données de l’entreprise sont accessibles.

3-    Valoriser les données stockées

Jusqu’alors, les données disponibles dans les différents entrepôts de données des entreprises n’avaient qu’un seul usage pour les outils de Business Intelligence. Elles étaient accessibles via des rapports de BI et ne devaient être interprétées que par des experts métiers. Avec les reverse ETL, ces données peuvent de nouveau être utilisées et exploité par diverses applications et outils de gestion. Elles sont de nouveau source de valeur pour l’entreprise.

4-    Efficacité des services de l’entreprise

En accédant directement à des données actualisées et vérifiées avec leurs applications et outils métiers, le personnel des services gagne en efficacité. Moins de temps est perdu à rechercher de l’information et à la contrôler. Les équipes opérationnelles (marketing, ventes, production, finance) disposent ainsi de données fiables en temps réel. Dès lors elles peuvent agir et prendre des décisions de gestion à partir de ces données.

5-    Contrôle de l’accès aux données sensibles

Enfin, dernier avantage, et non le moindre, la sécurité et le contrôle aux données sensibles de l’entreprise.

Le reverse ETL évite la multiplication des sources de données ainsi que les nombreux outils d’accès et d’export de données, API et fichiers CSV.

De ce fait, les contrôles d’accès aux données sensibles sont centralisés au niveau du reverse ETL. Ainsi, le respect du Règlement Général sur la Protection des Données (RGPD) pour les données clients et les données à caractère personnel est renforcé.

Le reverse ETL pour aider les entreprises à devenir « data driven » !

Le reverse ETL aide les équipes à utiliser les données de l’entreprise. Sans lui, les données qui alimentent les DWH via les ETL restent exclusivement réservées à la BI à des fins d’analyse et de prise de décisions stratégiques par les Directions. Avec le reverse ETL, elles deviennent accessibles par tous, et tout particulièrement par le service marketing et le service commercial. Elles permettent de gagner du temps pour réaliser des analyses opérationnelles. Des données fiables et interprétables sont immédiatement rendues disponibles par un reverse ETL et permettent à différents services de prendre des décisions pertinentes et justifiées.

De fait, les reverse ETL accélèrent la transformation de l’entreprise en entreprise pilotée par la data.

Tenor, expert des échanges de flux de données depuis plus de 30 ans, vous accompagne dans la mise en place de vos projets de Data Management, EDI et facturation électronique. Contactez nos experts et voyons ensemble comment nous pouvons vous aider à performer davantage.

Vous avez un projet #EDI, besoin d’un devis ou d’un renseignement particulier ? Envoyez-nous un mail via notre formulaire de contact !

Tenor à votre écoute pour tout projet EDI – Tenor EDI Services

Comment la solution DEX automatise l’adaptation et l’intégration d’un fichier FAB DIS à votre logiciel de gestion

Dans cet article, nous vous présentons l’automatisation d’un besoin métier avec la solution DEX : la prise en charge du fichier FAB-DIS.

Qu’est-ce qu’un fichier FAB-DIS ?

Le fichier FAB-DIS est un format d’échange de données et d’informations entre fabricants et distributeurs. Il se présente sous la forme d’un fichier Excel. La matrice du fichier FAB-DIS propose plusieurs onglets Excel pour classer les données par nature et des nomenclatures de valeurs de référence.

Le fichier FAB-DIS permet de faciliter la diffusion des informations produits du fabricant à l’ensemble des distributeurs et revendeurs. C’est alors au fabricant de conserver la maîtrise de l’information de ses produits et articles.

Les difficultés d’interpréter un fichier FAB-DIS

Si le fichier FAB-DIS est complet et interprétable par tous, son format Excel rend sa production et sa maintenance difficiles à automatiser. En entreprise, la pratique montre qu’il est complexe et chronophage de créer et de maintenir à jour un fichier FAB-DIS. En effet :

  1. Il est nécessaire d’aller chercher de l’information dans de multiples sources internes pour mettre à jour les différents onglets,
  2. Chaque onglet est de structure différente avec des règles métiers spécifiques,
  3. Un remplissage manuel est source d’omissions et d’erreurs.

La gestion du FAB-DIS : Un travail chronophage

Suivant une étude réalisée auprès de nos clients utilisateurs de FAB-DIS, chaque traitement de fichier représente entre 30min et 1h30 pour une personne du service ADV, Administration Des Ventes.

Sur une moyenne de 50 fichiers à traiter par mois, on comptabilise 50 heures passées environ, soit plus de 7 jours de travail consacrés à cela. 

Comment la solution DEX automatise la création d’un fichier FAB-DIS ?

La solution DEX permet d’extraire des données de sources multiples, d’effectuer des traitements suivant des règles métier, de les transposer dans différents formats cibles, de les intégrer dans des fichiers de format à plat ou structuré et de les stocker en tout emplacement. Cela, tout en prenant en charge la correction des caractères spéciaux et en gérant d’éventuels erreurs ou champs vides.

Via DEX en moins de 3min un traitement est réalisé en intégrant : 

  • L’automatisation dans la prise en charge
  • Le découpage et le tri des informations contenues
  • La possibilité d’intégration des informations directement sur votre logiciel de gestion ou de dépôt sur un dossier spécifique
  • La détection d’erreurs
  • La validation par une personne au sein de votre structure
  • La correction des caractères spéciaux

Connexion aux sources de données

DEX est une solution type EAI, Enterprise Application Integration. Ainsi la solution DEX se connecte via des interfaces automatisées à toutes applications et sources de données du Système d’Information de l’entreprise : ERP, WMS, CRM, Gestion de production, GED, Serveurs multimédias, ….

Transformation et traitement des données

Les données collectées pour chaque produit ou article fabriqué et commercialisé sont nombreuses. Différents formats ont possibles. Il peut s’agir de formats structurés, de documents PDF, de fichiers non structurés. Quelques exemples de données :

  • Des données commerciales : désignation, codification GTIN, UVC…
  • Des descriptifs détaillés : couleur, dimension, composition…
  • Des données logistiques : code douanier, poids brut, hauteur, conditionnement…
  • Des informations techniques : mode d’emploi, notices, garanties, conditions d’utilisation…
  • Des données marketing : argumentaires de vente, comparatif, tarif, témoignage utilisateur, communiqué de presse…
  • Des fichiers multimédias : photo, vidéo de mise en situation…

Toutes ces données sont collectées et converties quand nécessaire (exemple : du système métrique au système anglo-saxon). DEX vous permet de définir des transformations entre de multiples formats de données de façon simple et intuitive avec une interface graphique.

La gestion automatisée des erreurs facilite le contrôle des données extraites des différentes sources en s’assurant qu’elles soient bien cohérentes, conformes et qu’elles respectent les standards du FAB-LIB.

Intégration des données dans un fichier Excel

DEX permet pour chaque donnée collectée et traitée de la retranscrire dans un fichier excel suite à un export csv. Il sera alors possible d’alimenter vos fichiers avec les bons onglets, dans les bonnes cellules et dans les bons formats après avoir appliqué les règles métier associées. Il est également possible d’intégrer uniquement les données dans une base pour stockage.

Comment automatiser la création d’un fichier FAB-DIS dans la solution DEX ?

DEX gère de nombreux connecteurs de communication

DEX dispose d’une bibliothèque composée de nombreux protocoles de communication pour aller chercher les données dans les différentes sources en ligne. Les données peuvent être extraites et intégrées via des fichiers plats, des bases de données, des Web services ou des API.

L’interface graphique pour construire et visualiser les flux et les traitements

DEX est très simple à utiliser. Une interface graphique offre une visualisation de l’ensemble des flux de données de la source à la cible. DEX permet de concevoir et de maintenir les transferts de données sans nécessité de développements spécifiques.

La préparation des données pour intégration dans FAB-DIS

Pour chaque donnée extraite, DEX permet d’associer des traitements simples ou complexes et des conditions de déclenchement. Ainsi chaque information est codifiée selon les tables de nomenclature du fichier FAB-DIS. Si des données mentionnées obligatoires sont absentes ou oubliées, l’utilisateur est alerté.

La diffusion du fichier FAB-DIS

Le traitement du fichier FAB-DIS constitué, DEX peut :

  • Pousser les informations vers un PIM, Product Information Management, qui le diffusera
  • Retranscrire un fichier souhaité et le mettre à disposition dans un dossier/SFTP ou autre
  • Intégrer les informations sur un logiciel métier (ERP)
  • Envoyer les informations par mail

5 avantages de choisir une solution DEX pour prendre en charge ses fichiers FAB-DIS

  1. La facilité de mise en oeuvre. Grâce à son interface graphique, DEX simplifie les paramétrages et évite les développements spécifiques.
  2. La bibliothèque de connecteurs. Elle rend DEX compatible avec l’ensemble des sources de données de l’entreprise.
  3. La gestion automatique des erreurs et des anomalies. Lors de l’extraction des données et lors de la préparation des données avant intégration dans le fichier FAB-DIS, les erreurs et les anomalies sont corrigées.
  4. Les gains de temps. Quelques minutes suffisent pour générer un nouveau fichier FAB-DIS.
  5. La réactivité. La solution permet de synchroniser un nouveau FAB-DIS et le communiquer aux distributeurs lors de modifications : nouveau tarif, disponibilité du stock, changement de référence, mise à jour technique, nouvelle documentation commerciale…

Expert des échanges de flux de données depuis plus de 30 ans, Tenor vous accompagne dans vos projets d’EDI, d’EAI et de facturation électronique. Contactez nos experts et lancez votre projet.

Tenor lance DEX One, la solution d’organisation du SI pour les PME 

Tenor a créé DEX One pour répondre aux préoccupations pratiques rencontrées au quotidien par les PME, en matière d’organisation et de structuration de leur système d’information.  

Pour répondre aux enjeux de la digitalisation de l’entreprise, les DSI optent souvent pour une solution EAI / ETL / EDI afin de rationaliser les échanges de données et de fichiers entre leurs différents applicatifs, filiales et/ou partenaires.

«Ces solutions très puissantes répondent parfaitement aux besoins des grandes entreprises. Mais leur mise en œuvre peut représenter un défi pour les petites et moyennes structures dont les ressources sont parfois plus restreintes», constate Éric Delvart, Directeur de Marchés de Tenor.

« C’est pourquoi nous avons créé DEX One, une solution clé en main, simple à installer et dont la prise en main ne nécessite pas d’avoir des développeurs dans ses équipes. » 

DEX One répond à des besoins d’intégration d’applications, par exemple ERP/CRM, mais aussi à des préoccupations pratiques que rencontrent les PME au quotidien, comme l’alimentation des systèmes via la réception / émission de fichiers partenaires, l’alimentation de portails web ou e-commerce (de type Amazon Marketplace) ou encore la gestion de workflow avec un processus de validation par les métiers.  

Piloter toutes ses données avec un seul logiciel 

DEX One permet de contrôler tous les échanges, sources de données et applications. L’ensemble des données est supervisé, synchronisé et fiabilisé avec un seul logiciel. DEX One gère le transport des données à travers de nombreux protocoles de communication. Il peut être utilisé pour paramétrer des transformations entre de multiples formats de données de façon simple et intuitive. Il permet également de connecter n’importe quelle source de données ou de fichiers ou de transformer et stocker des fichiers et/ou des données dans tout autre emplacement. 

Rapidement opérationnel, DEX One représente également un gain de temps grâce à sa gestion d’erreurs automatisée et simplifiée. La qualité et la sécurité du transfert des données est garantie par la console de supervision et d’administration qui offre une vue consolidée synthétique permettant d’administrer efficacement les flux et les données. 

«Avec DEX One, nous proposons aux PME une solution pour rationnaliser efficacement leur système d’information, ce qui leur permettra de réduire leurs coûts et de gagner en productivité»,

conclut Éric Delvart

Data Management : Comment piloter par la data ?

La transformation numérique des économies et des entreprises amène à de nouvelles réflexions dans les processus de prise de décision. Selon Gartner, 65% des entreprises BtoB passeront d’ici 2026 d’une prise de décision basée sur l’expérience, l’influence et l’intuition à une prise de décision basée sur la data. C’est le Data Management !

Les entreprises deviennent des organisations « data driven », c’est à dire des entreprises pilotées par la data. La collecte et l’analyse des données deviennent essentielles. Les DSI, Directions des Systèmes d’Information, devront fournir aux services de l’entreprise, les indicateurs nécessaires au pilotage.

Dans cet article, découvrez comment piloter par la data. Quels sont les nouveaux enjeux pour les DSI ? De quels outils de Data Management disposent-ils ? Comment les solutions d’intégration de données, EAI et ETL, procurent à l’entreprise les données de qualité nécessaires à la prise de décision.

Devenir une entreprise « data driven »

Les données étaient jusqu’alors utilisées à des fins de reporting pour analyser la situation présente de l’entreprise et dresser un bilan des actions menées. La transformation numérique des métiers a amené à la dématérialisation des processus internes ainsi que des échanges commerciaux et financiers. Cette dématérialisation donne accès à de nouvelles sources de données grâce à l’IoT (Internet des Objets), l’Open Data et le Big Data. Toutes les activités de l’entreprise et l’ensemble de son écosystème sont digitalisés et disponibles sous forme de données numériques pour permettre le Data Management.

Qu’est-ce qu’une entreprise pilotée par les données ?

En s’appuyant sur ce volume considérable de données, l’entreprise est désormais en mesure de faire des choix stratégiques aboutis pour accentuer son développement et augmenter ses revenus. Elle peut également prendre des décisions opérationnelles précises afin d’optimiser ses processus, obtenir des gains en performance mais également améliorer la qualité de ses produits et services.

Une entreprise « data driven » est une entreprise qui exploite à tous ses niveaux hiérarchiques, la donnée au quotidien pour prendre des décisions rapides et adaptées.

Les données au cœur de la création de valeur

Ce changement de culture amène à conforter la place de la donnée au cœur de l’entreprise. Les données collectées puis consolidées permettent d’expliquer des évènements antérieurs, d’apporter des pistes d’amélioration, de définir des plans d’actions et de produire des prédictions. Piloter une organisation par la data consiste à rendre les données jusqu’alors inertes, vivantes et actives.

De nouveaux défis pour les entreprises

Pour devenir une entreprise pilotée par la donnée, l’entreprise doit relever trois défis :

La souveraineté sur les données

L’entreprise doit être souveraine pour collecter, vérifier, consolider et conserver toutes les données numériques dont elle a besoin.

La gouvernance des données

L’entreprise doit être capable de normer les données et de les interpréter afin d’en extraire les informations nécessaires à la prise de décisions pertinentes.

La maîtrise des moyens décisionnels

L’entreprise doit disposer de moyens d’analyse qui permettent de prendre des décisions à partir des informations fournies par les données.

Pour relever ces défis, les DSI sont sollicitées pour fournir en temps réel des données de qualité, interprétables par les décideurs et les managers.

Le Data Management au cœur des nouveaux enjeux des DSI

Pour les Directions des Systèmes d’Information, le passage à une entreprise pilotée par la data réside en la capacité de gérer les flux de données pour irriguer les services et veiller à la bonne qualité des données en circulation.

Afin de fournir des données pertinentes et à jour, leurs missions sont :

  • L’identification des sources de données et leur collecte,
  • La gouvernance de la donnée via la création de référentiels, le contrôle de la qualité, la conformité des données aux réglementations (RGPD et autres), structuration des données à des fins d’analyse, Etc.
  • Le choix et la mise en œuvre des solutions technologiques destinées à l’évolution du Système d’Information pour optimiser la circulation les données et leur stockage.

Identifier les données

Lorsque l’on parle de données en entreprise, nous pensons aux applications métiers et aux bases de données. Cependant, une très grande partie de la data de l’entreprise est mal connue, peu accessible et dispersée. Le rôle de la DSI est de les identifier, les recenser et les rendre disponibles.

Quels sont les différents types de données dont dispose l’entreprise ?

  • Les données transactionnelles : il s’agit des données commerciales, comptables et financières de l’entreprise. Elles proviennent des applications métiers de l’entreprise : ERP, Gestion Commerciale, Gestion de Production, Comptabilité, etc. Elles apportent des informations fiables et actualisées sur l’activité de l’entreprise et permettent de mesurer ses performances.
  • Les données comportementales : il s’agit des traces des interactions entre l’entreprise et son public via les sites internet de l’entreprise ou les réseaux sociaux par exemple. Il s’agit de données anonymes ou identifiées qui permettent de mesurer l’audience et la notoriété de l’image de l’entreprise en temps réel.
  • Les données déclaratives : ce sont les données recueillies par l’entreprise ou par des intermédiaires. Il s’agit de questionnaires, de notations, de niveaux de satisfaction sur un service ou un produit, d’avis consommateurs, d’attentes exprimées à l’occasion de sondages, etc.
  • L’Open Data : ces données permettent de disposer d’informations publiques structurées et qualifiées.
  • Le Big Data : ces données permettent à l’entreprise BtoB ou BtoC de développer des campagnes marketing basées sur les comportements, de comprendre les choix des consommateurs, d’anticiper des tendances…
  • Le Dark Data : en parallèle des outils et applications fournis par les DSI, il s’agit de fichiers, de tableaux Excel, d’indicateurs ou de reportings mis en place de façon intuitive dans les services par le personnel pour faciliter le travail au quotidien.

Collecter les données

Le rôle des DSI va être de collecter l’ensemble de ces données et de les rendre accessibles aux outils de pilotage de l’entreprise dans des entrepôts de données ou Data Warehouse. Les Data Analysts pourront dès lors les interpréter et fournir des indications pertinentes pour des prises de décisions.

Piloter par la data

Pour atteindre ces objectifs, les DSI disposent de plusieurs solutions d’intégration de données.

Quelles solutions d’intégration de données pour les entreprises ?

Les Data Management Platform

Les DMP ou Data Management Platform sont des solutions de gestion de données qui permettent de mettre en place une stratégie marketing pilotée par les données.

Elles permettent de concilier les données clients et prospects avec les données comportementales afin de dresser des profils d’acheteurs potentiels, d’anticiper les tendances et de mettre en place une stratégie marketing construite sur les informations obtenues par l’analyse des données.

Les Master Data Management

Les MDM ou Master Data Management permettent de mettre en place des règles et des procédures pour garantir la qualité des données. Leur objectif est de faire en sorte que les données soient toujours accessibles, véridiques et interprétables. Les MDM sont des ensembles de règles et de méthodes qui permettent de créer et de gérer le référentiel des données de l’entreprise.

Avec les MDM, l’entreprise dispose :

  • D’un référentiel de données commun à toutes ses applications métiers : Qu’est-ce qu’un client ? Qu’est-ce qu’un produit ? Comment est codifiée une adresse ?
  • De règles de qualification et de validation des données lors de leur intégration dans le Système d’Information de l’entreprise. Cela permet d’avoir une cohérence, une fiabilité et une pertinence de la data. 
  • De méthodes de synchronisation des données entre les différents logiciels métiers de l’entreprise.
  • De formats structurés dans lesquels les données sont conservées pour garantir leur interprétabilité.

Enfin les MDM permettent de sécuriser les données et de respecter les réglementations au niveau des lieux de stockage et d’archivage mais aussi sur les procédures de contrôles aux accès.

Les Enterprise Application Integration

Les EAI ou Enterprise Application Integration sont des solutions de gestion de flux de données entre applicatifs. Les EAI permettent aux applications métiers de l’entreprise de :

  • Partager la même source de données de référence.
    Exemple : Lors de la création d’un nouvel article dans la Gestion Commerciale, celui-ci est disponible pour le site e-commerce, la facturation et la logistique.
  • Se synchroniser entres elles.
    Exemple : Les nouvelles commandes saisies dans la Gestion Commerciale, reçues par EDI ou reçues par l’intermédiaire d’une Marketplace, par exemple, sont toutes centralisées dans le même puit de commandes et les stocks sont mis à jour.

Les Extract Transform Load

Les ETL ou Extract Transform Load ont pour fonction d’extraire des données de multiples sources et de les intégrer dans un lieu de stockage unique. L’objectif est de créer un ensemble de données cohérentes, nettoyées (en supprimant les doublons), vérifiées et actualisées. Ces données chargées dans un Warehouse Data ou entrepôt de données pourrons être analysées :

  • L’Extraction : les données sont extraites de sources internes à l’entreprise (applications, bases de données, fichiers) mais aussi de sources externes (Open Data, Big Data).
  • La Transformation : les données sont vérifiées, les doublons sont supprimés et les données sont transposées dans un format commun.
  • Le Chargement : les données sont chargées dans un entrepôt de données ou Data Wharehouse.

Quels leviers pour un projet de Data Management?

Bon nombre d’outils existent pour valoriser les données et les rendre pertinentes pour le pilotage d’une entreprise. Ils permettront alors d’organiser des actions marketing, prendre des décisions ou rendre compte des résultats obtenus.

Mais il faut que toute l’entreprise acquière une culture de la donnée. En effet, elle doit atteindre une maturité pour se réorganiser autour de la donnée. Les premiers leviers à mettre en place sont :

  • Avoir confiance dans ses données. Le déploiement d’outils de MDM permet d’acquérir rapidement cette confiance.
  • Diffuser la donnée dans toute l’entreprise en supprimant les silos et en intégrant les applications métiers sur un même réseau d’échange d’informations et de data. Les EAI permettent cette intégration et les ETL permettent la consolidation des données.
  • Avoir des objectifs clairs et mesurables en termes de ROI. A défaut de cela, avoir une liste d’objectifs que l’analyse de données peut permettre d’atteindre.
    Exemple : la mise en place d’une maintenance prédictive, l’anticipation des cycles de ventes, les prévisions des ventes des articles météo-sensibles ou encore l’optimisation des stocks.

Expert des échanges de flux de données depuis plus de 30 ans, Tenor vous accompagne dans vos projets d’EDI, d’EAI et de facturation électronique. Contactez nos experts et lancez votre projet.

Quelles sont les principales Data Management Platforms et comment le MDM optimise leur déploiement

Les Data Management Platforms ou DMP sont des plateformes de gestion de données utilisées dans le domaine du marketing digital. Elles concilient des données clients et prospects avec des données comportementales issues de sources en ligne. Elles permettent de mette en place une stratégie marketing pilotée par les données.

Dans cet article découvrez la définition des DMP, leur utilité, leur fonctionnement, leurs sources de données. Comment un Master Data Mangement optimise le déploiement d’une DMP. Et enfin un panorama des principales Data Management Platforms.

Qu’est que les Data Management Platforms ?

Les Data Management Platforms sont des plateformes de gestion de données composées :

  • D’un entrepôt de données ou Data Warehouse,
  • De logiciels d’analyse de données, Business Intelligence ou BI,
  • D’outils d’intégration de données.

Les DMP sont des technologies qui ont émergées avec le e-commerce, les réseaux sociaux et le Big Data. Aujourd’hui avec le Cross Canal l’usage des Data Managemrent Platform se démocratise. Les DMP permettent à toutes entreprises vendant en ligne d’élargir leur audience et d’augmenter leur taux de conversion.

Quelle est l’utilité d’une Data Management Platform  ?

Pour atteindre ces objectifs d’augmenter la visibilité de l’entreprise et le taux de conversion. Les Plateformes de Gestion des Données permettent de:

  • mieux connaître les clients et les prospects en enrichissant de données et d’informations en provenance de leur comportement sur le WEB et les réseaux sociaux,
  • comprendre leur audience : les besoins, les préférences exprimées par leurs clients et prospects et ce qui motive leurs décisions,
  • créer des profils ou personnas représentatifs de l’audience,
  • segmenter l’audience pour piloter des campagnes marketing ciblées et personnalisées.

Quel fonctionnement ?

Concrètement toutes les Data Management Platforms fonctionnent en 5 étapes :

  1. La collecte des données, il s’agit d ‘alimenter la DMP de données et de les actualiser,
  2. La conciliation des données, aux données de base clients et prospects il s’agit d’associer les données comportementales issues de la navigation sur les sites WEB, des réseaux sociaux, des applications mobiles,
  3. La segmentation des données, l’audience est segmentée selon les différents personnas créés,
  4. L’activation des segments de données, dès lors il s’agit de mener une campagne marketing qui ciblent un segment d’audience précis avec des messages personnalisés,
  5. La mesure des résultats avec des KPI, Key Performance Indicateur, préalablement définies qui permettre de mesurer les résultats obtenus par les campagnes marketing menées.
Data management platform

Quelles données aliment la DMP ?

Les données qui alimentent les DMP sont de toutes natures, proviennent de multiples sources et répartissent selon trois groupes :

Les données FIRST PARTY

Il s’agit de données dites propriétaires : des données collectées par l’entreprise ou informations directement communiquées par les clients ou les prospects. Ces données sont stockées dans les applications de l’entreprise, CRM, ERP ou proviennent de cookies :

  • Des données personnelles : adresse, âge, date d’anniversaire, CSP, statut, centres d’intérêts, préférences, …
  • Les historiques d’achats, la fréquence des commandes,
  • Les adhésions aux programmes de fidélité,
  • Les données en provenance des canaux digitaux : sites internet, sites marchands, Marketplaces, applications mobiles : pages consultées, clics, interactions avec une publicité, géolocalisation, etc…

Les données SECOND PARTY

Ce sont des données dites « partenaires » que l’entreprise obtient auprès de ses partenaires commerciaux. Exemple : une chaine hôtelière, une compagnie aérienne, un loueur de voiture échanges leur base d’adresses dans le cadre d’un partenariat commercial.

Les données THIRD PARTY

Il s’agit des données achetées auprès de Data Broker dont le métier et la collecte et l’analyse de données. Ces données sont de sources multiples : des études de marché, des comparateurs en ligne, des réseaux sociaux, etc…

Ces données sont déjà traitées et ciblées complètent les données précédentes lorsque ces dernières sont insuffisantes. Elles permettent d’enrichir les profils ciblés et d’élargir l’audience.

La collecte des données

La DMP doit, en permanence, être actualisée. Les données qu’elle utilise sont des données « froides », c’est à dire des données qui conservent la même valeur ou ne changent que rarement : nom, date d’anniversaire, adresse, CSP, … Et des données « chaudes » c’est à dire des données qui s’actualisent en permanence et en temps réel, les pages WEB consultées, les interactions avec des publicités, des ouvertures de mails, …

Pour alimenter une DMP en grande quantité de données de qualité et à jour, il est nécessaire de mettre en place une architecture et des outils permettant de traiter des flux de données disparates et de sources multiples en temps quasi réel.

L’alimentation d’une DMP va nécessiter des opérations telles que:

  • Collecte de données,
  • Contrôle et de validation,
  • Mise en forme dans des standards unifiés
  • Synchronisation et de consolidation,
  • Actualisation en mode continu.

Quels outils pour le déploiement d’une DMP ?

Au préalable du déploiement d’une DMP dans une organisation et de son alimentation en données. Il est nécessaire de mener une politique de gouvernance de la donnée. Soit de définir des critères de sélection et de contrôle des données et de garantir une intégration des données entre les différentes briques du Système d’Information de l’entreprise. Le MDM ou Master Data Management permet d’atteindre ces objectifs.

Le Master Data Management permet d’alimenter et de maintenir au sein de l’entreprise un référentiel de données marketing :

  • Avec la mise en place d’une politique de qualité des données,
  • Et différentes solutions logicielles permettent de collecter des données, de les contrôler selon des règles internes et de les charger dans un Data Warehouse.

Un ETL, Extract Transform Load, permet d’extraire des applications métiers de l’entreprise, Gestion Commerciale, CRM, Comptabilité, les informations clients et prospects, de les consolider puis de les charger dans l’entrepôt de données du DMP.

Un EAI, Enterprise Application Intégration, permet aux applications de synchroniser entres-elles leurs données. A la modification de l’adresse du client dans le CRM, avec un EAI la modification se réplique dans la Gestion Commerciale, la Comptabilité...

Un ESB, Enterprise Service Bus, permet au moyen de Web Services d’actualiser en temps réel des données de navigation et de comportements chargées dans la DMP.

Quelques offres de plateformes DMP

Aujourd’hui les DMP sont des services Cloud proposés aux entreprises afin d’analyser leur audience et de la segmenter. Nous citerons différentes plateformes proposées par des éditeurs experts dans les données clients et marchés :

Deux conditions pour les Data Management Platforms pérenne

Pour être certain que sa DMP puisse durer dans le temps et capitaliser sur des données fiables et respecter la réglementation sur les données personnelles. Les maîtres d’œuvres de la DMP doivent veiller à deux points essentiels :

  • La qualité des données, c’est-à-dire des données nombreuses, vérifiées et actualisées en temps réel,
  • L’anonymisation des données à caractère personnel avant de les charger dans la DMP.

Les méthodes et outils d’un Master Management Data permettent d’obtenir des données de qualité et de les consolider de façon anonyme pour une DMP performante et conforme au RGPD, Règlement Général sur la Protection des Données.

Depuis plus de 30 ans Tenor est au cœur des échanges de données de ses clients. La mise en œuvre d’une solution EDI, l’implémentation de la facture électronique et le déploiement d’une solution de Master Data Management sont autant de sujet sur lesquels nos experts vous accompagnent. Contactez-nous et lançons votre projet dès aujourd’hui.

Qu’est-ce que la Data Governance ?

La Data Governance ou Gouvernance des Données est devenue un sujet d’importance dans toutes les organisations. La digitalisation de l’économie, l’abondance des données avec le Big Data, les exigences en matière de cyber sécurité, le respect de la vie privée ont fait prendre conscience à tous qu’une politique de la gestion de la donnée en entreprise est incontournable.

Dans cet article découvrez la Data Governance, son périmètre, ses acteurs, ses outils et ses gains pour l’entreprise, son image et ses performances.

Définition du Data Gouvernance

La Data Governance regroupe l’ensemble des moyens et des procédures par lesquelles l’entreprise supervise et contrôle ses données. Une Gouvernance de la Donnée a pour mission une utilisation cohérente de la donnée dans l’entreprise dans le cadre de son activité, de protéger l’entreprise des fuites et violations de données et dans le respect des réglementations en vigueur.

La donnée est un élément sensible

Aujourd’hui dans toute organisation la donnée est devenue un élément auquel les dirigeants doivent accorder toute leur attention :

  • La donnée fait fonctionner l’entreprise, à chaque instant la donnée circule dans l’entreprise : des personnels la collectent, la manipulent, la transmettent,
  • La donnée est convoitée, quand l’entreprise perd ses données ou se les fait voler, l’activité s’arrête,
  • La donnée est encadrée par la loi, la détention et l’usage de données et d’informations sensibles ou personnelles est soumises à des réglementations nationales et européennes.

La gestion de la donnée doit être le seul et unique sujet de la Data Governance. Il convient de toujours prendre en considération les quatre points clé de la donnée.

La disponibilité

Les données doivent conservées et restées accessibles aux utilisateurs dans le Système d’Information de l’entreprise. Selon leur profil, les utilisateurs sont autorisés à consulter, modifier des données.

L’interprétabilité

Les données doivent être conservées dans des formats standards afin de rester interprétables par les applications du Système d’Information.

La qualité

Les données conservées doivent respecter les critères de qualité. Elles doivent être cohérentes, fiables, validées, et pertinentes.

La sécurité

La conservation des données est soumise à des règles de sécurité strictes. Il convient de mettre en place un contrôle des accès aux données, de tracer l’activité, de réduire les risques de fuite. A défaut la responsabilité de l’entreprise et de ses responsables peut être engagée.

Le périmètre sur lequel s’applique la politique d’une Gouvernance de la Donnée est étendu à :

  • Tous les lieux de stockages des données internes, applications, bases de données,
  • Tous les services Cloud sur les l’entreprise stocke des informations
  • Toutes les applications mobiles et terminaux mobiles utilisés par les collaborateurs,
  • Tous les postes de travail des collaborateurs sur site et en télétravail,
  • Tous les réseaux sociaux où l’entreprise est présente,
  • Tous les objets connectés que l’entreprise utilise.

En fait en tout lieu ou des données de l’entreprise sont stockées ou accessibles.

La Data Governance est un projet d’entreprise.

Un CDO, Chief Data Officer ou Directeur des Données est nommé. Ses rôles seront :

  • D’inculquer aux collaborateurs une culture de la donnée,
  • De contrôler les usages internes faits des données,
  • De fournir aux décideurs de l’entreprise des données consolidées,
  • De superviser les procédures de sauvegardes des données,
  • De veiller au respect des réglementations sur les données personnelles et sensibles.

Le Master Data Management

Pour mette en place une stratégie de Gouvernance de la Donnée, le CDO dispose du MDM ou Master Data Management.

Le MDM va permettre de définir les objectifs de l’entreprise en matière de qualité des données et de mettre en place les moyens pour les atteindre.

  • Définition des critères internes de la qualité des données,
  • Connaissance de l’origine des données, s’il s’agit de données applicatives internes, de données en provenance du Big Data,
  • Organisation du stockage et de la sauvegarde des données,
  • Prise en compte en compte de la nature des données : données d’exploitation, données financières, données personnelles, …

Avec le MDM, le CDO dispose d’une vision à 360° des données qui circulent dans l’entreprise et des méthodes et outils pour mettre en une gouvernance de la donnée£.

Initier un projet de Data Governance

Un projet de Date Governance est un projet métier. Il va impacter l’ensemble de l’organisation de l’entreprise.

  • La première étape est en conséquence une étape de communication interne pour sensibiliser l’ensemble des collaborateurs sur le sujet. A un moment tout collaborateur accède et manipule des données au travers les applications qu’il utilise.
  • La seconde étape est l’inventaire des données qu’utilise l’entreprise, leur localisation. Pour cela il sera nécessaire de demander à chacun des services de l’entreprise de définir leur référentiel de données.

C’est à l’issue de ces étapes que le CDO s’appuiera sur les outils du MDM pour organiser la gestion des données de référence de l’entreprise. D’identifier les différents flux internes de données dans le Système d’Information.

Et enfin le CDO aura la capacité de définir les règles de gouvernance et d’attribuer à chacun des rôles (lecture, écriture, suppression) selon ses besoins.

Gains pour l’entreprise

Pour l’entreprise et ses collaborateurs les gains d’une Gouvernance de la Donnée apportent :

Des gains opérationnels en raison d’une confiance accrue dans les données disponibles.

Les collaborateurs disposent de données de qualité et ont confiance dans les données qu’ils utilisent. Cela se traduit par des gains de temps, fini les temps passés à des recherches et des vérifications longues et fastidieuses. L’efficacité opérationnelle est améliorée. Les relations entre services de l’entreprises et les échanges d’information avec des tiers gagnent en qualité et en confiance.

Des gains stratégiques avec des données consolidées fiables.

Des données contrôlées, consolidées, rapidement accessibles dans des Data WareHouse rendent le déploiement d’outils d’analyse décisionnelle plus aisé. Les reporting sont de meilleure qualité.

Des gains dans le domaine de la sécurité.

La Data Governance permet de sécuriser les données de l’entreprise face à différents risques :

  • Le risque légal
    • La Gouvernance des Données garantit que les données détenues par l’entreprise et les usages qui en sont fait sont conformes aux réglementations de son secteur d’activité. Le RGPD entré en application en 2018 s’applique à toutes les données à caractère personnelle que détiennent les entreprises : données des ressources humaines données des clients et prospects
  • Le Shadow-IT
    • Les collaborateurs recourent fréquemment au  Shadow-IT de bonne foi, sans mesurer les risques pris : partage de fichiers contenant des données confidentielles ou sensibles, installation et utilisation d’applications sans les licences nécessaires. Avec le télétravail le Shadow-IT prend-il plus d’importance ? Il convient au CDO de sensibiliser les collaborateurs et de proposer des solutions alternatives.
  • Le risque externe
    • Il s’agit des moyens, des procédures pour protéger les données de l’entreprise de la cybercriminalité et tout particulièrement du ransomware. Avec le service informatique et ses prestataires, le CDO devra en permanence évaluer les menaces et le niveau des protections en place.

La sécurité et la réglementation poussent les projets de Data Governance

Comme trop souvent c’est la contrainte qui pousse au changement. Avec d’une part le RGPD et ses sanctions financières importantes, pouvant aller jusqu’à 20 millions d’Euros ou 4% du chiffres d’affaires mondial, et d’autre part le développement de la cybercriminalité, des faits de ransonware qui se multiplient. Les dirigeants d’entreprises de toute taille prennent conscience qu’ils doivent avoir le contrôle sur toutes les données que détient et manipule leur entreprise.

Avec la transformation digitale des entreprise, l’informatisation de l’ensemble des services, la donnée est partout présente. La Data Governance ou Gouvernance des Données devient un service général et transverse de l’entreprise. Et doit être consulté dans toute opération menée par l’entreprise.

Depuis plus de trente ans Tenor accompagne ses clients dans les Echanges de Données Informatisées et propose des solutions EDI, des logiciels EAI ainsi que des solutions de factures électroniques. Contactez nos équipes pour évaluer votre projet !

Qu’est-ce qu’un PIM ? et comment le manager avec une solution EAI

Le PIM, Product Information Management, ou GIP, Gestion des Informations Produit, est une solution marketing qui contient le référentiel des données produit. L’enjeu du PIM est de garantir la qualité et la fiabilité des informations produit diffusées. Pour atteindre cet objectif le PIM doit être parfaitement intégrer au Système d’Information de l’entreprise et être alimenté de données toujours complètes, exactes et à jour.

Dans cet article découvrez ce qu’est un PIM et comment une solution EAI (Entreprise Application Integration), alimente le PIM de données produit de qualité.

Qu’est-ce qu’un PIM ?

Le PIM s’est développé au début des années 2000 avec internet, les places de marché ou Marketplace, les sites marchands, les applications mobiles. Et les parcours client multicanaux.

Le besoin de délivrer une information produit unique, détaillée et réactualisée en permanence s’est imposé à tous les marchands:

  • Une information produit enrichie de contenu multimédia, photos, vidéos, pour le e-commerce,
  • Une information produit unifiée et disponible simultanément pour tous les canaux de vente et supports d’information.

Le Product Information Management, pourquoi ?

Pour vendre sur internet l’information produit destinée au client final prend une nouvelle dimension. En effet, les consommateurs entendent désormais avoir un maximum d’informations sur les produit avant de les acheter. Un descriptif produit, des argumentaires de vente et le prix ne suffissent plus. L’information doit aussi être la même pour tous.

Une information produit enrichie

Le PIM va centraliser toute les données et les informations relatives au produit :

  • Des données générales : Désignation, Codification GTIN, UVC, …
  • Des descriptifs détaillés : Couleurs, Dimensions, Composition, …
  • Des informations techniques : Mode d’emploi, Notices, Garanties, Conditions d’utilisation, …
  • Des données marketing : Argumentaire de ventre, Comparatif, Tarifs, Témoignages utilisateurs, Communiqués de presse, …
  • Des fichiers multimédias : Photos, Vidéos de mises en situation,
  • Des données logistiques : Poids brut, Hauteur, Conditionnement.

Une information produit identique pour tous les canaux de vente et les supports d’information

L’information produit diffusée doit en temps réel, être partout la même dans le monde physique et dans le monde digital. Quel que soit le canal de vente, le site marchand, le point de vente physique, le support promotionnel de même que le réseau social.

Le PIM, comment ?

Pour répondre à la problématique de disposer en permanence d’une information produit de qualité prête à être diffusée, le PIM fonctionne en trois étapes :

  1. La collecte et la centralisation de l’information produit,
  2. L’organisation et l’enrichissement de l’information,
  3. La diffusion de l’information.

La collecte et la centralisation de l’information

Le PIM doit tout d’abord être alimenté par des données produit collectées auprès de différentes sources applicatives du Système d’Information de l’entreprise :

  • ERP, WMS, Gestion de production,
  • Serveurs multimédias,
  • Fichiers Excel, XML, documents PDF.

L’organisation et l’enrichissement de l’information

Le PIM doit ensuite organiser toutes ces données collectées : les contrôler, les trier, les classer. Et aussi les enrichir avec des informations purement marketing et aussi de traductions dans les langues des pays de commercialisation.

Ainsi le PIM devient le garant d’un référentiel unique de toute l’information produit de l’entreprise

La diffusion de l’information

Et enfin le Product Information Management doit pousser ces informations consolidées et contextualisées vers :

  • Les CMS, Content Management System, pour les sites marchands et les Marketplace,
  • Les partenaires commerciaux, distributeurs, points de vente,
  • Des imprimeurs pour les catalogues papiers, les flyers,

Ces informations sont souvent transmises par MFT, Managed File Transfert.

Le PIM, quel ROI ?

Le ROI que procure le PIM s’exprime :

  • Par des gains de temps passés à constituer et à produire une information fiable et de qualité,
  • Des temps de mise en ligne de nouveaux produits est beaucoup plus rapide, et s’effectue simultanément sur l’ensemble des sites marchands et Marketplace qui le propose,
  • Une information produit unique quel que soit le support et le canal améliore l’expérience client : rassure sur le sérieux de la communication de l’entreprise et augmente le taux de conversion sur internet.

Comment alimenter un PIM avec un EAI ?

La réussite d’un projet PIM se traduit dans la qualité, la fiabilité et la pertinence des données produit qu’il publiera auprès des tiers, canaux de ventes, consommateurs.

L’étape de collecte et de centralisation des informations est primordiale. Un EAI va permettre d’alimenter le PIM en temps réel en données actualisées en provenance de différentes sources sélectionnées.

Un EAI va connecter le PIM aux différentes applications du Système d’Information de l’entreprise et organiser les flux de données entre les applications et le PIM.

Identifier les flux de données entre le PIM et les applications et logiciels de l’entreprise

Pour être toujours à jour le PIM doit pouvoir se synchroniser avec les applications métiers de l’entreprise qui produisent de la donnée produit. Soit :

  • L’ERP pour les tarifs, les désignations, les codifications, les tarifs,
  • Le WMS pour les emballages, les conditions d’expédition,
  • Et tous serveurs, GED, sur lesquels des informations relatives au produit sont stockées : photos, vidéos, documentations au format PDF, …

L’EAI va permettre au PIM d’aller chercher l’information à sa source et de que l’information détenue par le PIM est bien dans sa dernière version.

Quels avantages ?

Les avantages de passer par un EAI pour alimenter son PIM sont de deux ordres :

  • D’ordre technique : l’EAI permet d’éviter de devoir connecter le PIM point à point aux différentes sources d’informations, une seule connexion à l’EAI est suffisante,
  • D’ordre métier :
  • l’EAI permet de superviser l’ensemble des flux de données des applications vers le PIM en un seul lieu,
  • Planifier des mises à jour de données,
  • Paramétrer des règles de conversions de format,
  • Consulter les journaux de logs et d’erreurs.

L’EAI contribue à faire du PIM un projet transverse de la transformation digitale de l’entreprise

Le PIM apporte de l’agilité à l’entreprise pour mieux vendre simultanément sur différents canaux et améliorer le parcours clients en poussant à tous une information claire, fiable et adaptée. Un référentiel de données produit permet à l’entreprise de contrôler toute l’information produit qui sera diffusée.

PIM ou Product Information Management

Avec un EAI, le projet PIM est plus qu’un projet marketing, c’est un projet transverse à toute l’entreprise. Tous les services de l’entreprise qui détiennent ou produisent de l’information produit sont amenés à la pousser vers le PIM.  Et contribuent à construire et à maintenir à jour le référentiel des données produit de l’entreprise.

Pour les entreprises industrielles comme pour les commerçants le Product Information Management est devenu un outil de simplification de la gestion des données produits. L’EAI quant à lui s’impose comme l’outils de prédilection pour faire communiquer ses données avec les systèmes d’information dans les entreprises.

Depuis plus de trente ans Tenor accompagne les entreprises dans la digitalisation de leur processus, contactez nos experts pour évaluer vos besoins en échanges de donnée informatisé ou même en Managed File Transfert.

Qu’est-ce que le Fair Data et comment l’intégrer dans mon organisation?

Le concept de Fair Data est né dans les années 2014 afin d’harmoniser la publication des données scientifiques et faciliter leur accessibilité. En effet, avec le BigData, la digitalisation des connaissances, le volume des données numériques disponibles croit de façon exponentielle et désordonnée. De fait rechercher dans cette masse d’informations ce qui peut être utile, devient de plus en plus difficile. C’est pour remédier à ces difficultés, que le monde de la recherche scientifique a mis en place, avec succès, le concept de Fair Data.

Découvrez dans cet article ce qu’est le Fair Data, ses origines et ses enjeux. Et aussi pourquoi et comment l’intégrer ce mode de gestion des données dans l’entreprise et en obtenir des bénéfices.

Les quatre principes du Fair Data

Publier, partager des données de recherche ont toujours été des principes de base du travail collaboratif dans le monde scientifique. Le besoin de stocker de façon pérenne des informations dans des formats numériques pour qu’elles soient facilement accessibles et réutilisables, est primordial. De plus de nombreuses études ont démontré que 80% des données scientifiques sont perdues ou devenues inaccessibles, 20 ans après avoir été publiées.

Il est donc nécessaire d’agir de façon proactive pour que les données soient conservées selon des principes qui garantissent dans le temps leur accessibilité et leur lisibilité.

A l’initiative de Force 11, communauté scientifique internationale, les principes du Fair Data ont été posés dès 2014. L’objectif du Fair Data est de publier et partager des données scientifiques qui puissent être directement réutilisables par les machines et les hommes sans nécessité de traitements préparatoires. Les données publiées doivent suivre quatre principes :

F : Faciles à retrouver,

Chaque donnée doit être identifiable de façon unique, décrite avec des métadonnées, des mots-clés et accessible par des moteurs de recherche.

A : Accessibles,

Les données sont accessibles mais pas nécessairement libre d’accès, un identifiant peut être nécessaire et obligatoire pour les consulter et les télécharger.

I : Interopérables,

Les données et leurs métadonnées respectent les standards et les formats internationaux en vigueur afin que tous Système d’Information puisse les lire et les comprendre.

R : Réutilisables

Les données sont réutilisables en état soit de façon libre soit sous licence pour toute autre utilisation et que leur origine soit connue et vérifiable. des données Fair Data seront toujours techniquement lisibles et utilisables. On parle dès lors de FAIRisation des données scientifiques.

Source : DoRANum. Données de la recherche : apprentissage numérique. France : DoRANum; 2019. Les principes FAIR : https://doranum.fr/enjeux-benefices/principes-fair/

Fair Data vs Open Data

Il est important de préciser que le Fair Data n’est pas l’Open Data. L’Open Data sont des données libres d’accès et utilisables par tous pour n’importe quel objet. Le Fair Data sont des règles de mise en forme et d’accessibilité technique. Des données respectant les principes Fair Data ne sont pas nécessairement des données Open Data. Des données Fair Data peuvent être confidentielles.

Comment intégrer le Fair Data dans mon organisation ?

Les avantages que procurent le Fair Data pour rendre toutes les données plus facilement accessibles et réutilisables par les machines et par l’homme sont clairement établis. Est-il possible de faire de même dans une entreprise ? Et d’en obtenir des bénéfices.

Quelle démarche suivre pour intégrer le Fair Data ?

Une gouvernance de données ou Data Governance devra mettre en œuvre les principes du Fair Data :

  • Enrichir les données de métadonnées afin de les décrire de façon unique et claire. Comme le photographe qui ajoute des tags à ses photos pour les trier et les rechercher : la photo d’une voiture sera non seulement datée et géolocalisée mais aussi sera taguée de la marque, du type de voiture, du modèle, de la couleur, etc.…
  • Mettre les données dans des formats normalisés lisibles et interprétables par tous,
  • Stocker les données dans un entrepôt de données facilement accessible,
  • Si des tiers à l’entreprise ont accès à ces données, les règles d’utilisation seront clairement établies, libre ou sous licence avec mention de la source.

Quelles méthodes et quels outils ?

Pour atteindre cet objectif de « FAIRisation » de ses données, l’entreprise dispose de méthodes et d’outils :

Le Data Management pour organiser et gérer en place une politique de gestion des données dans l’entreprise. Le MDM permet de préciser des règles de contrôle et de nommage des données dans l’entreprise.

L’entrepôt de données ou Data Warehouse pour stocker les données de l’entreprise et partager avec toutes les applications métiers. L’entrepôt de données est le lieu unique dans lequel toutes les données de l’entreprise sont stockées après avoir été validé et mise en forme.

L’ETL, Extract Transform Load, pour extraire les données des applications de l’entreprise, les nettoyer, les enrichir, les mettre dans un format standard puis les stocker dans l’entrepôt de données pour être analysées.

Quels bénéfices pour l’entreprise ?

Dans une économie digitale les données sont la richesse de l’entreprise mais cette richesse n’est tangible que si les données sont exploitables comme le filon d’une mine.

Disposer de données « FAIR », Faciles à trouver, Accessibles, Interopérables, Réutilisables, garantit à l’entreprise que les données stockées seront toujours exploitables. Les principes FAIR s’appliquent à tous les types de données, des données structurées en provenance des logiciels de gestion, de comptabilité, de paie et aussi à tous les formats non structurés : photo, vidéo, publications, contrats que produit une entreprise.

L’entreprise sera en mesure d’en obtenir des bénéfices de trois ordres :

  • Des gains opérationnels :
    • De l’information immédiatement disponible et compréhensible pour être partager et utiliser par des applications métiers,
  • Des gains stratégiques :
    • Une quantité importante de données et classées, enrichies, dans des formats normalisés prêtes pour des outils d’analyse décisionnelle,
  • Des gains humains :
    • Tout le travail produit par les collaborateurs de l’entreprise est classé, documenté et conservé. Et pourra demain être retrouvé et réutilisé en état.

Le Fair Data, pour capitaliser sur les données !

Jusqu’alors les objectifs de la gestion de la donnée en entreprise étaient essentiellement axés sur la qualité de la donnée, sa disponibilité et sa sauvegarde à des fins de sécurité. Avec le Fair Data, de nouveaux objectifs :

  • L’accessibilité de la donnée par des tiers,
  • La conservation de la donnée dans le temps.

Si la gestion de la donnée permet d’optimiser et de sécuriser l’utilisation les données, l’application des principes du Fair Data permet de capitaliser sur les données.

La FAIRisation des données un atout pour que l’entreprise réussisse sa transformation digitale et capitalise sur son patrimoine numérique.

Expert de la gestion de données depuis plus de 30 ans, Tenor propose à ses clients des solutions de Data Management, des solutions d’échange de données informatisé et de facture électronique. Prenez le temps de faire un tour sur le Blog de Tenor et de parcourir nos meilleurs articles sur le Data Management.

Les blockchains privées, tiers de confiance ?

A l’exception du monde des cryptomonnaies, les applications basées sur des blockchains restent souvent du domaine de l’expérience. De nombreux projets bâtis sur des blockchains publiques n’ont pas eu de suite. Souvent elles ont été pour leurs promoteurs, des échecs. Pourtant de nombreux experts prédisent que les blockchains auront leurs success stories, à condition d’être considérées et utilisées comme des outils numériques et non comme des chimères pour changer le monde.

Dans cet article nous allons voir que les blockchains privées peuvent restaurer la confiance envers des systèmes complexes et permettront un nouveau partage de l’information. Tout d’abord rappelons en quoi les blockchains privées et publiques sont différentes.

Les blockchains privées vs les blockchains publiques

« La blockchain est la plus grande des innovations informatiques – l’idée d’une base de données distribuée où la confiance s’établit grâce à une collaboration de masse et à un code intelligent plutôt qu’à une institution puissante qui contrôle l’authentification et le fonctionnement. » Don Tapscott, The Blockchain Revolution

Les blockchains sont des technologies de stockage qui se caractérisent en trois points principaux :

  1. Les blockchains sont seulement en mode écriture et lecture. Les blockchains sont souvent comparées à un grand livre comptable sur lequel il n’y a aucune suppression, aucune correction, seulement des ajouts,
  2. Les blockchains s’appuient sur un modèle Peer-to-Peer (P2P). C’est-à-dire que les blockchains sont décentralisées. Il n’y pas d’administrateur central, tous les participants à la blockchain peuvent en détenir une duplication,
  3. Chaque nouvelle transaction doit être préalablement validée avant d’être ajoutée à la blockchain. En effet tout enregistrement ajouté ne pourra plus être ni effacé, ni modifié. La validation s’effectue selon un consensus commun entre participants, on parle alors de minage.

Une blockchain est donc une plateforme sur laquelle on enregistre des applications et des informations.

  • Les blockchains sont publiques lorsque les applications et informations sont accessibles par tous. Les cryptomonnaies, Bitcoin, Ether, sont des blockchains publiques, tout acheteur ou vendeur de cryptomonnaie interagit avec une blockchain publique,
  • Les blockchains sont privées lorsque les applications et informations ne sont accessibles seulement par des organisations autorisées.

Les blockchains privées sont aussi moins couteuses que les blockchains publiques. En effet dans une blockchain publique chaque transaction doit être validée par des mineurs qui sont rémunérés par le prélèvement de frais de 5 à 10 centimes par transaction. Alors que les blockchains privées peuvent s’émanciper des mineurs avec leurs propres règles de transaction. Les temps de transaction des blockchains privées sont dès lors beaucoup plus rapide que sur les blockchains privées.

Les blockchains privées restaurent la confiance envers les systèmes complexes

Bien que les blockchains privées ne soient pas accessibles par tous. Elles conservent néanmoins tous les caractéristiques des blockchains publiques :

La décentralisation

De nombreux ordinateurs, serveurs enregistrent des copies de la blockchain. Les informations, les applications contenues dans la blockchain ne sont pas centralisées en un seul endroit. Les blockchains sont ainsi préservées des incidents qui peuvent survenir à des bases de données classiques : attaques de hackeurs, incendies, catastrophes naturelles,

La transparence

Toute organisation, entreprise, personne éligible à accéder à la blockchain peut consulter instantanément toutes les informations inscrites,

L’inviolabilité

Toute donnée écrite dans la blockchain, n’est pas modifiable et ne peut pas être effacée,

La normalisation

Toutes les données stockées dans la blockchain adoptent le même format quelle que soit leur origine.

Toutes ces qualités attribuées aux blockchains privées garantissent que les enregistrements dans la blockchain sont vérifiés. C’est à dire qu’ils sont exactement identiques et liés à ceux précédemment inscrits. La blockchain permet de remonter bloc par bloc à l’origine de la transaction ou à la source de l’information.

Les blockchains privées peuvent-elles rendre les systèmes complexes transparents ?

Un système complexe se définit comme un ensemble d’entités en interaction entre-elles dont l’objectif est d’opérer une mission commune.

Dans le monde économique, l’industrie, la logistique, la finance, l’assurance sont des systèmes complexes. S’ils s’avèrent efficaces pour mener leur mission principale : c’est à dire mettre à la disposition des entreprises et des consommateurs une offre de moyens, de services, de biens. Lors de crises économiques, financières ou sanitaires, on leur reproche en manque de transparence. Les informations qui circulent entre les acteurs sont difficiles d’accès.

Pour améliorer le partage de l’information de nombreuses entreprises de la finance, de l’assurance, de la logistique initient des blockchains privées.

Le cas de l’entreprise Wallmart

L’exemple de Walmart illustre parfaitement ce souci de transparence. À la suite d’une crise sanitaire aux USA qui a contaminé plus de 200 personnes avec la bactérie e-coli en 2018. Compte de tenu du nombre très important d’intermédiaires sur la chaine d’approvisionnement il a fallu plus de 7 jours pour remonter à la source de la contamination. Avec la blockchain mise en place avec IBM, ce délai a été réduit à 2,2 secondes. La condition est que chaque acteur de la chaine d‘approvisionnement alimente en temps réel la blockchain des informations de traçabilité.

L’objectif d’une chaine d’approvisionnement plus transparente est atteint.

Les blockchains permettent dès lors de répondre au besoin du partage de données et d’informations dans une communauté de partenaires identifiés. Les blockchains permettent de concilier le partage de l’information et la confidentialité des transactions commerciales.

Les éditeurs tel Oracle, IBM proposent aujourd’hui des offres BaaS ou Blockchain as a Service qui permettent à des filières des mondes de l’agroalimentaire, de l’automobile, de la logistique de déployer rapidement des solutions pour tracer leurs produits au moyen d’une blockchain privée.

Les blockchains privées optimisent le partage de l’information

Au sein d’une filière la blockchain permet le partage d’information. Le bénéfice immédiat est que toute l’information recherchée est immédiatement disponible sans nécessité d’interroger les systèmes d’information de chaque acteur de la filière. Cette information est certifiée conforme à l’information initiale. Les blockchains ne permettant pas les suppressions et les modifications.

Dans ce sens les blockchains répondent à une exigence d’information et de transparence entre partenaires d’affaires. Elles permettent de mettre l’information en commun et d’accélérer les temps de prise de décisions au sein d’une filière.

A la question « Une blockchain privée peut-elle devenir Tiers de confiance ? »

Aujourd’hui seul le législateur est en mesure d’apporter une légitimité à la technologie des blockchains. La technologie des blockchains ne garantit que l’accessibilité à une information inaltérée.

Si le sujet de la Blockchain vous intéresse, n’hésitez pas à consulter cet excellent article sur l’EDI et la Blockchain. Tenor accompagne ses clients depuis plus de trente ans dans la mise en œuvre des systèmes de gestion de la donnée. Découvrez nos différentes offres de services et d’accompagnement.

Les solutions d’intégration de données

Il existe de nombreuses solutions d’intégration de données. En effet, au sein des entreprises l’intégration des données recouvre de larges besoins. Les flux de données entre les différents logiciels de l’entreprise, la consolidation de données pour des analyses, la migration de données vers de nouveaux formats, les transferts de fichiers avec des tiers, les échanges de documents électroniques avec des partenaires commerciaux. A chacun de ces besoins correspond une solution logicielle adaptée.

Dans cet article découvrez les différentes solutions d’intégration de données possible et un comparatif des différents usage qu’une DSI peut en faire. A quels besoins elles répondent et quelles sont leurs principales fonctionnalités.

Les différentes solutions d’intégration de données

Les EAI, Enterprise Application Integration

Un EAI est une solution de gestion de flux de données entre applicatifs. Son objectif est d’améliorer la gestion des flux dans l’entreprise. Dans un Système d’Informations, l’EAI permet à toutes les applications connectées de partager la même source de donnée. Pour chaque donnée il est défini une unique source. De fait, l’EAI diffuse la donnée source auprès des applications qui en font la requête. Exemple si l’application source de l’adresse Client est le CRM, alors l’adresse Client de la Gestion Commerciale ainsi que de la Comptabilité seront mise à jour avec l’adresse client du CRM.

L’EAI permet de mette fin au syndrome du plat de spaghettis en remplaçant toutes les passerelles « point à point » entre logiciels. En effet, les connecteurs EAI sont bidirectionnels, toute application peut émettre et recevoir des informations.

Les ESB, Enterprise Service Bus

Un ESB est une évolution technologique des EAI. Un ESB est un bus auquel toutes les applications sont connectées via des Web Services ou des API. Dès lors les applications peuvent interagir entre-elles en temps réel. Les ESB permettent des échanges d’informations à fréquence élevées. Les ESB sont utilisés pour la mise en œuvre des architectures orientées services (SOA).

Les ETL, Extract Transform Load

L’objet principal d’un ETL est de consolider des données en provenance de différentes sources. Par conséquent on obtient un ensemble de données cohérentes, nettoyées, vérifiées, et actualisées. De fait, on les utilisera comme source dans des outils d’analyse décisionnelle. Les ETL travaillent en trois phases :

  1. L’Extraction : les ETL extraient des données internes à l’entreprise de bases de données, de fichiers et aussi des données externes, Open Data, Big Data,
  2. La Transformation : les ETL vérifient les données, suppriment les doublons, transposent les données dans un même format commun,
  3. Le Chargement : les ETL chargent les données dans un lieu de stockage unique, le plus souvent un entrepôt de données ou Data Wharehouse.

Les ETL permettent aussi de procéder à des migrations de données d’un format vers un nouveau format.

Les MFT, Managed File Transfert

Le MFT est une solution de transfert de fichiers. Le MFT permet de transférer des documents électroniques de tout format, structurés ou non structurés, d’un émetteur vers un ou plusieurs destinataires. Le MFT apporte au transfert de données des fonctionnalités de sécurité :

  • Cryptage des données transmises,
  • Gestion des droits d’accès des utilisateurs,
  • Garantie de non-répudiation lors des transferts.

Les MFT sont tout particulièrement adaptées aux transferts de documents sensibles. Ils s’intègrent facilement au Système d’Information de l’entreprise via des API.

Les PeSIT, Protocole d’Echanges pour un Système Interbancaire de Télécompensation

Nous citerons aussi pour mémoire, le PeSIT ou Protocole d’Echanges pour un Système Interbancaire de Télécompensation. En effet de nombreuses organisations utilisent encore ce protocole de transfert de données. Le PeSIT a été créé en 1986 pour le secteur bancaire et utilisé pour les échanges interbancaires. Le PeSIT permet l’écriture et la lecture de données d’une machine à une autre. Aujourd’hui le PeSIT est souvent remplacé par les MFT.

Les EDI, Echange de Données Informatisé

Les solutions EDI permettent des échanges de messages électroniques structurés entre partenaires commerciaux. Les données sont échangées directement d’ordinateur à ordinateur sans aucune intervention. Les points forts de l’EDI :

  • Popularité, l’EDI est utilisé par de nombreuses entreprises dans des clés de l’économie, automobile, grande distribution, transport, logistique,
  • Gouvernance, l’EDI est un système standardisé et normé, des organisations interprofessionnelles tel GS1, Galia, Odette, GTF, Agro EDI Europe, ont en charge de faire évoluer les standards et de les publier,
  • Sécurité et fiabilité, l’EDI est un système d’échanges électronique mature qui fonctionne sur des réseaux sécurisés,
  • Facilité de mise en œuvre, de nombreux prestataires EDI proposent des offres EDI adaptées pour tous types de besoins et d’entreprises.

Pour plus d’informations à propos de l’EDI.

Les MDM, Master Data Management

Un MDM n’est pas à proprement parler une solution d’intégration de données. Il s’agit en fait d’une suite de fonctionnalités et de méthodes qui permettent de gérer le référentiel des données de l’entreprise.

Les fonctions du MDM sont de:

  • Définir le référentiel des données de l’entreprise,
  • Disposer de données de référence de qualité,
  • Définir les règles ;
  • Valider des données lors de leur intégration dans le SI de l’entreprise,
  • Synchroniser des données entre les applicatifs de l’entreprise
  • Diffuser des données à l’extérieur de l’entreprise,
  • Faciliter les transcodages de données de référence entre les applications,
  • Accéder directement et rapidement à des données dispersées entre différentes sources.

A voir aussi les 10 bonnes raisons de passer au MDM

Récapitulatif des solutions et de leurs fonctions

EAIESBETLMFTPeSITEDIMDM
Gestion des flux entre logicielsGestion des flux entre logicielsConsolidation de donnéesTransfert de fichiersTransfert de donnéesEchanges de messages électroniquesGestion de référentiel de données
Les EAI permettent aux applications connectées de partager entre-elles les mêmes données de références.Les ESB utilisent des Web Services et des API. Ils permettent aux applications d’interagir entres elles par échange d’informationsLes ETL permettent d’extraire des données de sources hétérogènes internes et externes à l’entreprise, de les consolider en un seul lieu à des fin d’analyse décisionnelleLes MFT permettent de piloter les transferts de fichiers vers un ou plusieurs destinataires. Les MFT proposent des fonctionnalités de synchronisation des données et de cryptage.Le PeSIT est un protocole datant de 1986 d’écriture de données d’une machine à l’autre encore utilisé par certaines organisations.L’EDI permet à des partenaires commerciaux d’échanger par voie électronique leurs documents commerciaux. Les données sont intégrées directement dans les systèmes d’information.Les MDM sont des suites de fonctionnalités et de méthodes permettant à l’entreprise de gérer son référentiel de données.
Les EAI garantissent que toutes les applications utilisent des données actualisées.Les ESB sont utilisés pour les architectures SOALes ETL sont aussi utilisés pour des opérations de migration de donnéesLes MFT sont adaptés pour le transfert de données sensibles.Le PeSIT est un protocole en fin de vie, le MFT le remplaceL’EDI fiabilise les flux commerciaux en évitant les ressaisies et permet la synchronisation des données commerciales entre partenairesLes MDM concourent à garantir la qualité et l’intégrité des données de l’entreprise.

Profitez de notre expertise en intégration de données !

L’intégration des données en entreprise, un projet stratégique

Un projet d’intégration de données en entreprise va beaucoup plus loin que le simple choix d’une solution adaptée à un besoin spécifique. En effet, il s’agit d’un projet qui porte sur une infrastructure informatique déjà existante et des sources de données hétérogènes internes et externes. Avec des contraintes métiers fortes comme le respect de la qualité des données. Mais également, un cadre réglementaire de plus en plus rigoureux : RGPD (Règlement Général sur la Protection des Données), normes financières et comptables (IFRS)…

De fait la mise en production de solutions d’intégration de données nécessite :

  • Une analyse des besoins et des contraintes,
  • Une expertise dans le domaine de la donnée.

Depluis plus de 30ans Tenor accompagne les entreprises dans le management de la données avec des solutions EDI, des solutions EAI comme DEX mais également un ensemble d’accompagnement et d’audit sur les systèmes d’échange de flux. Contactez-nous pour lancer votre projet