Qu’est-ce le MFT ou Managed File Transfer ?

Le MFT – Managed File Transfert, est une solution de transfert de fichiers avec des fonctionnalités de cryptage, d’audit et de reporting.

Pour transférer et partager des fichiers plusieurs options sont possibles. Les serveurs FTP (File Transfert Protocol) ou les services EFSS (Enterprise File Sync and Share) disponibles sur le Cloud. Ces solutions ont un coût élevé en termes de sécurité et de contrôle. Ils ne permettent pas aux entreprises d’être en conformité avec les règlements sur les données numériques.

Dans cet article, découvrez la définition du MFT (Managed File Transfert) mais également les raisons pour lesquelles les entreprises adoptent de plus en plus le MFT ?

Qu’est-ce qu’un MFT ?

Déployer un MFT – Managed File Transfert, permet la création d’un environnement sécurisé pour les transferts de fichiers.

Le MFT fiabilise et sécurise les transferts des fichiers dans l’entreprise

Les fuites de données et les pertes de données ont des impacts négatifs et importants sur l’entreprise. Principalement vis à vis de sa réputation mais également pour son activité. Le MFT va agir comme un « middleware ». Sa fonction est le transfert fiable et sécurisé de documents entre connections authentifiées. Les utilisateurs authentifiés sont des employés de l’entreprise, sur site ou à distance. Mais aussi, des partenaires de l’entreprise, des clients, des fournisseurs, etc… Parfois il s’agit des applications métiers de l’entreprise mobiles ou embarquées.

Le MFT propose toute une gamme de fonctionnalités pour assurer la sécurité :

  • Cryptage des données et traçage des échanges conformément aux réglementations en matière de sécurité . Ceci concerne les données sensibles, données financières, données de santé, données personnelles définies par le RGPD .
  • Gestion des droits d’accès des utilisateurs sur les dossiers, les fichiers et les documents.
  • Garantie de la livraison et de la non-répudiation, avec une reprise automatique des transferts lors d’erreurs ou d’échecs de transfert,
  • Intégration dans le Système d’Information de l’entreprise pour une sécurité accrue : utilisation des services d’annuaires, des systèmes anti-virus.

Le Managed File Transfert organise et gère les transferts de fichiers

Le MFT permet le suivi en temps réel de toutes les activités de transferts des fichiers dans l’entreprise et avec l’extérieur. Le nombre et la volumétrie des fichiers transmis, le type des fichiers et les utilisateurs connectés.

Le MFT apporte une visibilité totale des opérations de transferts, ce qui permet d’anticiper les risques d’échec de transfert et les tentatives en suivant une piste d’audit.

Le MFT améliore la productivité de l’entreprise, il permet :

  • La prise en charge de fichiers volumineux, des formats non-structurés, des formats multimédias.
  • L’envoi simultané à plusieurs destinataires.
  • La possibilité de créer des automatismes pour les transferts réguliers de fichiers à une liste de destinataires.
  • Un déploiement sur site ou en mode SaaS, Software as a Service.
  • Une intégration facilitée avec les logiciels de l’entreprise au moyen d’API.

Pourquoi les entreprises adoptent le MFT ?

La transformation numérique des métiers, le développement du travail collaboratif, font que les transferts des fichiers ont un rôle pivot dans l’entreprise.

Les transferts de fichiers sont stratégiques pour les entreprises

Une conséquence de la transformation numérique des entreprises est l’augmentation du nombre de fichier. Mais également, une importante augmentation du volume des fichiers échangés.

Cette évolution concerne toutes les entreprises et tous les métiers . Les banques, les services financiers échangent chaque jour des volumes considérables de données de paiement ou autres informations financières. En BtoC et en BtoB, le Managed File Transfert permet des mises à jour régulières des catalogues, tarifs, stocks avec des envois périodiques de fichiers. Des routines sont crées dans le MFT pour l’envoi des fichiers de mise à jour vers les sites e-commerce, vers les marketplaces et les distributeurs.

Tous ces flux doivent être sécurisés vis à vis de malveillances, de fraudes et de fuites de données. Tous ces fichiers doivent alors être livrés rapidement et au bon destinataire. Il est donc essentiel de gouverner et de gérer tous les transferts de fichiers de l’entreprise.

Le travail collaboratif et à distance nécessite des transferts de fichiers sécurisés

Les métiers tels que les bureaux d’études, les graphismes, les conseils ont la nécessité de travailler en collaboration avec leurs clients, leurs fournisseurs. Et de ce fait, ils échangent quotidiennement des fichiers volumineux . Par exemple : des rapports et études, des plans, des cahiers des charges, des maquettes, des vidéos …

Avec le développement du télétravail, la centralisation et la sécurité des échanges de fichiers deviennent prioritaires pour l’entreprise.

Le travail à distance pour des postes dans les services comptables, financiers, RH, exige une confidentialité des données. Cependant, les documents, les courriers et autres pièces jointes doivent être transmis et cryptés via des réseaux sécurisés.

Le développement du travail consécutif à la crise sanitaire COVID-19 a démontré l’intérêt des solutions MFT pour faciliter et sécuriser le travail des collaborateurs à domicile.

Le MFT – Managed File Transfert permet de synchroniser les documents partagés. Mais également la mise en œuvre de fonctions EFSS.

La mise en place de partage des documents est une alternative sécurisée à l’utilisation des solutions grand public dans le Cloud. En effet, des solutions comme Google Drive qui échappent à la DSI sont autant de failles de sécurité. Pour éviter ces risques le MFT permet de travailler dans un environnement répondant aux exigences de sécurité de l’entreprise, de contrôle et de traçabilité de l’activité.

Pour résumer, 5 raisons de passer au MFT :

  • Les fichiers échangés sont de plus en plus nombreux et variés avec des volumes importants et des destinataires multiples.
  • Le caractère sensible des informations contenues dans les fichiers : données personnelles, données de santé, données financières.
  • Le télétravail et le travail collaboratif deviennent la norme dans les entreprises.
  • Le MFT permet la création d’un environnement sécurisé dans l’entreprise pour l’envoi et la réception des fichiers avec ses collaborateurs, dans son organisation et avec ses partenaires commerciaux,
  • Le MFT protège l’entreprise des fuites et pertes de données, lors des fuites de données ou de pertes de données, l’entreprise doit répondre d’une obligation de moyens.

Si ce sujet vous intéresse n’hésitez pas à faire un tour sur le Blog de Tenor. Vous y trouverez des articles sur le Master Data Management, les ETL ou encore la définition d’un EAI . De même contactez nos équipes afin d’obtenir un diagnostic de la gestion des données dans votre entreprise.

Comment mettre en place des données de référence et les administrer ?

Mettre en place des données de référence est primordiale pour la gestion de l’entreprise. En effet, les entreprises collectent, traitent et conservent de nombreuses données. Ces données sont stockées dans les CRM, ERP ainsi que la comptabilité. De fait, une même information se trouve en différents endroits: logiciels et bases de données.

De fait, cela induit un ensemble de questions : L’adresse d’un client est-elle toujours identique entre le CRM, la gestion commerciale et la comptabilité ? Le nombre de comptes clients est-il le même ? Sur quelle base compter le nombre de clients actifs ? Où se trouve la bonne information ?

Ces questions sont courantes dans une entreprise, les poser pour chercher la vérité est une perte de temps et d’argent. Nous verrons dans cet article la définition des données de référence et leur importance. Ensuite, nous proposerons des pistes et des solutions pour identifier, administrer et partager ces données.

Les données de référence de l’entreprise

Les données de référence d’une entreprise sont toutes les données qui vont permettre de décrire et de rechercher des informations d’exploitation et de gestion. Par exemple, une commande client contient un code client, un code produit et une adresse de livraison.

Une définition des données de référence

Selon les métiers et l’activité, les données de référence ne seront pas les mêmes d’une entreprise à une autre. Cependant on distingue trois types de données de référence :

  • Les données « maître » qui sont les objets métiers de l’entreprise : client, fournisseur, salarié et compte comptable. par exemple, pour un distributeur un code GTIN, pour un transporteur un tracteur, pour une coopérative agricole une parcelle, pour un laboratoire pharmaceutique une molécule, …
  • Les données consécutives qui enrichissent les données « maître » : adresse, caractéristiques techniques, photo, …
  • Les données paramètres qui sont des tables de valeurs ou nomenclatures : taux de TVA, codes devises, codes postaux, codes analytiques, tarifs …

L’importance de construire un référentiel de données

Les systèmes d’information des entreprises se complexifient avec le temps du fait d’applications de plus en plus nombreuses. Mais également parce qu’elles communiquent aussi entres-elles. Il y a aussi les acquisitions et restructurations qui empilent les bases de données.

Aussi il devient difficile de savoir où aller chercher la donnée la plus fiable, la plus à jour. Dans le CRM ? Dans la gestion commerciale ? Dans la comptabilité ?

Cette situation est une source de perte de temps et de productivité dans l’entreprise. Et plus encore elle peut mettre l’entreprise en difficulté. En effet les responsables des entreprises doivent satisfaire les marchés et les investisseurs. De même, les pouvoirs publics exigent aux entreprises des données fiables et sincères (RGPD, IFRS, respect des normes et procédures de traçabilité, …),

Dans ce contexte il devient primordial pour l’entreprise de construire un référentiel de données commun à tous. Des données vérifiées, exactes et actualisées qui s’imposent à toutes les applications du système d’information.

Mettre en œuvre les données de référence en entreprise.

C’est un projet transverse au sein de l’entreprise qui prend un aspect organisationnel et un aspect technique.

L’aspect organisationnel de la gestion des données de référence

Aujourd’hui l’entreprise a la nécessité de valoriser ses données de référence. En effet, il faudra prendre en charge l’intégralité de leurs cycles de vie. Celui-ci comprend, les étapes de collecte, le stockage, l’analyse, l’actualisation, le partage, l’archivage et enfin la suppression.

Le prospect entré dans le CRM, deviendra client dans la Gestion Commerciale. De fait, celui-ci sera livré, facturé, associé à un compte comptable. Ensuite, le client sera suivi par le SAV, obtiendra ses identifiants pour se connecter sur son espace client dédié et sera présent dans les archives de l’entreprise jusqu’à sa suppression.

Il s’agira dès lors de définir le référentiel des données. C’est à dire de les décrire de façon formelle :

  • La liste exhaustive des données de référence de l’entreprise,
  • Pour chacune un format standardisé, le niveau de qualité exigé,

De préciser les rôles et responsabilité de chacun et de chaque service vis à vis de la donnée:

  • Qui la collecte,
  • Qui la consomme,
  • Qui l’actualise,
  • Qui a le droit d’y accéder.

L’aspect technique de la gestion des données de référence

Il s’agira de faire l’inventaire des applications du système d’information et de modéliser les échanges de données de référence entres-elles. Quelle application la crée ou la collecte ? Quelles applications peuvent l’actualiser ? Quelles applications peuvent seulement la consulter ? Où est-elle stockée ?

Enfin il faudra choisir les bons outils pour gérer ces flux de données. Nous allons distinguer deux fonctions, d’une part la collecte et le stockage et d’autre part la diffusion.

La collecte et le stockage des données de référence

Il s’agit d’aller chercher les données de référence dans les applications, les nouvelles créations de données, les actualisations de données existantes. Ensuite de les contrôler, de les valider, de les mettre dans un format standardisé avant de les charger dans un entrepôt de données ou Data Warehouse. Ces fonctions sont du domaine des ETL (Extract Transform Load). Un ETL fonctionne de façon unidirectionnelle des applications du système d’information vers le Data WareHouse. L’ETL extrait les données des applications, les traitent et les charge dans leur lieu de stockage.

Consolider les données en un lieu unique permet de faciliter l’accès aux données à tous. Mais également de mettre en œuvre les outils d’analyse décisionnelle sur une base de données fiables et à jour.

La diffusion des données de référence

Pour permette à toutes les applications de partager les mêmes données de référence :

  • Les ESB (Enterprise Service Bus) pour assurer le transport des données de référence du Data WareHouse vers les applications, en mettant en œuvre des API et des Web Services.
  • Les EAI (Enterprise Application Intégration) qui permettent de centraliser toutes les interactions entre les différentes applications du système d’information en un hub central.

Le Master Data Management pour prendre en charge l’organisation et le technique

Finalement, pour répondre à « Comment mettre en place des données de référence et les administrer ? », le recours à un MDM est la solution idéale.

En effet le MDM ou Master Data Management est une suite de méthodes et de logiciels dont les fonctions sont de garantir :

  • L’intégrité du référentiel des données de l’entreprise,
  • L’accès par tous, à tout moment, à des données exactes, pertinentes et à jour.

Pour cela les MDM permettent la mise en œuvre :

  • D’une source de donnée unique et validée :
    • Les données de référence sont stockées dans un Warehouse, alimentées avec un ETL,
  • De la diffusion et mise à disposition de données exactes aux applications « consommatrices » de données,
    • En s’appuyant sur les outils EAI et ESB qui diffusent et synchronisent les données de référence dans le système d’information de l’entreprise.

En conclusion le MDM permet de garantir l’unicité de l’information et de la diffuser aux applications et aux services qui en ont le besoin. Et aussi le MDM est en capacité de gérer l’ensemble des flux de data dans l’entreprise.

Pour aller plus loin consultez cet excellent article sur Comment améliorer la qualité des données ? De même, faites un tour sur l’article sur l’Architecture EAI, quelles solutions choisir pour votre SI ?

Depuis plus de 30 ans nos experts vous accompagne pour la mise en oeuvre de vos solutions EDI, EAI et dématérialisation. Contactez nos experts pour lancer votre projet dès aujourd’hui.

Flux de données, comment l’améliorer grâce au MDM ?

Le flux de données est au cœur du fonctionnement du système d’information de l’entreprise. Sans flux de data, les applications ne peuvent pas fonctionner. De fait la mise en œuvre d’une organisation optimale de ces flux de données est primordiale.

Les outils de MDM prennent en charge les données de référence de l’entreprise. Ces outils peuvent-ils aussi organiser et gérer tous les flux de données dans l’entreprise ?

Ainsi dans cet article nous allons aborder, les différents flux de données dans l’entreprise et leur importance. Mais également les solutions qui s’offrent à vous pour les gérer. Enfin, nous verrons les avantages de mettre en œuvres des outils tels ceux de MDM (Master Data Management) pour prendre en charge les flux de données inter-logiciels.

Les flux de données dans l’entreprise

Les flux de données dans l’entreprise interviennent à tout instant de l’activité informatique : transferts de fichiers, échange de messages EDI, gestion de logs, navigation internet, utilisation d’applications, analyse décisionnelle, archivage, etc…

Aujourd’hui les flux de données de l’entreprise deviennent de plus en plus nombreux et volumineux. Les raisons sont multiples :

  • Le nombre croissant des applications métiers en production dans l’entreprise,
  • Les architectures hybrides, des applications in-situ, hébergées, mobiles, SaaS,
  • De nouvelles sources de données, objets connectés, Open Data, Big Data,
  • La généralisation de la dématérialisation des échanges avec les partenaires de l’entreprise et les administrations, EDI, télédéclarations.

Les différents flux de données dans l’entreprise

Nous distinguons différents types de flux de données : les flux internes à l’entreprise, les flux échangés avec des tiers et enfin les nouvelles sources de données.

Les flux internes :

  • Les données de référence de l’entreprise, toutes les applications partagent le même référentiel de données métier.
  • Les échanges inter-logiciels et les applications échangent des informations d’exploitation, le bon de commande de la gestion commerciale devient un bon de livraison pour la logistique puis une facture pour la comptabilité.
  • L’alimentation d’un entrepôt de données pour les outils de Business Intelligence.

Les flux échangés avec des tiers:

  • Les échanges avec les partenaires EDI, clients, fournisseurs et administrations.
  • Les flux commerciaux vers les sites de e-commerce et les places de marchés ou marketplace.

Les nouvelles sources pour vos flux de données:

  • L’IoT (internet des Objets), pour des relevés de capteurs, d’index de compteurs et des coordonnées GPS, …
  • L’Open Data, pour des informations statistiques, météorologiques, …
  • Le Big Data pour des analyses marketing prescriptives et prospectives, …

L’importance des flux de données dans l’entreprise

Si l’entreprise ne parvient pas à maitriser l’ensemble de ses flux de données, elle perdra tout avantage concurrentiel sur ses marchés. De même face à des concurrents plus agiles elle sera fragilisée par l’utilisation de données non vérifiées, non actualisées et incomplètes.

De même, il est primordial de mettre en place une organisation des flux de données de l’entreprise pour s’assurer que les données qui circulent dans l’entreprise soient toujours fiables et disponibles. Ceci est d’autant plus important lorsque le nombre des applications utilisées par l’entreprise s’accroit.

Le MDM (Master Data Management) a pour fonction de consolider les données de références de l’entreprise et de les diffuser auprès des applications métiers de celle-ci. Il sera possible d’étendre les fonctions du MDM a tous vos flux de données.

Comment le MDM optimise les flux de données ?

Un MDM est un ensemble d’outils, de méthodes et aussi de règles et de bonnes pratiques qui vont permettre de gérer le référentiel de données.

Les fonctions MDM liées aux données de référence

Vis à vis des données de référence, le MDM mettre en oeuvre un MDM vous permettra de :

  • Collecter les données de référence.
  • Décrire les données de référence de l’entreprise, les nettoyer, les consolider et les mettre dans un format standardisé.
  • Alimenter un référentiel de données partagés par toutes les applications.
  • Préciser les règles d’acquisition, de consultation, de mise à jour, de modification et de suppression.

Les fonctions MDM liées à la gestion des flux de données

Dans le cadre de la gestion des données, le MDM permettra :

  • De diffuser les données de référence auprès des applications et des logiciels qui font la requête.
  • De synchroniser les données de référence entre les différentes applications et bases de données du système d’information.
  • D’archiver et de sauvegarder les données de l’entreprise.

Les atouts du MDM pour sécuriser, administrer et stocker les données interlogicielles

Les méthodes et les outils de MDM s’adaptent à toutes les données et informations qui circulent dans le système d’information de l’entreprise.

Le MDM sécurise les données de l’entreprise. Pour chaque donnée le MDM permet de préciser une source unique de la donnée. Mais également de vérifier l’exactitude de la donnée. Ainsi seules des données fiables et à jour circulent dans l’entreprise.

Le MDM administre les données de l’entreprise. Pour chaque donnée le MDM permet de définir qui fait quoi, commençant par la collecte de la donnée, la mise à jour, la consultation et la suppression . Les rôles de chaque application et logiciel sont précisés par le MDM.

Le MDM stocke les données de l’entreprise c’est à dire qu’il permet aussi une centralisation du stockage des données en un seul endroit. Pour ce faire il mettra en œuvre des solutions de type ETL.

Le MDM facilitera aussi la mise en œuvre d’une gouvernance des données selon les règles édictées par l’entreprise. En conformité avec ses objectifs de management et les contraintes réglementaires en vigueur (RGPDIFRS).

Mettre en œuvre un MDM est un projet collaboratif

C’est un projet impactant l’ensemble des services et des personnels de l’entreprise. En effet, il exige des collaborations transversales pour partager les données et les informations. De fait, il doit s’appuyer sur des solutions techniques innovantes.

La mise en œuvre d’un MDM est un projet collaboratif d’urbanisation des flux de données dans l’entreprise. De fait, la Direction Générale, la DSI en sont particulièrement impactés. Néanmoins, tous les services de l’entreprise travaillerons ensemble pour mener et réussir un projet MDM.

Ainsi la réussite d’un projet MDM est indispensable à la transformation digitale de l’entreprise.

Si cet article vous a plus, à lire sur notre Blog la définition du Master Data Management et la différence entre ETL et EAI. Pour aller plus loin consultez cet excellent article sur comment planifier et budgétiser un projet MDM.

Depuis plus de 30 ans, Tenor vous accompagne dans la gestion de vos données avec des solutions EDI, de data Management et de dématérialisation. N’hésitez pas à prendre contact avec nos experts dès maintenant pour identifier votre besoin.

10 bonnes raisons de passer au Master Data Management

Vous vous demandez encore si vous allez passer au Master Data Management !!!

Voici 10 raisons pour le faire dès à présent. 10 raisons qui expliquent pourquoi la gouvernance des données est une priorité pour les entreprises. Que le MDM ou Gestion des Données de référence (GRD) est la solution idéale pour référencer, contrôler, synchroniser, diffuser des données de qualité dans l’entreprise. Et aussi vers ses partenaires, ses clients et le public.

Mais avant de détailler les 10 raisons de passer au Master Data Management, nous devons définir, Qu’est-ce qu’une donnée de référence ?  Et quelles sont les fonctions d’un MDM ?

Qu’est-ce qu’une donnée de référence ?

Une donnée de référence est une information métier de base pour l’activité de l’entreprise. L’identifiant client, le code produit, le compte fournisseur sont des données de référence pour l’entreprise. Elles sont partagées et utilisées par les différents services de l’entreprise : Production, Comptabilité, Vente, Logistique, SAV, etc…

Quelles sont les fonctions d’un MDM ?

Le MDM ou Gestion des Données de Référence (GDR) a pour fonctions de :

  • Construire le référentiel des données métiers de l’entreprise,
  • Organiser l’acquisition et la validation des entrées (saisie, intégration),
  • Synchroniser les données entre les différentes applications logicielles de l’entreprise,
  • Diffuser les données vers les applications, mobiles, plateformes EDI, sites internet.

10 raisons métiers et techniques de passer au Master Data Management

5 raisons métiers et 5 raisons techniques qui expliquent en quoi la gestion des données de référence est au cœur de la stratégie de l’entreprise.

5 raisons métiers de passer au Master Data Management

Valoriser les données

Les flux de données reçus par l’entreprise sont continus et conséquents. Avant de les introduire dans le Système d’Information il est nécessaire de les valoriser. C’est à dire les nettoyer, filtrer les données inutiles, fausses. Puis les classifier en distinguant les informations stratégiques des informations d’exploitation.

Disposer de données de confiance, exactes et fiables

Sans données de confiance les conséquences pour l’entreprise sont des risques :

  • De non-conformité d’informations comptables, financières et commerciales entraînant des sanctions importantes,
  • D’insatisfaction des clients, les experts estiment les pertes consécutives à cette insatisfaction à plus de 10% du chiffre d’affaires.
  • De démotivation du personnel de l’entreprise confronté à un surplus de travail de vérification et de correction.

Gagner en productivité avec des données immédiatement accessibles et compréhensibles

Des données immédiatement disponibles et compréhensibles dans un format attendu permettent de réduire les cycles métiers :

  • La mise en place d’automatismes tel le P2P (Procure to Pay),
  • Le déploiement des EDI (Echange de Données Informatisé).

Et faciliter aussi le développement du télétravail, avec des accès distants, performants et sécurisés aux données de l’entreprise.

Gagner en agilité avec des données actualisées et pertinentes

Des données toujours actualisées et pertinentes apportent à l’entreprise des avantages concurrentiels :

  • Un Time To Market réduit, pour les mises sur le marché de nouvelles offres
  • Une mise en œuvre rapide des réglementations (RGPD, normes IFRS),
  • Une anticipation des évolutions de normes environnementales, sociales.

Gagner en communication avec des données ciblées et vérifiables

Une communication maitrisée permet de valoriser l’image de l’entreprise auprès de ses clients, de ses partenaires et du public. Cela consiste d’être en mesure de diffuser une information précise, exacte, claire et authentifiée.

5 raisons techniques de passer au Master Data Management

Améliorer la qualité des données de références

L’entreprise, ses services, ses collaborateurs ont besoin de données de qualité, prêtes à être utilisées. Passer au Master Data Management doit permettre de :

  • Veiller à la qualité de la donnée livrée : suppression des données erronées, incomplètes, non-conformes,
  • Garantir la traçabilité métier pour les besoins d’analyse et les exigences réglementaires.

Diminuer les coûts de gestion des données

Il est reconnu que 5% des données saisies manuellement sont erronées, en cause des erreurs de codification, des fautes de frappe, d’orthographe. Laisser ces données dans le Système d’Information entraine des surcoûts pour les identifier, les corriger. Le MDM devra mettre en place le principe d’une donnée, une seule saisie, une validation.

Gérer la diffusion d’une information cohérente en temps réel

L’intégration au SI d’un middleware de distribution des données de référence permet de garantir la diffusion d’une information en temps réel entre les applications logicielles. Et aussi vers les plateformes EDI, les API, les Web Services. Cela permettra la suppression des traitements batch sources de temps d’attente et souvent couteux à maintenir.

Assurer l’adaptation du référentiel de données aux changements de l’écosystème

Le référentiel des données de l’entreprise doit être en capacité d’intégrer les changements de l’environnement concurrentiel, financier, fiscal, réglementaire de l’entreprise :

  • Etre en mesure d’intégrer de nouvelles données et informations, et de les traiter pour les diffuser,
  • D’adapter les procédures de contrôles, de validation aux nouvelles normes et exigences réglementaires.

Répondre aux besoins de non-discrimination

Et enfin pour prémunir l’entreprise contre toutes pertes de données, contre toutes tentatives de fraude, d’être conforme aux règlements sur la protection des données :

  • Un stockage des données conforme au niveau d’exigence de fiabilité et de résilience,
  • Des procédures de journalisation, d’historisation, de versionning des données,
  • Des accès aux données et informations restreints selon des profils d’utilisateurs.

3 outils pour la maîtrise d’ouvrage d’un MDM

Passer au Master Data Management est un projet d’envergure. En effet, la mise en œuvre d’un projet MDM repose sur le déploiement d’une ou plusieurs solutions logicielles, nous citerons :

ETL, Extract Transform Loading

Un ETL a pour fonction d’extraire les données des applications, des bases de données (définition ETL). Ensuite de les consolider, de les standardiser dans un même format avant de les charger dans un entrepôt de données ou Wharehouse. Ainsi elles seront communes et partagées entre tous, tant pour l’exploitation que pour le décisionnel.

EAI, Enterprise Application Integration

Un EAI organise et gère les échanges d’informations entre les applications du SI dans un seul réseau (c’est l’un de ses nombreux avantages). Les informations sous forme de messages sont échangées et partagées en temps réel dans un format commun. Les passerelles point à point sont supprimées, c’est la fin du syndrome spaghetti couteux à maintenir.

ESB, Enterprise Service Bus

Un ESB est une technologie d’EAI. Un ESB est un Bus auquel les applications se connectent via leurs Web Services et des API. Cela permet alors aux applications d’interagir en temps réel entre elles. Les ESB sont adaptés aux échanges de données à fréquence élevée avec une faible volumétrie.

En somme le MDM préfigure de nouveaux enjeux pour votre entreprise.

Passer au Master Data Management c’est répondre aux nouveaux besoins des entreprises :

  • L’évolution des architectures des Systèmes d’Informations. Les grandes applications horizontales telles les PGI, ERP sont remplacées par des applications spécialisées. Ces applications communiquent entre elles en temps réel par échange de données et d’informations. Ces applications sont implantées dans des modèles hybrides Cloud, sur site, services Web, leurs interconnexions exigent de plus en plus de technicité.
  • Et aux nouvelles sources de données. Le Big Data, l’IoT (Internet Of Things), les réseaux sociaux fournissent aux services marketing, commerciaux, techniques des flux de data de plus en plus conséquents. Ceux-ci doivent être analyser et valoriser, les entreprises qui y parviennent en premier, prennent un avantage concurrentiel.

Depuis plus de trente ans, Tenor accompagne les entreprises dans la gestion de leurs données en proposant des solutions innovantes d’EAI, des solutions EDI ou encore des logiciels de facture électronique. Si le sujet vous intéresse, n’hésitez pas à consulter notre article sur la définition du Master Data Management ou celui sur la différence entre EAI et ETL.

Contactez nos équipes pour lancer rapidement votre projet.

Comment améliorer la qualité des données ?

La qualité des données est un enjeu majeur pour toutes les entreprises. En effet, avoir accès à des données pertinentes et échanger des données exactes ne se limite pas aux seuls besoins des tableaux de bord décisionnels et des flux EDI. Au quotidien, tous les personnels de l’entreprise collectent, traitent, échangent des données. Tous rencontrent les mêmes difficultés, sources de perte de temps et de confiance. En causes :

  • Des données incomplètes,
  • Des données obsolètes,
  • Des données erronées,
  • Des doublons, des inutiles, etc…

Nous allons voir les enjeux d’avoir des données de qualité, comment améliorer la qualité des données et enfin quels outils utiliser pour y parvenir.

Quels sont les enjeux de la qualité des données ?

A l’ère de leur transformation digitale, les entreprises traitent des volumes de données de plus en plus importants. Elles reçoivent et émettent des flux de data en continu.

De fait la gestion de la qualité des données ne se limite plus seulement à enregistrer des données correctes dans les systèmes d’information et dans leurs bases de données.

En effet, il faut définir des métadonnées pertinentes pour l’entreprise. Mais également à hiérarchiser les données, à organiser leur acquisition et leur diffusion. Pour finir il convient de les nettoyer, gérer leur versioning, etc…

Des risques difficiles à évaluer

Selon une étude publiée par IBM, le coût généré par des données de faible qualité est estimé à près de 3 milliards de dollars par an.

Des données de mauvaise qualité, inexactes ont des conséquences non seulement sur le pilotage de l’entreprise, entrainant des décisions inadaptées. Mais aussi, sans que l’entreprise ne s’en aperçoive immédiatement, peuvent entraîner une dégradation de l’image de l’entreprise, des pertes de temps, des surcoûts de gestion, voire des pénalités financières :

  • Un SAV ne disposant pas de dossiers clients à jour,
  • Des campagnes marketing et commerciales avec des taux de NPAI élevés,
  • Des échanges de documents EDI rejetés faute d’un code GLN ou GTIN erroné,
  • Un nombre de licences logicielles utilisées approximatif lors d’un audit,
  • Des manquements à la conformité au RGPD (Règlement général sur la Protection des Données),
  • Etc…

Pour Gartner, 33% des entreprises du top 100 de Fortune seraient régulièrement confrontées à des difficultés en raison d’une incapacité à évaluer la fiabilité de leurs informations.

Aussi bien que 93% des entreprises soient convaincues que les données de qualité sont essentielles pour leurs actions marketing et commerciales, elles estiment que :

  • 20% de leurs données sont erronées,
  • Pour 30 % les doublons figurent dans le top 3 des erreurs de qualité,
  • 11% de leur chiffre d’affaires est perdu à cause de données inexactes.

Qu’est-ce une donnée de qualité ?

La définition de la qualité des données fait l’objet de nombreuses recherches. Pour les statisticiens la qualité des données se définit par une hiérarchisation de critères et de dimensions : précision, ponctualité, comparabilité, utilisabilité, pertinence, sécurité.

Pour une entreprise la définition de Wang (1) conviendra beaucoup mieux ; Wang définit la qualité d’une donnée en fonction de l’usage attendu par son utilisateur.

1) Wang R.Y. (1998). A product Perspective on Total Data Quality Management

On proposera pour l’entreprise une définition de la qualité des données en trois dimensions :

  • Qualitative, les données respectent les règles de précision, d’unicité et de format définies par l’entreprise,
  • Accessibilité, les données sont compréhensibles et pertinentes pour les personnes et les services qui les utilisent,
  • Sécurité, les accès aux données sont journalisés.

Le processus pour obtenir des données de qualité requiert une démarche industrielle

La gestion de la qualité des données ou DQM (Data Quality Management) est la capacité de fournir des données de qualité pour les besoins métiers de l’entreprise. Il s’agira d’une démarche industrielle en quatre phases :

  • L’inventaire,
  • Le référentiel des données métiers de l’entreprise,
  • Les spécifications de règles d’acquisition, de validation et de contrôle,
  • Les indicateurs de suivi.

L’existant de l’entreprise est un système d’information composé d’applications, de logiciels, de bases de données. Le défi est de mener un processus exhaustif qui prend en compte tout l’existant et met en place une gestion globale et centralisée des données. Pour cela une démarche industrielle est nécessaire.

L’inventaire

Première étape l’inventaire des données, qu’elles sont-elles ? où sont-elles ? qui les utilisent ?

La description des données

Pour chaque donnée, sa description, son cycle de vie, son format. Et vérifier que cette définition pour chacune d’entre elles soit partagée par tous au sein de l’entreprise. Exemple, la notion de « client » doit être la même pour la Comptabilité, le Commercial, le Marketing et le SAV.

Les silos de données

Les applications utilisées par l’entreprise représentent autant de silos de données. Entre chaque logiciel, la définition, le format, les informations complémentaires diffèrent, voire sont incohérentes. Il sera nécessaire de centraliser toutes ces données en seul lieu, où les applications et les utilisateurs viendront les chercher.

Les consommateurs de données

Les consommateurs de données sont les services qui utilisent les données de l’entreprise. Les consommateurs sont les logiciels métiers, la plateforme EDI, les applications mobiles, les sites internet, etc… Ils doivent tous accéder au même référentiel de données.

Le référentiel des données métiers de l’entreprise

En priorité définir qu’elles seront les données de référence de l’entreprise.

Une donnée de référence est différente selon :

  • Un exploitant, une information métier structurante, exemples : un compte client pour un responsable des ventes, un compte comptable pour un chef comptable.
  • Un chef de projet métier, une donnée partagée par plusieurs processus métiers, exemple : le compte client est utilisé par les services commercial, marketing, comptable.
  • Un chef de projet informatique, une donnée utilisée dans les différentes solutions logicielles, exemples : le CRM, la Gestion Commerciale, la Comptabilité.

Ces données de référence constituent le référentiel des données de l’entreprise. Il est unique et partagé entre tous les utilisateurs et les applications logicielles de l’entreprise.

Les règles d’acquisition, de validation et de contrôles de qualité

La mauvaise qualité des données, les données fausses sont principalement la conséquence d’erreurs lors de la saisie ou de l’intégration dans le Système d’information.

De fait il sera nécessaire de mettre en place des automatismes de contrôle et de validation des données avant de les enregistrer.

Les indicateurs de suivi

Quels indicateurs pour mesurer la qualité des données ?

Le niveau de qualité peut se faire avec des mesures chiffrées comme :

  • La diminution des NPAI des campagnes marketing,
  • La réduction des erreurs EDI,

Et de façon plus subjective en constatant le niveau de confiance des utilisateurs dans les données qu’ils utilisent au quotidien.

La mise en place d’une plateforme pour enregistrer, suivre et gérer des alertes ou incidents liée à la qualité des données, est un élément qui aide à améliorer cette confiance.

Une méthode et des outils pour améliorer la qualité des données

L’entreprise dispose de méthodes et d’outils pour gérer la qualité de ses données selon son mode fonctionnement, son métier.

Le MDM ou Master Data Management

MDM ou une Gestion des Données de Référence (GDR) est un ensemble d’outils et de méthodes pour la gestion des données de référence de l’entreprise. La fonction d’un MDM est de garantir l’intégrité du référentiel des données structurantes de l’entreprise et que tous les services accèdent à tout moment à des données exactes, pertinentes et à jour.

EAI, ETL

EAI (Enterprise Application Integration) et ETL (Extract Transform Load), deux outils pour organiser et gérer les flux de data dans l’entreprise.

Les EAI pour échanger entre applications

La fonction principale d’une solution EAI est l’organisation rationnelle des échanges de données entre les différentes applications du système d’information de l’entreprise. En évitant la multiplication des sources et des saisies. En effet, toutes les applications accèdent et partagent à la même source de données.

Les ETL pour alimenter des entrepôts de données

La fonction principale d’un ETL est de charger toutes les données de l’entreprise dans un Data Wharehouse. L’ETL extrait les données des différentes applications et bases de données, les consolide et les charge dans un entrepôt de données. Elles seront dès lors accessibles à tous.

Les objectifs atteints par une gestion de la qualité des données

Avec une gestion de la qualité des données, l’entreprise atteint ses objectifs :

  • En termes d’image, la pertinence des informations lors des échanges avec les tiers de l’entreprise (clients, fournisseurs, banques, administrations) contribue fortement au sérieux et à la compétence de l’entreprise et de son personnel,
  • En termes de gains financiers, l’exactitude des données apporte plus d’efficacité et supprime les coûts directs et indirects induits par les erreurs et les correctifs,
  • En termes de sécurité, la protection des données diminue les fuites et les tentatives de fraude.

Si ce sujet vous intéresse n’hésitez pas à faire un tour sur le Blog de Tenor. Vous y trouverez des articles sur le Master Data Management, les ETL ou encore la définition d’un EAI. De même contactez nos équipes pour obtenir un diagnostic de la gestion des données dans votre entreprise.

Par ailleurs, découvrez nos solutions de data management et lancez votre projet dès aujourd’hui.

EDI et Blockchain – Comment l’EDI et la Blockchain se complètent ?

EDI et Blockchain sont deux technologies amenées à se côtoyer dans les prochaines années. La Blockchain, technologie prometteuse pour beaucoup, technologie sulfureuse pour d’autres ! Peu importe, la Blockchain est depuis 2008 une réalité. Selon une étude de Linkedln Learning la Blockchain est une des compétences les plus demandées en 2020.

Selon IBM, la technologie Blockchain fait partie des technologies fondamentales de la transformation digitale des entreprises aux côtés de l’Intelligence Artificielle, de l’Internet des Objets et de la Machine Learning.

Hors la sphère des crypto-monnaies, les domaines d’applications sont nombreux, les POC (Proof Of Concept) se multiplient et aujourd’hui de premières mises en production se déploient pour tracer, pour certifier, etc…

Technologie de stockage et de transmission de l’information : certains prédisent que la Blockchain remplacera prochainement l’EDI.

EDI et Blockchain sont-ils concurrents ? L’EDI sera-t-il remplacé par la Blockchain ? L’EDI et la Blockchain sont-ils complémentaires ? Nous allons répondre à ces interrogations dans la suite de l’article.

Qu’est-ce que l’EDI ?

L’EDI est une solution de communication de données d’entreprise à entreprise. Les documents échangés par EDI sont traités par des ordinateurs et non par des personnes, ces documents électroniques doivent être normalisés.

L’EDI (Echange de Données Informatisé ou Electronic Data Exchange) est l’échange de données de système d’information à système d’information, dans des formats structurés et standardisés. L’EDI supprime les manipulations de documents, supprime les ressaisies d’informations, automatise et sécurise les transmissions entre ordinateurs et traite des volumes importants de documents et de documents d’une machine à l’autre.

Les solutions EDI permettent de dématérialiser : les échanges commerciaux et financiers entre entreprises, banques, les déclarations fiscales et sociales aux administrations.

Les bénéfices de l’EDI sont :

  • La réduction des coûts administratifs,
  • Une vitesse de traitement des informations élevées,
  • La suppression des saisies multiples sources d’erreurs et de retards,
  • La fin du papier.

Qu’est-ce que la Blockchain ?

La Blockchain est une Technologie de Registre Distribué (DLT, Distributed Ledger Technologies) conçue pour enregistrer et suivre des informations ou des transactions qui peuvent être de toutes natures, des transactions financières, des documents, des titres de propriété, etc….

La Blockchain apparue en 2008 avec le Bitcoin est une technologie de stockage, de données et de transactions.

La Blockchain peut être considérée comme une grande base de données sans administrateur.

Le mathématicien Jean-Paul Delahaye définit la Blockchain comme « un très grand cahier, que tout le monde peut lire librement et gratuitement, sur lequel tout le monde peut écrire, mais qui est impossible à effacer et est indestructible. ».

La technologie Blockchain améliore la sécurité des données et garantit des données infalsifiables et une traçabilité.

Le mode de fonctionnement de la blockchain

Chaque nouvel enregistrement inscrit dans la Blockchain est lié au précédent, et est répliqué dans les mémoires de multiples ordinateurs. Ces enregistrements sont des blocs d’informations, chaînés les uns avec les autres, d’où le nom de Blockchain « chaîne de blocs ».

Une fois entrée, l’information enregistrée, cryptée et horodatée, ne peut jamais être modifiée, écrasée ou effacée. Seule une nouvelle information corrective peut-être entrée.

C’est ainsi que la totalité de l’historique des informations peut être suivi au fil du temps y compris les tentatives de modifications. Cette fonctionnalité de traçage est la plus importante de la Blockchain.

Les bénéfices apportés par le mode de fonctionnement de la blockchain

  • La désintermédiation : le fonctionnement PtoP (Pair to Pair) sans nécessité d’organe central ou de tiers de confiance, chaque partie d’une transaction enregistre directement ses écritures,
  • La sécurité : l’architecture décentralisée et la réplication des transactions dans les mémoires de milliers de serveurs et ordinateurs rend impossible les tentatives de falsification et de destruction,
  • La transparence : toutes les transactions et leur historique sont visibles par tous.

Des études alliant EDI et Blockchain

Pour l’automobile un Système EDI automobile, pour la logistique une Solution de communication EDI BtoB, tous deux basés sur la Blockchain, les travaux de GS1 pour une convergence EDI et Blockchain.

Système EDI automobile basé sur la Blockchain

Décrit par Rahul Guhathakurta, dans « The Age of Blockchain » le concept d’un système EDI automobile basé sur la Blockchain a pour objectif d’améliorer la transparence de la chaîne logistique et de lutter contre la fraude et la contrefaçon. L’alliance de l’EDI et de la Blockchain permet une relation authentifiée entre le constructeur automobile, le fabricant d’équipement d’origine, OEM (Original Equipement Manufacturer), et le concessionnaire automobile. Chaque transaction EDI (ASN ou DESADV) vérifie dans une Blockchain l’authenticité des OEM expédiés.

Solution de partage de communication EDI BtoB

Parmi les travaux présentés à la FIATA (Fédération internationale des associations de transitaires) en 2019, une plateforme de partage de données EDI alimentée par une Blockchain. Le message EDI n’est plus transmis point à point mais transmis à un réseau de partenaires authentifiés inclus dans une Blockchain. Cette solution permet une diffusion immédiate et simultanée d’une information sécurisée, véridique à tous les tiers habilités. En ce qui concerne le commerce international, les transitaires, logisticiens, transporteurs, assureurs, douanes, exportateurs, importateurs partagent tous une seule et même information authentifiée. Cela permet d’accélérer et sécuriser les transactions financières liées à l’opération.

Les travaux de normalisation de GS1

Pour faciliter l’adoption de la Blockchain par les entreprises et le partage des informations stockées, catalogues produits, traçabilité des origines des produits, événements logistiques, GS1 travaille à promouvoir les normes GS1, ISO, EPCIS (Electronic Product Code Information Services) auprès de la communauté Blockchain.

Des défis à relever

Investissement élevé, reconnaissance juridique, manque d’interopérabilité, compétences techniques encore rares, …, restent autant de défis à relever pour une adoption de la Blockchain à une grande échelle.

Malgré un potentiel reconnu dans de nombreux cas d’utilisation, les crypto-monnaies restent les seules applications d’envergure de la Blockchain. Bien que de nombreuses entreprises et organisations travaillent sur des projets Blockchain, des défis restent encore à être relevés.

Coûts d’investissements et d’exploitation élevés

La Blockchain est une technologie encore coûteuse tant en investissement qu’en exploitation. EY estime à 600 000 $ la construction d’une plateforme Blockchain et le coût de chaque transaction reste très élevé et les perspectives de retour sur investissement sont incertaines. Cependant les évolutions technologiques actuelles laissent prévoir une nette réduction du coûts des transactions. Dès lors les retours sur investissement seront acceptables.

Reconnaissance juridique

La reconnaissance juridique des transactions sur les Blockchain donne encore lieu à des discussions entre états et organisations mondiales. Plusieurs états des Usa, la France, La Chine reconnaissent les transactions sur les Blockchain dans leurs législations. L’OMC, Organisation Mondiale du Commerce, propose des directives liées à l’adoption de la Blockchain par le commerce électronique.

Manque d’interopérabilité

Les différentes Blockchain qui vont voir prochainement le jour devront être interopérables comme tous systèmes de réseau. Dès maintenant GS1, Microsoft, IBM travaillent dans ce sens.

Compétences techniques

La demande de compétences Blockchain augmente fortement, il s’agit d’une compétence les plus demandées en 2020. De nombreux ingénieurs informatiques sont dans des formations liées à la Blockchain. Les compétences seront bientôt sur le marché de l’emploi.

L’EDI et la Blockchain, le futur des échanges inter-entreprises

« L’EDI ne disparaîtra pas », l’EDI et la Blockchain se complètent pour faciliter le passage à une nouvelle organisation des Supply Chain vers des SupplyChain 4.0

Pour résumer simplement, un système EDI basé sur la Blockchain va améliorer la diffusion de l’information.

Non seulement l’EDI conserve ses fonctions d’échanges d’informations entre machines pour leurs traitements par les applications métiers. Et de plus avec la Blockchain l’information échangée sera authentifiée comme véridique et aussi partagée en totalité ou partiellement à l’extérieur de l’entreprise auprès des tiers habilités à accéder à la Blockchain.

La question est sous quelle échéance une prochaine génération d’EDI basé sur la Blockchain remplacera les protocoles EDI actuels pour une nouvelle organisation des SupplyChain ?

Depuis plus de 30 ans Tenor accompagne ses clients dans leur transformation numérique. De fait nous proposons des solutions EDI en SaaS, OnPremise et même en WebEDI. Si le sujet vous intéresse, n’hésitez pas à parcourir cet excellent article sur la différence entre Web EDI et EDI en SaaS ou encore celui sur les avantages du webEDI.

Qu’est-ce qu’un ETL ?

Un ETL (Extract Transform Load) est un ensemble d’outils et de méthodes qui combinent trois fonctions : l’extraction de données de sources diverses (bases de données, fichiers, etc…), la transformation des données extraites en un format cible selon des règles définies et enfin le chargement de ces données transformées dans un Data Wharehouse.

L’ETL est un élément clé dans la mise en œuvre d’un projet de Business Intelligence en entreprise. Ses fonctions sont de collecter des données provenant de sources différentes, de les traiter et de les charger dans un entrepôt de données.

Dans cet article découvrez les fonctions d’un ETL, Pourquoi mettre en place un ETL ? Dans quels cas mettre en place un ETL ? Quels bénéfices pour votre entreprise ?

Les fonctions d’un ETL

Les trois fonctions d’un ETL sont l’extraction des données de l’entreprise de son système d’information, leur transformation et enfin leur chargement dans un Data Wharehouse.

L’extraction des datas

Un ETL doit être en mesure de collecter, en temps réel ou par batch, toutes sortes de données brutes, données structurées ou non structurées ; en provenance des différentes sources du système d’information de l’entreprise, sur site et sur le cloud.

Cette étape consiste à extraire des données sélectionnées de l’ensemble des bases de données (Oracle, SAP, MySQL, …) des applications de l’entreprise. Cette opération nécessite l’utilisation de plusieurs technologies adaptées au type de la source de données : des passerelles, des utilitaires de réplication, des extracteurs, des connecteurs, des API.

La transformation des données de l’entreprise

Cette étape est la plus importante, elle garantit la qualité des données qui seront intégrées dans l’entrepôt de données. Pour chaque nature de donnée, origine de donnée, des règles précises sont définies pour :

  • Vérifier les données,
  • Supprimer les doublons,
  • Nettoyer les données,
  • Standardiser selon les règles métiers.

L’objectif est de produire des données propres prêtes à être chargées dans le Data Warehouse et à servir de source pour les solutions d’analyse et de Business Intelligence.

Le chargement des données des applications

Après cette étape, les données stockées sont accessibles et utilisables pour des : 

  • Analyses avec des outils OLAP (On Line Analyse Processing),
  • Recherches de corrélation avec le Data Mining,
  • Partages avec les outils de Reporting,
  • Exploitations par les Outils Business Intelligence.

Pourquoi utiliser un ETL pour le management de la donnée ?

Les systèmes d’information des entreprises sont de natures hétérogènes, plusieurs sources de données, de générations différentes, Gestion commerciale, CRM (Customer Ressource Management), Gestion de production, ERP…

Des ERP (Enterprise Ressource Planning) souvent connectés à des solutions périphériques : applications mobiles, sites marchands, etc… qui deviennent autant de nouvelles sources de données.

Et aussi encore des mainframes, dans le monde de l’industrie et de la finance, toujours en production pour des applications critiques.

Sources multiples, structures de données différentes, possibles redondances d’informations : cet état est un obstacle à une analyse fine et rapide des informations de l’entreprise.

La solution : collecter toutes les données pertinentes de l’entreprise dans un Data Wharehouse, entrepôt de données. Les données seront alors organisées et formatées à des fins d’analyse.

Dans quels cas mettre en place un ETL ?

Un ETL est le principal outil pour déplacer des données d’une source vers une cible.

Alimentation d’un Data Wharehouse : agréger les données dans un entrepôt pour ensuite les manipuler

L’alimentation de la base de données d’un outil de Business Intelligence peut s’effectuer à l’aide de scripts indépendants. Cette approche demande des développements spécifiques pour chaque source de données avec des risques importants de régression à chaque modification de données.

Dès lors que l’existant est composé :

  • De multiples sources de données,
  • Des structures de données hétérogènes,
  • Des quantités importantes de données à extraire et à transformer,

et qu’il nécessite :

  • La création d’un référentiel unique des données,
  • La nécessité d’un contrôle efficient de la qualité des données : traitement des données erronées, des redondances.

Migration de données

Les outils ETL peuvent aussi être utilisés pour des opérations de migration de données d’anciennes applications vers de nouvelles. L’ETL permet d’extraire les données d’une ancienne application, de les nettoyer et de les convertir au format attendu par la nouvelle application et enfin de les charger.

Intégrer de nouvelles sources d’informations pour la chaîne décisionnelle

La transformation numérique des entreprises à l’ère du Big Data et de l’informatique décisionnel multiplie les sources de données : IoT (Internet of Things), OpenData, Site e-commerce, Réseaux Sociaux, pages Web, …, et les nouveaux types de données non structurées et présentes en de très grandes quantités.

Un ETL permet aussi d’aller collecter ces données extérieures et de les charger un Data Lake ou lac de données qui assurent l’entreposage de données afin de pouvoir les exploiter (entrepôts de données).

ETL et MDM (Master Data management)

Dans la mise en œuvre d’un projet MDM, les ETL sont utilisés pour les consolidations de données et pour alimenter en données des applications qui n’exigent pas une alimentation de données en masse.

Quels bénéfices pour l’entreprises ?

Le principal avantage d’un ETL est sa contribution à la réussite du déploiement d’outils de Business Intelligence. Il permet de garantir la qualité des données analysées et d’en assurer leur synchronisation en temps réel avec l’opérationnel et le décisionnel de l’entreprise.

Un ETL est évolutif, il s’adapte facilement aux nouveaux besoins du Dsi de l’entreprise. De nouvelles données et sources peuvent être facilement prises en compte par le simple ajout de nouvelles règles et connecteurs.

Et aussi en réalisant une cartographie des données et de leurs flux détenus par l’entreprise, un ETL contribue aussi à veiller à la conformité RGPD (Règlement Général sur la Protection des Données).

Depuis plus de 30 ans Tenor accompagne les entreprises dans la gestion de leurs données en proposants des solutions EDI, des solutions EAI ou de dématérialisation de facture. Découvrez nos différentes offres. Contactez-nous!

Qu’est-ce que le Master Data Management ?

Le Master Data Management (MDM) ou une Gestion des Données de Référence (GDR) est un ensemble d’outils et de méthodes pour la gestion des données de référence de l’entreprise. La fonction d’un MDM est de garantir l’intégrité du référentiel des données structurantes de l’entreprise et que tous les services accèdent à tout moment à des données exactes, pertinentes et à jour.

Aujourd’hui toutes les entreprises ont accès à d’importants volumes de données et d’informations disparates et dispersées. Celles-ci sont soit générées en interne par leurs solutions logicielles, soit en provenance de sources externes tel le BigData.

Les entreprises prennent conscience qu’il leur faut contrôler, trier, qualifier toutes ces informations pour pouvoir les exploiter en toute confiance.

Selon les experts la mise en œuvre d’un MDM apporte à l’entreprise un avantage économique et stratégique :

  • Une enquête Gartner révèle que pour les organisations la mauvaise qualité des données est responsable d’une perte moyenne de 15 millions de dollars par an,
  • Un rapport d’IBM au groupe ABERDEEN, société spécialisée dans les données adressées au marketing et au commerce, cite : « les entreprises qui utilisent le master Data Management (MDM) sont 2 fois plus satisfaites de la qualité des données et la rapidité de la livraison ».

Dans cet article nous allons voir comment le Master Data Management simplifie la gestion des données des entreprises :

Quelles sont les données de référence de l’entreprise ?

En informatique une donnée est une information élémentaire codée : un identifiant client, un code postal, un numéro de commande, une date de commande, une quantité,…

Définition de la donnée de référence pour le master data management

La donnée de référence varie selon l’utilisateur ou le besoin que l’on en fait. En effet, pour un exploitant, c’est une information métier structurante, exemples : un compte client pour un responsable des ventes, un compte comptable pour un chef comptable.

Pour un chef de projet métier, c’est une donnée partagée par plusieurs processus métiers, exemple : le compte client est utilisé par les services commercial, marketing, comptabilité.

Dans le cas d’un chef de projet informatique, c’est une donnée utilisée dans les différentes solutions logicielles, exemples : le CRM, la Gestion Commerciale, la Comptabilité.

Les trois principaux types de données de référence :

  • Les données « maîtres » qui sont des objets métiers principaux : client, fournisseur, article, salarié, …
  • Les données « consécutives » qui complètent les données « maîtres » : adresse d’un client (rue, code postal, commune, pays,…), caractéristiques d’un article (couleur, dimensions, photo,…), …
  • Les tables de valeurs ou nomenclatures : taux de TVA, codes devises, identifiants pays, codes postaux, …

Au sein de l’entreprise toutes ces données doivent respecter des critères de qualité : l’unicité, l’exactitude, la complétude, la conformité, la cohérence et l’intégrité. Mais également répondre à des enjeux d’exploitation c’est-à-dire : être à jour, facile d’accès, pertinente, compréhensible. Ces datas doivent également satisfaire aux règles de sécurité. De fait, elles doivent être accessibles seulement par les services et personnes autorisées. L’entreprise doit également mettre en œuvre une journalisation des accès et des modifications.

L’exemple de la donnée client

Prenons l’exemple de la donnée « client », cette donnée est partagée et utilisée par le CRM, la Gestion commerciale et la Comptabilité.

Ces trois applications conservent et utilisent des informations communes : le nom, l’adresse, qui complètent l’entité client. Et aussi détiennent et mettent à jour des informations métiers propres à leurs fonctions :

  • Dans le CRM : les dates des derniers échanges avec le service commercial, le nom du commercial du compte,
  • Dans la Gestion Commerciale : l’historique des achats, les conditions tarifaires,
  • Dans la comptabilité : le compte comptable, l’encours, la date du dernier paiement.

La problématique est d’avoir à tout moment une vue exacte de la situation du client :

  • Qui prend en charge une modification d’adresse du client ?
  • Comment répliquer une modification d’adresse dans le CRM, la Gestion Commerciale, la Comptabilité en temps réel et sans ressaisie ?
  • Comment maintenir l’exactitude des informations communes entre les différentes applications ?
  • Sous quelles conditions le CRM et la Gestion Comptables ont accès à l’encours comptable du client ?

Les fonctions du Master Data Management ?

Le Master Data Management est un ensemble d’outils, de méthodes et aussi de règles et de bonnes pratiques qui va permette de gérer les données de l’entreprise.

Un MDM dispose de tous les moyens pour constituer le référentiel des données structurantes de l’entreprise. Le périmètre d’intervention d’un MDM est donc large, le MDM va centraliser toutes les fonctions :

  • D’acquisition de la donnée : saisie directe, sources internes (traitements applicatifs, objets connectés), sources externes (banques de données),
  • De validation de la donnée selon des règles de syntaxe communes, des règles de gestion métier, des règles de cohérence,
  • Des traitements qualitatifs : recherche et suppression de doublons, mise aux normes ISO, etc…
  • De l’identification de la donnée avec ID unique,
  • De l’instance de la donnée (un changement d’adresse ne met pas en cause l’identité du tiers),
  • De description de la donnée : mise à jour des métadonnées,
  • De la transcodification entre applications.

Selon le type de données ces fonctions seront soient directement exécutées par un outil du MDM, soient réalisées par une application propriétaire de la donnée :

  • La liste des communes est importée de la banque de données de l’INSEE et mise à disposition des applications qui en ont besoin,
  • Les clients sont créés dans le CRM et diffusés vers la Gestion Commerciale et la Comptabilité,
  • L’encours est mis à jour dans la Comptabilité et accessible par les applications autorisées.

Le Master Data Management devra aussi veiller à la conformité de la gestion et des durées de conservation des données selon les règlements en vigueur, tel le RGPD (Règlement Général sur la Protection des Données) pour les données à caractère personnel ainsi que pour les données comptables et financières les normes IFRS (International Financial Reporting Standards).

Pourquoi mettre en œuvre un outil de Master Data Management ?

Une gestion centralisée des données de référence est bénéfique pour l’entreprise.

En effet, à défaut d’une gestion centralisée des données de référence l’entreprise conserve des silos de données propres à chaque application. Les données sont de formats différents, pas toujours synchronisées ; les risques de données fausses, inexactes, incohérentes sont importants et coûtent du temps et de l’argent à l’entreprise.

Les principes de la mise en place d’un MDM :

  • Une source de données unique et identifiée,
  • La diffusion et mise à disposition de données exactes aux applications « consommatrices » de données (ERP, CRM, WMS, BI…).

Les avantages d’un MDM pour votre entreprise :

  • Des gains d’exploitation du fait d’avoir accès à des données de qualité,
  • Des gains de temps d’accès à des données exactes,
  • Une vue complète de l’ensemble de données dont dispose l’entreprise,
  • Une plus grande facilité pour mettre en œuvre des outils d’analyse de Business Intelligence.

Master Data Management et BigData ?

La mise en œuvre d’un Master Data Management va aussi permettre à l’entreprise d’exploiter à son profit le BigData.

Aujourd’hui avec le BigData les volumes de données accessibles sont de plus importants, ces données structurées, non-structurées proviennent du Web, de l’OpenData, des objets connectés, etc…

Elles ne sont pas exploitables en état par l’entreprise, trop nombreuses, redondantes, de formats multiples, d’origines mal connues.

L’idée est d’utiliser un ETL pour consolider les informations contenues dans un Data Lake autour de données de référence ; tel un hasthtag (#MDM) si l’on souhaite traiter et analyser des tweets.

Ces informations ainsi traitées, qualifiées en supprimant les doublons, en traitant les incohérences, rendues compréhensibles et interprétables, pourront alors être rattachées à des données de référence de l’entreprise. Et être utilisées par les services marketing et commercial, suivre les comportements des clients, mesure de la notoriété d’une marque, réaliser des prédictions, …

L’EAI, outil de partage et d’échange des données de référence

Le déploiement d’un EAI (Enterprise Application Integration) va permettre d’organiser la diffusion des données de référence.

Un des objectifs principaux d’un EAI est que toutes les applications connectées partagent la même source de données. Pour chaque donnée il est défini une application source de la donnée. Cette application diffuse la donnée via le bus de l’EAI auprès des applications qui en en font la demande.

Transport et transformation des données assuré par l’EAI (ETL) :

  • Transformées dans un format pivot,
  • Transportées entre les applications qui fournissent la donnée et les applications qui la consomment.

L’EAI va permettre ainsi de définir pour chaque donnée de référence un et seul point de saisie.

L’EAI met aussi en œuvre un « référentiel virtuel » de données de référence qui est partagé avec toutes les applications de l’entreprise connectées.

Connection du bus EAI à d’autres outils, applications…

A ce bus EAI, pour que les utilisateurs puissent partager toutes leurs informations il est aussi possible de connecter :

  • Les sites internet de l’entreprise,
  • Les middleware, les services WEB des applications mobiles,
  • Les Data Lake.

La mise en œuvre d’un EAI dans une entreprise est donc une étape importante dans la mise en œuvre d’un projet MDM. Il permettra à la fois d’identifier les données, de paramétrer les étapes d’échanges, de transformation et de chargement. Mais quels sont les bénéfices de l’EAI pour l’entreprise ?

Quels sont les bénéfices immédiats pour l’entreprise ?

Mettre en place un EAI dans un système d’information est à la fois tactique et stratégique pour l’entreprise. C’est ainsi que l’on pourra qualifier les deux types de bénéfices.

Les bénéfices tactiques :

  • Bénéficier rapidement de données de référence de qualité,
  • Accélérer la livraison des données vers les applications consommatrices,
  • Supprimer les interfaces point à point et les batch de mise à jour des données dans les différentes applications,
  • Simplifier l’architecture du Système d’Information, mettre fin au syndrome Spaghetti grâce aux flux EAI

Les bénéfices stratégiques :

  • Acquérir une plus grande agilité à faire évoluer le SI,
  • Simplifier l’intégration de nouvelles applications,
  • Faciliter l’accès à des sources de données externes, l’OpenData, le BigData.
  • Permettre la consolidation de filiales et d’acquisitions.

En somme le Master Data Management (MDM) propose de nombreux avantages. Bien au delà de permettre la centralisation et la mise à jour des données grâce au référentiel de données, le MDM garantit l’unicité des datas et élimine les risques de données dupliquées dans votre SI.

Depuis plus de trente ans Tenor accompagne ses clients dans la gestion de leur flux de données à travers des solutions et des logiciels EDI, EAI, dématérialisation. Si cet article vous à plu n’hésitez pas à consulter celui sur la définition de l’EAI disponible sur le Blog de Tenor.

Les flux EAI ou comment améliorer la gestion des flux de données dans l’entreprise ?

Les flux EAI sont les flux de données qui vont circuler dans votre système d’information et entre vos différents applicatifs. La qualité d’un EAI (Entreprise Application Integration) est sa faculté de prise en charge des flux d’information de l’entreprise. En effet, il est attendu du déploiement d’un EAI, l’interopérabilité et l’échange de services inter-applicatifs.

Les passerelles point à point.

En l’absence d’un EAI, faire communiquer des applications autonomes nécessite le développement de passerelles point à point. Ces passerelles capables de faire communiquer des applications de plus en plus spécialisées et nombreuses, de technologies différentes, complexifient le système d’information pour vos flux EAI.

Le syndrome spaghetti

Pour que N applications échangent de façon bidirectionnelle entre elles, il faut développer n(n-1) passerelles point à point. C’est-à dire pour une Gestion Commerciale, une Gestion de production, une Supply Chain Management, une Comptabilité, une prise de commande en ligne et une Station EDI, soit 6 applications, il est nécessaire de développer et de maintenir 30 passerelles toutes différentes.

Flux EAI syndrome spaghetti

Un ensemble complexe d’interfaces est alors créé, « un plat spaghetti », difficile à maintenir, à contrôler et à faire évoluer en même temps que le système d’information. Et cette stratégie de liaisons point à point, va aussi s’avérer coûteuse en temps et en dépenses. Selon les études récentes des cabinets Gartner Group et Forrester Group, les entreprises dépensent annuellement plus d’un tiers de leur budget informatique au développement et à la maintenance de passerelles point à point.

La rationalisation de la gestion des flux EAI

Un projet EAI va rationaliser et simplifier votre système d’information. En effet, l’EAI remplace le « plat de spaghettis » par un « réseau d’applications » intelligent.

Chaque application est connectée via un connecteur bidirectionnel. Finalement, là où il fallait n(n-1) passerelles pour que toutes les applications du système d’information puissent échanger entre elles, il suffit d’un seul connecteur par application. Pour les applications récentes ce connecteur sera une API (Application Program interface) ou un Web Services. Pour les applications propriétaires, les éditeurs proposent des bibliothèques de connecteurs. Dans le cas contraire il est nécessaire de développer des connecteurs spécifiques pour votre flux EAI.

Les DSI (Direction de Systèmes d’Information) vont alors pouvoir se concentrer uniquement sur les processus métiers de l’entreprise. Ceux-ci manageront les flux dans l’architecture EAI.

L’identification des flux EAI

Phase 1 – L’urbanisation des flux

Première étape d’un projet EAI, la phase d’étude appelée urbanisation. Cette étude permet de recenser les logiciels, les bases de données, les traitements métiers, les règles métiers, les applications qui mettent à jour les données.

De fait, le but est d’obtenir la cartographie la plus complète des flux d’information. Cette analyse pouvant être menée avec des outils de type BPM (Business Management System).

Phase 2 – Le pilotage des connexions

Ensuite grâce à l’interface graphique (GUI) de l’EAI, il sera alors facile de piloter les connexions entre applications. Mais également de superviser les flux de données en circulation. On pourra ainsi :

  • Décrire les règles de traduction et de conversion,
  • Paramétrer les différentes règles de routage,
  • Planifier les échanges,
  • Consulter les journaux,
  • Gérer les erreurs.

Les avantages obtenus par la gestion des flux EAI

La mise en œuvre d’un EAI est structurant pour l’entreprise.

  • En réunissant les applications métiers en un seul réseau
  • Une simplification de la vision du système d’information,
  • La suppression des interfaces point à point,
  • En facilitant les évolutions du système d’information :
    • Ajouter, remplacer ou modifier une application ne perturbe pas l’ensemble du réseau, un seul connecteur est à changer ou à reconfigurer,
    • Intégrer les sites Internet et Extranet dans le système d’information,
    • Échanger avec les applications externes et mobiles,
  • En sécurisant les données traitées :
    • Eviter la multiplication des sources et des saisies, toutes les applications accèdent et partagent à la même source de données,
    • En privilégiant les flux métiers entre applications en s’émancipant des contraintes techniques,
    • Et aussi en obtenant des économies en termes de coûts de maintenance sur les interfaces, que Gartner Group évalue à plus de 25% annuel.

Depuis plus de 30 ans Tenor accompagne les entreprises dans la gestion de leurs données. Pour la mise en œuvre de votre projet EAI logiciel ou de MDM consultez aussi cet article sur l’Architecture EAI. Découvrez toutes les solutions EAI de Tenor pour l’infrastructure de votre système d’information.

Architecture EAI, quelles solutions choisir pour votre SI ?

La fonction principale d’un EAI (Entreprise Application Integration) est l’organisation rationnelle des échanges de données entre les différentes applications du système d’information de l’entreprise. Avec les architectures EAI, les DSI (Direction de Systèmes d’Information) obtiennent une vision globale des flux d’information dans l’entreprise.

En effet les systèmes d’information des entreprises sont de nature hétérogène. Ils ont été bâtis progressivement par l’empilement d’applications toutes indépendantes entre elles Gestion de production, Gestion Commerciale, CRM (Customer Relationship Management), WMS (Wharehouse Management System), SCM (Supply Chain Management System) Comptabilité Finances, GRH (Gestion des Ressources Humaines), Portails internet, Sites e-commerce, Applications mobiles, …).

Selon les besoins de l’entreprise, les échanges inter applicatifs sont traités cas par cas au moyen de liaisons point à point. Un EAI doit être en mesure de prendre en charge ces échanges dans leur globalité. L’architecture EAI doit prendre en compte les problématiques des différents formats de données et de connexion de technologies logicielles différentes.

Un EAI (architecture EAI) doit traiter le contenu et son transport.

Traitement du contenu dans l’architecture EAI:

Un EAI permet aux applications d’échanger dans les formats que les applications reconnaissent. Pour cela un référentiel contient toutes les règles de traduction et de conversion des messages. Une double traduction avec un format pivot est le plus souvent réalisée.

Transport du contenu pour une architecture EAI :

Cette fonction est assurée par des MOM (Message Oriented Middleware) dont la particularité est d’être non bloquants. En effet, les applications qui émettent des flux d’informations au fil de l’eau, ne doivent attendre que les applications réceptrices les aient reçus. Pour cela les MOM gèrent les files d’attentes afin de ne pas perdre les messages lorsque les applications réceptrices ne sont pas disponibles.

Quelle architecture EAI pour votre SI ?

Il est primordial de parler d’architecture EAI centralisée hub and spoke et d’architecture EAI décentralisée network centric.

L’architecture hub and spoke 

Toutes les applications sont connectées à un hub central. Le moteur d’intégration et le référentiel sont installés sur le hub.  Le moteur traite le message reçu par l’application émettrice selon les règles de routage et de traduction définies dans un référentiel. Alors, l’application destinataire agira selon le message reçu en accusant réception et si nécessaire en retournant les informations ou données demandées.

Cette architecture, simple à mettre en place et à administrer, est cependant limitée pour des charges importantes. En effet, la montée en charge nécessite la réplication de plusieurs hubs sur des segments du réseau et de ce fait complexifie l’administration.

L’architecture network centric

Pas de hub central, les différentes applications sont connectées au réseau. A chaque nœud de connexion les fonctions de l’EAI sont déportées. Le traitement des messages émis par les applications s’effectue au niveau du point de connexion au réseau.

L’avantage principal de cette architecture est de diminuer la charge sur le réseau. En contrepartie son administration sera plus difficile, chaque nœud de connexion devra être administré de façon exclusive.

Faut-il favoriser une approche tactique ou stratégique ?

Autre point important à prendre en compte lors d’un projet EAI et du choix de l’architecture. Il faut organiser rationnellement les flux inter applicatifs dans le système d’information. Dans ce cas nous parlerons d’EAI tactique.

S’agit-il d’organiser les échanges transversaux entre les services, filiales d’un groupe pour consolidation et/ou supervision ? Dans ce cas nous parlerons d’EAI stratégique.

Les enjeux du projet EAI en seront différents, les flux traités sont de natures différentes. L’attente d’un EAI tactique est l’amélioration des processus métiers de l’entreprise sans impact organisationnel. Les aspects techniques et métiers sont privilégiés. L’attente d’un EAI stratégique est une nouvelle organisation interne de l’entreprise. Un accompagnement au changement d’organisation est dès lors primordial.

Architecture EAI

Quels sont les bénéfices attendus d’une architecture EAI ?

  • Peu ou pas de modifications des applications ou des structures de données, l’EAI prend en compte l’existant,
  • L’EAI permet d’appliquer la politique du  » Best of Breed « , le meilleur produit par métier sans se préoccuper de son intégration,
  • Disposer d’un socle évolutif s’adaptant aisément aux évolutions métier et structurelles de l’entreprise,
  • Accompagnement à la transformation numérique de l’entreprise, votre solution EAI va être un facilitateur pour intégrer de nouvelles applications et fonctionnalités.

Les entreprises de services comme Tenor accompagnent leurs clients dans la mise en œuvre de leur flux EAI et sont spécialistes de l’intégration de vos données. EAI ou ETL les solutions proposées s’intègrent parfaitement à votre architecture et notamment avec votre ERP.

Contactez notre service commercial pour plus d’information et démarrer prochainement vos projets avec nos solutions de Data Management!