Comment améliorer la qualité des données ?

La qualité des données est un enjeu majeur pour toutes les entreprises. En effet, avoir accès à des données pertinentes et échanger des données exactes ne se limite pas aux seuls besoins des tableaux de bord décisionnels et des flux EDI. Au quotidien, tous les personnels de l’entreprise collectent, traitent, échangent des données. Tous rencontrent les mêmes difficultés, sources de perte de temps et de confiance. En causes :

  • Des données incomplètes,
  • Des données obsolètes,
  • Des données erronées,
  • Des doublons, des inutiles, etc…

Nous allons voir les enjeux d’avoir des données de qualité, comment améliorer la qualité des données et enfin quels outils utiliser pour y parvenir.

Quels sont les enjeux de la qualité des données ?

A l’ère de leur transformation digitale, les entreprises traitent des volumes de données de plus en plus importants. Elles reçoivent et émettent des flux de data en continu.

De fait la gestion de la qualité des données ne se limite plus seulement à enregistrer des données correctes dans les systèmes d’information et dans leurs bases de données.

En effet, il faut définir des métadonnées pertinentes pour l’entreprise. Mais également à hiérarchiser les données, à organiser leur acquisition et leur diffusion. Pour finir il convient de les nettoyer, gérer leur versioning, etc…

Des risques difficiles à évaluer

Selon une étude publiée par IBM, le coût généré par des données de faible qualité est estimé à près de 3 milliards de dollars par an.

Des données de mauvaise qualité, inexactes ont des conséquences non seulement sur le pilotage de l’entreprise, entrainant des décisions inadaptées. Mais aussi, sans que l’entreprise ne s’en aperçoive immédiatement, peuvent entraîner une dégradation de l’image de l’entreprise, des pertes de temps, des surcoûts de gestion, voire des pénalités financières :

  • Un SAV ne disposant pas de dossiers clients à jour,
  • Des campagnes marketing et commerciales avec des taux de NPAI élevés,
  • Des échanges de documents EDI rejetés faute d’un code GLN ou GTIN erroné,
  • Un nombre de licences logicielles utilisées approximatif lors d’un audit,
  • Des manquements à la conformité au RGPD (Règlement général sur la Protection des Données),
  • Etc…

Pour Gartner, 33% des entreprises du top 100 de Fortune seraient régulièrement confrontées à des difficultés en raison d’une incapacité à évaluer la fiabilité de leurs informations.

Aussi bien que 93% des entreprises soient convaincues que les données de qualité sont essentielles pour leurs actions marketing et commerciales, elles estiment que :

  • 20% de leurs données sont erronées,
  • Pour 30 % les doublons figurent dans le top 3 des erreurs de qualité,
  • 11% de leur chiffre d’affaires est perdu à cause de données inexactes.

Qu’est-ce une donnée de qualité ?

La définition de la qualité des données fait l’objet de nombreuses recherches. Pour les statisticiens la qualité des données se définit par une hiérarchisation de critères et de dimensions : précision, ponctualité, comparabilité, utilisabilité, pertinence, sécurité.

Pour une entreprise la définition de Wang (1) conviendra beaucoup mieux ; Wang définit la qualité d’une donnée en fonction de l’usage attendu par son utilisateur.

1) Wang R.Y. (1998). A product Perspective on Total Data Quality Management

On proposera pour l’entreprise une définition de la qualité des données en trois dimensions :

  • Qualitative, les données respectent les règles de précision, d’unicité et de format définies par l’entreprise,
  • Accessibilité, les données sont compréhensibles et pertinentes pour les personnes et les services qui les utilisent,
  • Sécurité, les accès aux données sont journalisés.

Le processus pour obtenir des données de qualité requiert une démarche industrielle

La gestion de la qualité des données ou DQM (Data Quality Management) est la capacité de fournir des données de qualité pour les besoins métiers de l’entreprise. Il s’agira d’une démarche industrielle en quatre phases :

  • L’inventaire,
  • Le référentiel des données métiers de l’entreprise,
  • Les spécifications de règles d’acquisition, de validation et de contrôle,
  • Les indicateurs de suivi.

L’existant de l’entreprise est un système d’information composé d’applications, de logiciels, de bases de données. Le défi est de mener un processus exhaustif qui prend en compte tout l’existant et met en place une gestion globale et centralisée des données. Pour cela une démarche industrielle est nécessaire.

L’inventaire

Première étape l’inventaire des données, qu’elles sont-elles ? où sont-elles ? qui les utilisent ?

La description des données

Pour chaque donnée, sa description, son cycle de vie, son format. Et vérifier que cette définition pour chacune d’entre elles soit partagée par tous au sein de l’entreprise. Exemple, la notion de « client » doit être la même pour la Comptabilité, le Commercial, le Marketing et le SAV.

Les silos de données

Les applications utilisées par l’entreprise représentent autant de silos de données. Entre chaque logiciel, la définition, le format, les informations complémentaires diffèrent, voire sont incohérentes. Il sera nécessaire de centraliser toutes ces données en seul lieu, où les applications et les utilisateurs viendront les chercher.

Les consommateurs de données

Les consommateurs de données sont les services qui utilisent les données de l’entreprise. Les consommateurs sont les logiciels métiers, la plateforme EDI, les applications mobiles, les sites internet, etc… Ils doivent tous accéder au même référentiel de données.

Le référentiel des données métiers de l’entreprise

En priorité définir qu’elles seront les données de référence de l’entreprise.

Une donnée de référence est différente selon :

  • Un exploitant, une information métier structurante, exemples : un compte client pour un responsable des ventes, un compte comptable pour un chef comptable.
  • Un chef de projet métier, une donnée partagée par plusieurs processus métiers, exemple : le compte client est utilisé par les services commercial, marketing, comptable.
  • Un chef de projet informatique, une donnée utilisée dans les différentes solutions logicielles, exemples : le CRM, la Gestion Commerciale, la Comptabilité.

Ces données de référence constituent le référentiel des données de l’entreprise. Il est unique et partagé entre tous les utilisateurs et les applications logicielles de l’entreprise.

Les règles d’acquisition, de validation et de contrôles de qualité

La mauvaise qualité des données, les données fausses sont principalement la conséquence d’erreurs lors de la saisie ou de l’intégration dans le Système d’information.

De fait il sera nécessaire de mettre en place des automatismes de contrôle et de validation des données avant de les enregistrer.

Les indicateurs de suivi

Quels indicateurs pour mesurer la qualité des données ?

Le niveau de qualité peut se faire avec des mesures chiffrées comme :

  • La diminution des NPAI des campagnes marketing,
  • La réduction des erreurs EDI,

Et de façon plus subjective en constatant le niveau de confiance des utilisateurs dans les données qu’ils utilisent au quotidien.

La mise en place d’une plateforme pour enregistrer, suivre et gérer des alertes ou incidents liée à la qualité des données, est un élément qui aide à améliorer cette confiance.

Une méthode et des outils pour améliorer la qualité des données

L’entreprise dispose de méthodes et d’outils pour gérer la qualité de ses données selon son mode fonctionnement, son métier.

Le MDM ou Master Data Management

MDM ou une Gestion des Données de Référence (GDR) est un ensemble d’outils et de méthodes pour la gestion des données de référence de l’entreprise. La fonction d’un MDM est de garantir l’intégrité du référentiel des données structurantes de l’entreprise et que tous les services accèdent à tout moment à des données exactes, pertinentes et à jour.

EAI, ETL

EAI (Enterprise Application Integration) et ETL (Extract Transform Load), deux outils pour organiser et gérer les flux de data dans l’entreprise.

Les EAI pour échanger entre applications

La fonction principale d’une solution EAI est l’organisation rationnelle des échanges de données entre les différentes applications du système d’information de l’entreprise. En évitant la multiplication des sources et des saisies. En effet, toutes les applications accèdent et partagent à la même source de données.

Les ETL pour alimenter des entrepôts de données

La fonction principale d’un ETL est de charger toutes les données de l’entreprise dans un Data Wharehouse. L’ETL extrait les données des différentes applications et bases de données, les consolide et les charge dans un entrepôt de données. Elles seront dès lors accessibles à tous.

Les objectifs atteints par une gestion de la qualité des données

Avec une gestion de la qualité des données, l’entreprise atteint ses objectifs :

  • En termes d’image, la pertinence des informations lors des échanges avec les tiers de l’entreprise (clients, fournisseurs, banques, administrations) contribue fortement au sérieux et à la compétence de l’entreprise et de son personnel,
  • En termes de gains financiers, l’exactitude des données apporte plus d’efficacité et supprime les coûts directs et indirects induits par les erreurs et les correctifs,
  • En termes de sécurité, la protection des données diminue les fuites et les tentatives de fraude.

Si ce sujet vous intéresse n’hésitez pas à faire un tour sur le Blog de Tenor. Vous y trouverez des articles sur le Master Data Management, les ETL ou encore la définition d’un EAI. De même contactez nos équipes pour obtenir un diagnostic de la gestion des données dans votre entreprise.

Par ailleurs, découvrez nos solutions de data management et lancez votre projet dès aujourd’hui.

BREXIT, quelles incidences sur l’EDI et les factures ?

Les négociations sur le BREXIT sont terminées, un accord provisoire entre l’UE et le Royaume-Uni est entré en application au 1er Janvier 2021.

Pour conserver une grande fluidité dans les échanges entre le Royaume-Uni et l’UE, les Douanes ont institué une Frontière Intelligente. Cela se concrétise par le déploiement du Système d’Information « SI BREXIT » pour le traitement des déclarations douanières, des enveloppes logistiques.

Pour que leurs marchandises passent la Frontière Intelligente les entreprises doivent s’organiser en amont.

Quelles mesures doivent-elles prendre pour se conformer à cette nouvelle organisation ?

  • Utiliser les numéros EORI, les codes SH,
  • Accompagner les marchandises avec des factures commerciales,
  • Mettre à jour les systèmes EDI.

Des nouvelles codifications à utiliser dans le cadre du Brexit

Le Royaume-Uni étant à présent hors UE, les entreprises n’ayant pas encore commercé hors l’UE sont amenées à mettre à jour les données de Gestion Commerciales avec de nouvelles codifications, les numéros EORI et les codes SH.

Une Identification des entreprises, numéro EORI

Pour les entreprises exportant ou important en dehors de l’UE, un EORI (Economic Operators Registration and Identification ou numéro d’enregistrement et d’identification des opérateurs économiques) est obligatoire.

Le EORI est attribué au niveau de l’établissement son format est FR+SIRET

La demande du numéro EORI est gratuite et se fait auprès des Douanes.

Une codification des marchandises, codes SH

Toute marchandise exportée ou importée doit être identifiée avec un code SH (Système Harmonisé). Les codes SH ou codes de classification des marchandises, permettent aux services douaniers d’identifier le type de produit pour déterminer les droits de douanes, la fiscalité (TVA et taxes diverses), les formalités et réglementations à appliquer (normes de sécurité, normes phytosanitaires). Ces codes sont aussi utilisés à des fins statistiques sur le commerce extérieur. Les codes SH sont disponibles sur le site des Douanes.

Les codes SH sont également appelés codes marchandises. Ces codes permettent aux services douaniers d’identifier le type de produit et de savoir quel taux de TVA ou de droit de douane appliquer aux marchandises. Aucune marchandise ne peut être exportée ni importée sans ces codes.

La facture commerciale et le BREXIT

Une facture commerciale ou une facture pro-forma est obligatoire lors d’expédition de marchandises hors UE. Ce document, en trois exemplaires, doit accompagner physiquement la marchandise. Il est avant tout destiné aux Douanes pour identifier les marchandises et calculer les droits de douanes.

  • La facture commerciale est utilisée lorsque les marchandises sont liées à une transaction de vente et fera l’objet d’un paiement.
  • La facture pro-forma est destinée à accompagner des marchandises sans valeur commerciale, exemples : échantillons, matériel de démonstration.

Les mentions obligatoires d’une facture commerciale :

  • Numéro de facture et date,
  • Nom, adresse, n° EORI et TVA de l’émetteur et du destinataire,
  • Adresse mail et téléphone du destinataire,
  • Nombre d’articles, nombre de pièces, poids brut et net, type de conditionnement (cartons, palettes, etc.),
  • Description des marchandises, codes SH,
  • Prix par unitaire, prix global de la facture, devise,
  • Incoterm (avec le lieu de destination convenu),
  • Origine ou lieu de fabrication des marchandises,
  • Mention de l’exonération de TVA-art.262 I du CGI.

BREXIT et la mise à jour des systèmes EDI

Pour toutes les expéditions entre le Royaume-Uni et l’UE via un système EDI, des mises à niveau des données échangées devront être effectuées. Les messages ASN ou DESADV, les listes de colisage prendront en charge de nouvelles informations.

Les informations transmises par les messages devront refléter les factures commerciales. Ainsi devront être obligatoirement ajoutés ou mis à jour, les segments :

  • Identification de l’expéditeur par son EORI,
  • Identification du destinataire par son EORI ou code TVA,
  • Calcul de la valeur de la facture [Quantité du produit] * [Valeur unitaire du produit] + [Frais d’expédition],
  • Poids déclaré [Poids unitaire du produit] * [Quantité du produit] = [Poids total],
  • Description détaillée des produits et leurs codes SH.

De nombreux logisticiens, grandes entreprises, constructeurs automobiles, OEM (Original Equipment Manufacturer) mettent à jour et communiquent à leurs partenaires leurs nouvelles spécifications EDI.

Le BREXIT favorise la dématérialisation des échanges

Les systèmes et solutions EDI, les WEBEDI, la dématérialisation des factures sont autant d’atouts pour les entreprises exportatrices vers le Royaume-Uni.

La dématérialisation va permettre d’anticiper les expéditions en communicant aux Douanes, aux transporteurs, aux importateurs, les documents déclaratifs dans les délais les plus courts. Cela permettra de passer la Frontière Intelligente sans s’arrêter et de respecter les délais de livraison.

Depuis plus de trente ans Tenor accompagne ses clients dans la gestion de leurs EDI et dans la dématérialisation de leurs factures avec notamment des logiciels de facture électronique. Nos outils sont d’ores et déjà opérationnels pour le BREXIT. Contactez nos services pour plus d’informations.

EDI et Blockchain – Comment l’EDI et la Blockchain se complètent ?

EDI et Blockchain sont deux technologies amenées à se côtoyer dans les prochaines années. La Blockchain, technologie prometteuse pour beaucoup, technologie sulfureuse pour d’autres ! Peu importe, la Blockchain est depuis 2008 une réalité. Selon une étude de Linkedln Learning la Blockchain est une des compétences les plus demandées en 2020.

Selon IBM, la technologie Blockchain fait partie des technologies fondamentales de la transformation digitale des entreprises aux côtés de l’Intelligence Artificielle, de l’Internet des Objets et de la Machine Learning.

Hors la sphère des crypto-monnaies, les domaines d’applications sont nombreux, les POC (Proof Of Concept) se multiplient et aujourd’hui de premières mises en production se déploient pour tracer, pour certifier, etc…

Technologie de stockage et de transmission de l’information : certains prédisent que la Blockchain remplacera prochainement l’EDI.

EDI et Blockchain sont-ils concurrents ? L’EDI sera-t-il remplacé par la Blockchain ? L’EDI et la Blockchain sont-ils complémentaires ? Nous allons répondre à ces interrogations dans la suite de l’article.

Qu’est-ce que l’EDI ?

L’EDI est une solution de communication de données d’entreprise à entreprise. Les documents échangés par EDI sont traités par des ordinateurs et non par des personnes, ces documents électroniques doivent être normalisés.

L’EDI (Echange de Données Informatisé ou Electronic Data Exchange) est l’échange de données de système d’information à système d’information, dans des formats structurés et standardisés. L’EDI supprime les manipulations de documents, supprime les ressaisies d’informations, automatise et sécurise les transmissions entre ordinateurs et traite des volumes importants de documents et de documents d’une machine à l’autre.

Les solutions EDI permettent de dématérialiser : les échanges commerciaux et financiers entre entreprises, banques, les déclarations fiscales et sociales aux administrations.

Les bénéfices de l’EDI sont :

  • La réduction des coûts administratifs,
  • Une vitesse de traitement des informations élevées,
  • La suppression des saisies multiples sources d’erreurs et de retards,
  • La fin du papier.

Qu’est-ce que la Blockchain ?

La Blockchain est une Technologie de Registre Distribué (DLT, Distributed Ledger Technologies) conçue pour enregistrer et suivre des informations ou des transactions qui peuvent être de toutes natures, des transactions financières, des documents, des titres de propriété, etc….

La Blockchain apparue en 2008 avec le Bitcoin est une technologie de stockage, de données et de transactions.

La Blockchain peut être considérée comme une grande base de données sans administrateur.

Le mathématicien Jean-Paul Delahaye définit la Blockchain comme « un très grand cahier, que tout le monde peut lire librement et gratuitement, sur lequel tout le monde peut écrire, mais qui est impossible à effacer et est indestructible. ».

La technologie Blockchain améliore la sécurité des données et garantit des données infalsifiables et une traçabilité.

Le mode de fonctionnement de la blockchain

Chaque nouvel enregistrement inscrit dans la Blockchain est lié au précédent, et est répliqué dans les mémoires de multiples ordinateurs. Ces enregistrements sont des blocs d’informations, chaînés les uns avec les autres, d’où le nom de Blockchain « chaîne de blocs ».

Une fois entrée, l’information enregistrée, cryptée et horodatée, ne peut jamais être modifiée, écrasée ou effacée. Seule une nouvelle information corrective peut-être entrée.

C’est ainsi que la totalité de l’historique des informations peut être suivi au fil du temps y compris les tentatives de modifications. Cette fonctionnalité de traçage est la plus importante de la Blockchain.

Les bénéfices apportés par le mode de fonctionnement de la blockchain

  • La désintermédiation : le fonctionnement PtoP (Pair to Pair) sans nécessité d’organe central ou de tiers de confiance, chaque partie d’une transaction enregistre directement ses écritures,
  • La sécurité : l’architecture décentralisée et la réplication des transactions dans les mémoires de milliers de serveurs et ordinateurs rend impossible les tentatives de falsification et de destruction,
  • La transparence : toutes les transactions et leur historique sont visibles par tous.

Des études alliant EDI et Blockchain

Pour l’automobile un Système EDI automobile, pour la logistique une Solution de communication EDI BtoB, tous deux basés sur la Blockchain, les travaux de GS1 pour une convergence EDI et Blockchain.

Système EDI automobile basé sur la Blockchain

Décrit par Rahul Guhathakurta, dans « The Age of Blockchain » le concept d’un système EDI automobile basé sur la Blockchain a pour objectif d’améliorer la transparence de la chaîne logistique et de lutter contre la fraude et la contrefaçon. L’alliance de l’EDI et de la Blockchain permet une relation authentifiée entre le constructeur automobile, le fabricant d’équipement d’origine, OEM (Original Equipement Manufacturer), et le concessionnaire automobile. Chaque transaction EDI (ASN ou DESADV) vérifie dans une Blockchain l’authenticité des OEM expédiés.

Solution de partage de communication EDI BtoB

Parmi les travaux présentés à la FIATA (Fédération internationale des associations de transitaires) en 2019, une plateforme de partage de données EDI alimentée par une Blockchain. Le message EDI n’est plus transmis point à point mais transmis à un réseau de partenaires authentifiés inclus dans une Blockchain. Cette solution permet une diffusion immédiate et simultanée d’une information sécurisée, véridique à tous les tiers habilités. En ce qui concerne le commerce international, les transitaires, logisticiens, transporteurs, assureurs, douanes, exportateurs, importateurs partagent tous une seule et même information authentifiée. Cela permet d’accélérer et sécuriser les transactions financières liées à l’opération.

Les travaux de normalisation de GS1

Pour faciliter l’adoption de la Blockchain par les entreprises et le partage des informations stockées, catalogues produits, traçabilité des origines des produits, événements logistiques, GS1 travaille à promouvoir les normes GS1, ISO, EPCIS (Electronic Product Code Information Services) auprès de la communauté Blockchain.

Des défis à relever

Investissement élevé, reconnaissance juridique, manque d’interopérabilité, compétences techniques encore rares, …, restent autant de défis à relever pour une adoption de la Blockchain à une grande échelle.

Malgré un potentiel reconnu dans de nombreux cas d’utilisation, les crypto-monnaies restent les seules applications d’envergure de la Blockchain. Bien que de nombreuses entreprises et organisations travaillent sur des projets Blockchain, des défis restent encore à être relevés.

Coûts d’investissements et d’exploitation élevés

La Blockchain est une technologie encore coûteuse tant en investissement qu’en exploitation. EY estime à 600 000 $ la construction d’une plateforme Blockchain et le coût de chaque transaction reste très élevé et les perspectives de retour sur investissement sont incertaines. Cependant les évolutions technologiques actuelles laissent prévoir une nette réduction du coûts des transactions. Dès lors les retours sur investissement seront acceptables.

Reconnaissance juridique

La reconnaissance juridique des transactions sur les Blockchain donne encore lieu à des discussions entre états et organisations mondiales. Plusieurs états des Usa, la France, La Chine reconnaissent les transactions sur les Blockchain dans leurs législations. L’OMC, Organisation Mondiale du Commerce, propose des directives liées à l’adoption de la Blockchain par le commerce électronique.

Manque d’interopérabilité

Les différentes Blockchain qui vont voir prochainement le jour devront être interopérables comme tous systèmes de réseau. Dès maintenant GS1, Microsoft, IBM travaillent dans ce sens.

Compétences techniques

La demande de compétences Blockchain augmente fortement, il s’agit d’une compétence les plus demandées en 2020. De nombreux ingénieurs informatiques sont dans des formations liées à la Blockchain. Les compétences seront bientôt sur le marché de l’emploi.

L’EDI et la Blockchain, le futur des échanges inter-entreprises

« L’EDI ne disparaîtra pas », l’EDI et la Blockchain se complètent pour faciliter le passage à une nouvelle organisation des Supply Chain vers des SupplyChain 4.0

Pour résumer simplement, un système EDI basé sur la Blockchain va améliorer la diffusion de l’information.

Non seulement l’EDI conserve ses fonctions d’échanges d’informations entre machines pour leurs traitements par les applications métiers. Et de plus avec la Blockchain l’information échangée sera authentifiée comme véridique et aussi partagée en totalité ou partiellement à l’extérieur de l’entreprise auprès des tiers habilités à accéder à la Blockchain.

La question est sous quelle échéance une prochaine génération d’EDI basé sur la Blockchain remplacera les protocoles EDI actuels pour une nouvelle organisation des SupplyChain ?

Depuis plus de 30 ans Tenor accompagne ses clients dans leur transformation numérique. De fait nous proposons des solutions EDI en SaaS, OnPremise et même en WebEDI. Si le sujet vous intéresse, n’hésitez pas à parcourir cet excellent article sur la différence entre Web EDI et EDI en SaaS ou encore celui sur les avantages du webEDI.