Transcodification

Nous désignons par "Transcodification" le besoin de faire correspondre des codes provenants de deux systèmes différents. Une entité sera par exemple identifiée de manière unique par un ou plusieurs codes dans un premier système (exemple : prénom, nom et date de naissance) et d'autres identifiants dans un autre système (exemple : n° de sécurité sociale). Pour interconnecter l'entité (exemple : Personne) dans les deux systèmes il est nécessaire de mettre en place une table de correspondance des codifications.

Problématique

L'objectif est de garantir que le tableau de correspondance est à jour et complet. Les points à prendre en compte sont notamment les suivants :

• Récupérer les nouveaux codes des deux systèmes dans les meilleurs délais,
• Identifier les codes non transcodifiés du premier système et du deuxième système : "les isolés",
• S'assurer qu'il n'y a pas de doublons, à savoir, un code du système (1) mis en correspondance avec deux ou plusieurs codes du système (2) et inversement : "les dupliqués",
• Offrir une interface de gestion avec des filtres et des tris pour regrouper les correspondances, les isolés et les dupliqués,
• Et éventuellement d'autres fonctions pour augmenter l'efficacité :
  
  • Alerter l'administrateur de la correspondance (mail avec les listes des isolés et des dupliqués),
  • Mettre en place un traitement de génération automatique de la correspondance (si une règle peut être programmée).

Utilisation de DataStudio pour la transcodification

L'utilisation du DataStudio offre plusieurs avantages :

• Accès direct aux deux sources de données,
• Traitements préalables à la transcodification :
  
  • Extraire les nouvelles clés,
  • Dédoublonner les clés,
  • Alerter l'administrateur de l'arrivée de nouvelles clés.
• Utilisation du module de DataStudio Matching :
  
  • Mise en oeuvre graphique du Matching,
  • Matching de N colonnes avec M colonnes,
  • Identification des clés isolées d'un côté et de l'autre,
  • Identification des clés dupliquées dans la table de transcodification (non bijectif),
  • Définition de la précision pour les floats et les dates,
  • Traitement de volumes importants sans saturation des ressources machines,
  • Génération automatique des tables de résultats du matching avec colonnes clés d'origine (pour exploitation dans des traitements en aval),
  • Présentation des résultats dans une interface dédiée,
  • Consultation et maintenance des matchings graphiquement,
• Post-taitements à la transcodification :
  
  • Générer automatiquement des transcodifications (si un algorithme est disponible),
  • Alerter l'administrateur des clés isolées et des clés dupliquées.

Exemple de transcodification

Paramétrage graphique de la transcodification côté gauche

Paramétrage graphique de la transcodification côté droit

Tables résultats générées automatiquement avec les noms des colonnes d'origines exploitables directement dans des interfaçes de gestion à développer

Suivi des résultats du Matching dans les interfaces DataStudio

Exemple d'interface pour gérer la transcodification