La recherche et l'élimination de ces doubles est une opération extrêmement complexe, qui à elle seule fait l'objet de logiciels spécifiques compliqués et coûteux.

De plus la méthode à utiliser dépend grandement :

. de la nature de la base de données (entreprises, particuliers, …)

. des informations disponibles et de leur normalisation. Par exemple dans le cas d'un fichier d'entreprises, si on dispose du N° Siret bien renseigné, il suffira d'exploiter ce seul critère.

L'objet de cet article est de présenter les solutions simples mais néanmoins très efficaces proposées par Déclic pour le dédoublonnage de fichiers.

Un doublon est un ensemble de fiches (généralement 2 mais parfois plus) qui correspondent à la même entité. Par entité on entend le référent de la fiche qui peut être :
. une entreprise (ou subdivision de l'entreprise lorsque l'entreprise est segmentée sur plusieurs fiches) pour les bases d'entreprises
. une famille ou un individu pour les bases de particuliers
. un livre, fichier informatique, film, site internet pour les bases documentaires.

Les fiches (2 ou plus) constituant un couple (ou un ensemble) de doublons peuvent se trouver dans la même base de données ou dans des bases distinctes.

Nota: Si on souhaite rechercher les doublons dans plusieurs bases de données à la fois, il faudra commencer par créer une base de regroupement (par importations successives) contenant un champ "base origine". Ce champ permettra, après dédoublonnage, de restituer (par exportations successives) les bases de départ.

La qualité du dédoublonnage repose essentiellement sur la normalisation des informations concernées, principalement, les raisons sociales (ou nom et prénom pour les particuliers), les N° de téléphones et fax, les adresses rue et les adresses ville, l'email,….

2.2.1.1 Normalisation des Raisons Sociales
La normalisation des Raisons Sociales est difficilement compatible avec l'esthétique de ces dernières, esthétique particulièrement importante pour les courriers.
Aussi a t-il été retenu de normaliser les raisons sociales dans une zone annexe dite "Zone Doublon". Cette normalisation consiste essentiellement à :
. convertir en majuscule
. supprimer tous les accents
. supprimer tous les articles (LE, LA, LES, DE, DU, …)
. supprimer la ponctuation
. supprimer tous les mots non significatifs : "SOCIETE", "SOC", "STE", "SA",
. remplacer plusieurs espaces consécutifs par un seul.
Ainsi tous les intitulés suivants :
"l'Air Liquide, "AIR LIQUIDE S.A.", "Société l'Air Liquide", "Ste. Air Liquide"
sont normalisés de la même façon en "AIR LIQUIDE" et considérés comme des doublons si les adresses correspondantes (ou plus précisément les codes postaux) sont identiques.
Déclic dispose ainsi d'une méthode simple et très efficace de normalisation des Raisons Sociales.

Nota: Tous les mots non significatifs sont contenus dans la table "Mots_ignorés_doublons" de la base "Commune.dec". Cette table peut être mise à jour, ce qui permet d'adapter le traitement des doublons à différentes situations (bases de particuliers, bases documentaires)

2.2.1.2 Normalisation des Adresses Rue
Cette normalisation consiste à identifier et à séparer dans l'adresse rue :
. le ou les numéros (par ex. 33 - 35)
. la voie (par ex. rue, impasse, allée, …)
. le nom de la voie (par ex. Victor Hugo)

Déclic dispose d'un programme de normalisation d'adresse rue, utilisant une table de voies et permettant de normaliser plus de 90 % des adresses rue. Les adresses rue qui n'ont pas pu être complètement normalisées sont repérées par la coche blanche * pour permettre une vérification et un traitement manuel ultérieur.

Nota: Cette normalisation simple est une préparation à la normalisation complète des adresses rue, consistant à vérifier la présence des voies et noms de voie dans les localités. Cette normalisation complète suppose l'utilisation de l'énorme table, en constante évolution, de toutes les voies pour toutes les localités françaises.

2.2.1.3 Normalisation des Adresses Ville
Elle consiste à établir la concordance entre le code postal à 5 chiffres et le libellé de la localité.

A la saisie des adresses il est possible d'assurer cette concordance, grâce à la table complète des codes postaux ** nationaux qui est maintenant disponible. Un double clic dans la zone Ville permet d'obtenir et de saisir le code postal de la localité figurant dans cette zone. De même un double clic dans la zone code postal permet d'obtenir la (ou les) localité correspondant au code postal indiqué.
Pour signaler ces possibilités, le curseur se transforme en timbre au passage sur ces zones.

Par ailleurs, d'ici la fin de l'année 2000, une nouvelle fonction permettra la vérification et la normalisation systématique de toutes les adresses ville de la base de données active, à l'aide de la nouvelle table des codes postaux nationaux.
Les fiches dont l'adresse ville n'aura pu être complètement normalisée seront repérées par la coche blanche * pour permettre une vérification et un traitement manuel ultérieur.

* Nota: La coche blanche est particulièrement bien adaptée à ce type de vérification en raison des 2 boutons de défilement (situés de chaque côté) qui permettent de parcourir facilement toutes les fiches à vérifier. De plus cette coche correspond à des repérages temporaires et son contenu antérieur peut donc être généralement perdu sans inconvénient.

** Nota : Des tables des Codes Postaux Suisse et Belge sont également disponibles.

2.2.1.4 Normalisation des N° de Téléphone et Fax
Déclic dispose d'un programme de normalisation de tous les N° des Fiches (quelles que soient les zones qui les contiennent) sous la forme conseillée 99.99.99.99.99 ou à défaut 99 99 99 99 99. Cette seconde norme présente l'inconvénient de ne pas toujours permettre une numérotation automatique par un double clic (la zone sélectionnée pour la numérotation étant délimitée par les 1^ers espaces devant et derrière le curseur).
Cette normalisation des numéros de téléphone permet une excellente détection des doublons, les N° de téléphone constituant une très bonne codification des fiches.

2.3.1 La fonction "Exportation vers Tableur" suivant un modèle, des fiches repérées.
Le modèle permet de spécifier les champs concernés par le dédoublonnage, généralement ceux concernant la raison sociale, l'adresse, le téléphone, le fax, l'email. Il est conseillé d'ajouter en première position du modèle le N° de fiche suivi de la coche blanche * afin de pouvoir ensuite, par une mise à jour, repérer dans la base de données les fiches en doublon.
Dans le tableau obtenu, on pourra, pour rechercher les doublons, utiliser toutes les possibilités offertes par le tableur (tris, fonctions, macros, programmes Visual Basic Application)

2.3.2 La fonction "Table, suivant un modèle, des fiches repérées"
Cette fonction permet une exploitation, en mode tableur, d'une Base de Données Déclic. Le mode tableur est beaucoup mieux adapté que le mode fiche à la recherche des doublons puisqu'il permet de visualiser les informations de plusieurs fiches (ou lignes) du tableau à la fois. On pourra utiliser un modèle identique à celui décrit au paragraphe précédent.

2.3.3 La nouvelle fonction "Sélection des doubles" suivant une colonne dans une table
Après un tri suivant une colonne, cette nouvelle fonction permet de sélectionner (ou afficher sur fond bleu) les lignes dont les contenus de la colonne sont identiques.
Couplée avec la fonction précédente "Table, suivant un modèle, des fiches repérées" cette fonction permet de visualiser les lignes de même raison sociale, même téléphone, même fax, ce qui peut, très notablement, faciliter la recherche de doublons.

2.3.4 La nouvelle fonction "Repérage des doublons sur la raison sociale" et le code postal
Cette nouvelle fonction, qui utilise la normalisation des Raisons Sociales, est en cours de test et sera décrite dans Déclic N°4

2.3.5 La nouvelle fonction "Repérage des doublons sur les N° de téléphone & fax"
Cette nouvelle fonction est également en cours de test et sera décrite dans Déclic N°4.