Calcul de la similarité
Comparez deux textes, chaînes ou jeux de tokens avec plusieurs méthodes reconnues, Jaccard, Dice, Cosinus et Levenshtein normalisé. Obtenez un score en pourcentage, une interprétation métier et une visualisation immédiate.
Visualisation du score
Le graphique met en perspective la similarité, la différence estimée et quelques indicateurs intermédiaires utiles.
Calculateur interactif de similarité
Comprendre le calcul de la similarité
Le calcul de la similarité consiste à mesurer à quel point deux éléments se ressemblent. En pratique, il peut s’agir de deux mots, de deux phrases, de deux documents, de deux fiches produits, de deux adresses, de deux séquences biologiques ou même de deux profils de données. Cette notion paraît simple, mais elle dépend fortement de la méthode retenue. Une similarité de 80 % peut signifier une proximité lexicale forte, un faible nombre de modifications orthographiques, ou encore un recouvrement partiel du vocabulaire. C’est précisément pour cette raison qu’un bon calculateur doit proposer plusieurs modèles de mesure.
Dans les usages professionnels, le calcul de la similarité sert à détecter des doublons, rapprocher des fiches clients, vérifier des variations de noms, faire de la recherche documentaire, améliorer un moteur de recommandation, comparer des descriptions de produits, repérer des versions proches d’un texte et construire des systèmes de classification. Dans le référencement, il aide à repérer des contenus trop proches. En data quality, il contribue à la déduplication. En intelligence artificielle, il joue un rôle central dans la recherche sémantique et l’analyse de corpus.
Les principales méthodes disponibles dans ce calculateur
1. Similarité de Jaccard
La similarité de Jaccard compare l’intersection et l’union de deux ensembles. Si l’on transforme deux textes en ensembles de mots uniques, la formule est simple : taille de l’intersection divisée par taille de l’union. Cette méthode ignore les répétitions et se concentre sur les éléments communs. Elle fonctionne très bien pour comparer des tags, des mots-clés, des listes d’attributs ou des textes courts lorsque la présence d’un terme compte davantage que sa fréquence.
- Valeur comprise entre 0 et 1.
- 0 signifie aucun recouvrement.
- 1 signifie que les deux ensembles sont identiques.
- Très utile pour la détection de proximité lexicale brute.
2. Coefficient de Dice
Le coefficient de Dice, parfois appelé Sorensen-Dice, ressemble à Jaccard mais double le poids de l’intersection dans la formule. Il se calcule ainsi : deux fois l’intersection divisée par la somme des tailles des deux ensembles. En pratique, Dice donne souvent des scores un peu plus élevés que Jaccard pour les mêmes données. Il est apprécié dans les applications de comparaison textuelle rapide, notamment sur des jeux de tokens limités.
- Très intuitif pour comparer deux listes de mots.
- Souvent plus généreux que Jaccard.
- Pertinent pour les systèmes de matching souples.
3. Similarité cosinus
La similarité cosinus s’appuie sur les fréquences des termes. Plutôt que de regarder seulement si un mot existe ou non, elle compare les vecteurs de fréquence. Si deux textes utilisent les mêmes mots avec des poids proches, le cosinus se rapproche de 1. Cette méthode est très présente en recherche d’information, en traitement automatique du langage et en scoring de documents. Pour des textes de longueur différente, elle reste souvent plus robuste qu’une simple comparaison d’ensembles.
- Mesure l’angle entre deux vecteurs de fréquence.
- Très utile lorsque la répétition de certains termes compte.
- Souvent choisie pour comparer paragraphes, descriptions et corpus documentaires.
4. Similarité de Levenshtein normalisée
La distance de Levenshtein compte le nombre minimal d’opérations nécessaires pour transformer une chaîne en une autre : insertion, suppression ou substitution. Pour obtenir une similarité, on normalise cette distance par la longueur maximale des deux chaînes, puis on retire ce ratio à 1. Cette approche est redoutablement efficace pour détecter les fautes de frappe, les variantes orthographiques et les saisies presque identiques. Elle est particulièrement pertinente pour les noms de personnes, les références, les villes, les codes et les titres courts.
- Calculer la distance d’édition minimale.
- Diviser cette distance par la longueur maximale.
- Soustraire le résultat à 1 pour obtenir un score de similarité.
Interpréter correctement un score de similarité
Beaucoup d’utilisateurs cherchent un seuil universel. En réalité, il n’existe pas de valeur parfaite valable dans tous les contextes. Un score de 0,85 sur des noms d’entreprises peut être excellent. Le même score sur des fiches produits techniques peut être insuffisant si les risques de faux positifs sont élevés. Il faut donc calibrer les seuils à partir du métier, du volume de données et du coût de l’erreur.
| Plage de score | Interprétation fréquente | Usage conseillé |
|---|---|---|
| 0 % à 25 % | Faible ressemblance | Documents ou chaînes très différents, à exclure dans une logique de rapprochement. |
| 26 % à 50 % | Proximité limitée | Peut signaler quelques mots communs, mais pas assez pour une fusion automatique. |
| 51 % à 75 % | Ressemblance modérée | Zone d’examen manuel, surtout pour les noms, adresses ou contenus paraphrasés. |
| 76 % à 90 % | Forte similarité | Très bon candidat pour déduplication assistée ou rapprochement semi-automatique. |
| 91 % à 100 % | Quasi-identité | Excellent signal pour doublons, variantes mineures ou fautes de saisie simples. |
Exemples chiffrés avec statistiques comparatives
Pour illustrer le comportement des méthodes, voici une série de comparaisons calculées sur des cas réels de variation textuelle. Les valeurs suivantes montrent qu’un même couple de chaînes peut produire des scores différents selon la métrique choisie. C’est normal, car chaque algorithme capture un aspect spécifique de la ressemblance.
| Paire comparée | Jaccard | Dice | Cosinus | Levenshtein normalisé |
|---|---|---|---|---|
| “machine learning” / “machine learning” | 100 % | 100 % | 100 % | 100 % |
| “analyse de données” / “analyse des données” | 50 % | 66,7 % | 81,6 % | 94,4 % |
| “Paris” / “Pari” | 80 % en caractères | 88,9 % en caractères | 89,4 % en caractères | 80 % |
| “chat noir canapé bleu” / “chat sombre canapé bleu” | 60 % | 75 % | 75 % | 72,7 % |
| “Université de Lyon” / “Universite de Lyon” | 66,7 % en mots | 80 % en mots | 81,6 % en mots | 94,1 % |
Ces statistiques mettent en évidence un point essentiel. Lorsque la variation est orthographique, Levenshtein peut être le meilleur choix. Lorsque le vocabulaire se recouvre sans être strictement identique, Cosinus, Jaccard ou Dice deviennent plus informatifs. Dans les systèmes de production, il est courant de combiner plusieurs scores, puis d’appliquer des règles métier ou un modèle de classification.
Mode mots ou mode caractères, lequel choisir ?
Le choix du niveau de découpage influence fortement le résultat. En mode mots, le système compare des tokens entiers. Cela convient pour des phrases, des résumés, des titres ou des descriptions. En mode caractères, il examine les lettres individuelles. Cette option est utile pour les noms propres, les références, les petites chaînes et la détection de coquilles. Si vous comparez des textes longs, le mode mots reste généralement plus lisible. Si vous traitez des identifiants ou des libellés courts, le mode caractères peut offrir un signal plus fin.
- Noms de clients : souvent Levenshtein en caractères.
- Descriptions produit : souvent Cosinus en mots.
- Listes d’attributs : souvent Jaccard.
- Tags et catégories : Jaccard ou Dice.
- Titres proches : Levenshtein + Cosinus.
- Corpus documentaires : Cosinus, parfois embeddings sémantiques avancés.
Bonnes pratiques pour obtenir un score fiable
Nettoyer les données avant la comparaison
Une comparaison brute peut être trompeuse si les chaînes contiennent des majuscules, de la ponctuation ou des espaces parasites. C’est pour cela que ce calculateur propose des options de normalisation. Dans un processus industriel, on va souvent encore plus loin, en supprimant les accents, en harmonisant les abréviations, en remplaçant certaines variantes connues et en standardisant les dates ou les unités.
Définir des seuils basés sur des tests réels
Le meilleur seuil n’est pas théorique, il est empirique. Constituez un échantillon de paires connues, identiques, proches, ambiguës et différentes. Appliquez ensuite votre méthode et observez la distribution des scores. Vous pourrez alors fixer un seuil de validation automatique, un seuil de revue manuelle et une zone d’exclusion. Cette approche réduit le risque de faux positifs et de faux négatifs.
Ne pas confondre similarité lexicale et similarité sémantique
Deux textes peuvent être très proches dans leur sens tout en partageant peu de mots, par exemple grâce à des synonymes ou des reformulations. Inversement, deux phrases peuvent contenir beaucoup de termes communs mais exprimer des intentions opposées. Les méthodes présentées ici sont surtout lexicales ou structurelles. Pour aller plus loin, les organisations utilisent parfois des modèles d’embeddings ou des représentations sémantiques plus avancées.
Applications concrètes du calcul de similarité
- Déduplication CRM : repérer “Société Martin SARL” et “Societe Martin Sarl”.
- E-commerce : détecter des fiches produits presque identiques publiées sous des variantes mineures.
- SEO et contenu : identifier des pages très proches ou des descriptions réécrites faiblement.
- Moteurs de recherche : classer des documents par proximité de vocabulaire.
- Support client : rapprocher des tickets similaires pour automatiser les réponses.
- Bioinformatique : comparer des séquences ou des motifs, avec des méthodes adaptées au domaine.
Limites à connaître
Aucune métrique n’est parfaite. Jaccard et Dice ne tiennent pas compte de l’ordre des mots. Cosinus dépend des fréquences mais ne comprend pas nécessairement le sens. Levenshtein devient moins informatif sur des textes longs où de nombreuses permutations sont possibles. De plus, les langues naturelles posent des défis spécifiques, comme la flexion, la synonymie, les variantes régionales, les accents, les abréviations ou les erreurs de segmentation.
En pratique, les équipes avancées combinent prétraitement linguistique, plusieurs métriques et validation métier. Dans certains cas, elles ajoutent un référentiel externe, un dictionnaire de synonymes ou un modèle d’apprentissage supervisé. Le bon calcul n’est donc pas seulement mathématique, il dépend aussi de la qualité des données et des objectifs opérationnels.
Repères académiques et institutionnels utiles
Si vous souhaitez approfondir le sujet, ces ressources institutionnelles sont particulièrement utiles :
- Stanford University, Introduction to Information Retrieval
- NIST, National Institute of Standards and Technology
- Cornell University, Computer Science resources
Conclusion
Le calcul de la similarité est un outil fondamental pour comparer, rapprocher, classer et nettoyer des données. Le choix de la méthode doit toujours refléter votre besoin réel. Pour les listes de mots, Jaccard et Dice sont souvent suffisants. Pour les fréquences documentaires, Cosinus est un classique robuste. Pour les fautes de frappe et les variantes courtes, Levenshtein normalisé est très performant. Le plus important est de tester les approches sur vos données réelles, puis d’ajuster vos seuils de décision.
Utilisez le calculateur ci-dessus pour explorer rapidement le comportement de chaque méthode. En comparant plusieurs scores sur les mêmes entrées, vous verrez immédiatement quel indicateur capture le mieux votre notion de ressemblance.