La gestion des données

Diapositive 1 - Nettoyage des données

Dans cette présentation, nous allons examiner les principes et les processus essentiels à une gestion efficace des données.

Photo: GBIF: https://www.gbif.org/occurrence/2597778861 Passiflora miniata Vanderpl. Titulaire des droits: Gee (Gerard Chartier) Licence: http://creativecommons.org/licenses/by/4.0/ Référence: https://www.flickr.com/photos/33212211@N00/49747811713/

Diapositive 2 - Concepts clés

La notion de gestion des données recouvre un large éventail de thèmes, allant des formats de métadonnées à l’organisation des bases de données. Dans cette présentation, nous aborderons un ensemble de principes essentiels pour améliorer la qualité des données grâce aux processus de nettoyage des données.

Photo: GBIF: https://www.gbif.org/occurrence/2563595544 Passiflora miniata Vanderpl. Titulaire des droits : onidiras Licence: http://creativecommons.org/licenses/by-nc/4.0/ Référence: https://www.inaturalist.org/photos/60268318

Diapositive 3 - Qu’est-ce que le nettoyage des données ?

Qu’est-ce que le nettoyage des données?   Arthur Chapman a défini le nettoyage des données en 2005 comme suit:   « Un processus visant à identifier les données inexactes, incomplètes ou non plausibles, puis à en améliorer la qualité en corrigeant les erreurs et les omissions détectées. »   Le processus de nettoyage peut inclure des vérifications du formatage, de l’exhaustivité et du caractère raisonnable des données, l’identification des valeurs aberrantes, l’examen par des experts en la matière et la validation par rapport aux normes, règles et conventions acceptées.

Photo : GBIF: https://www.gbif.org/occurrence/2574258605 Pycnonotus xanthorrhous Anderson, 1869 Titulaire des droits : benjamynwell Licence: http://creativecommons.org/licenses/by-nc/4.0/ Référence: https://www.inaturalist.org/photos/61712704

Diapositive 4 - Le cadre de nettoyage des données

Bien qu’il y ait beaucoup de méthodes qui peuvent être appliquées pour le nettoyage des données, nous voyons le processus de nettoyage en cinq étapes générales: . Tout d’abord, nous cherchons à déterminer et à définir les types d’erreurs qui sont les plus susceptibles d’être présentes dans nos données. . Ensuite, nous effectuons une recherche pour identifier les cas où ces erreurs se sont produites. . Ensuite, nous corrigerons ces erreurs, dans la mesure du possible. . Lorsque nous déterminons la meilleure façon d’apporter des corrections, nous souhaitons consigner à la fois les types d’erreurs que nous détectons et les solutions que nous y avons apportées. . Enfin, nous souhaitons modifier les pratiques de saisie des données afin de réduire les erreurs futures de même nature.  Source : Maletic J.I., Marcus A. (2005) « Data Cleansing ». Dans : Maimon O., Rokach L. (éd.) Data Mining and Knowledge Discovery Handbook. Springer, Boston, MA, https://doi.org/10.1007/0-387-25465-X_2

Photo : GBIF: https://www.gbif.org/occurrence/2563614792 Parthenos sylvia Rights holder: onidiras Licence : http://creativecommons.org/licenses/by-nc/4.0/ Référence : https://www.inaturalist.org/photos/60365988

Diapositive 5 - Pourquoi nettoyer les données ?

Une chose est certaine: les erreurs sont courantes et nos données en contiendront toujours.  Notre objectif est donc d’appliquer les principes, les méthodes et les outils recommandés afin de rendre ces données aussi adaptées que possible aux différents usages, même si nous ne savons pas comment elles seront utilisées.

Photo: GBIF: https://www.gbif.org/occurrence/2634008550 Calotes emma Gray, 1845 Titulaire des droits : Brieuc Fertard Licence: http://creativecommons.org/licenses/by-nc-nd/4.0/ Référence: https://www.inaturalist.org/photos/65219025

Diapositive 6 - Principes du nettoyage des données

Examinons quelques principes recommandés pour le nettoyage des données. Ils vous aideront à élaborer et à améliorer votre propre processus de gestion de la qualité des données. Ce processus doit être aussi simple et efficace que possible, tout en tenant compte des ressources et des compétences de votre institution.  Échangez avec vos collègues sur leurs méthodes, puis adaptez votre processus afin d’atteindre vos objectifs en matière de qualité des données.

Photo: GBIF: https://www.gbif.org/occurrence/2444972450 Ranina ranina Linnaeus, 1758 Titulaire des droits : Ondřej Radosta Licence : http://creativeco…​ses/by-nc-sa/4.0/ Référence : https://www.inaturalist.org/photos/43974229

Diapositive 7 - Principes du nettoyage des données

Les deux premiers principes du nettoyage des données sont la planification et l’organisation.  Commencez par préparer un plan clair. Une méthode désordonnée risque de produire des résultats incohérents. Choisissez une stratégie adaptée aux ressources et aux compétences de votre institution.  Une bonne planification améliorera la qualité des données et la confiance des utilisateurs. Organisez ensuite les données, par exemple par taxon, zone géographique, type d’enregistrement (basisOfRecord) ou lots numérotés. Vous pourrez ainsi confier chaque groupe aux personnes les plus qualifiées pour le nettoyer. Appuyez-vous sur les points forts de votre institution.

Image: Open License from Pixabay

Diapositive 8 - Principes du nettoyage des données

Comme le dit Arthur Chapman : « Mieux vaut prévenir que guérir. » Il est toujours plus simple et moins coûteux d’éviter une erreur que de la rechercher et de la corriger. Plus vous préparez le travail en amont, dès la collecte des données sur le terrain, moins vous risquez de rencontrer d’erreurs. L’utilisation de vocabulaires standardisés et de procédures claires pour la capture et la saisie des données fait partie des nombreux moyens permettant de prévenir les erreurs.

Assurez-vous que toutes les personnes de votre institution comprennent que la qualité des données est une responsabilité partagée. Les personnes qui gèrent les données en sont les principales responsables, mais tous ceux qui les collectent, les saisissent, les vérifient ou les utilisent doivent les traiter avec soin. Cela concerne aussi bien les techniciens de terrain que les étudiants chargés de la saisie et les curateurs expérimentés. Chacun doit également signaler toute erreur ou incohérence qu’il remarque.

Image: Open License from Pixabay

Diapositive 9 - Principes du nettoyage des données

La gestion des données dépend des compétences mobilisées, et personne ne peut tout connaître dans tous les domaines. Collaborer avec les utilisateurs des données et les spécialistes peut donc améliorer le processus de contrôle de la qualité. Faites appel à votre communauté d’utilisateurs, au sein comme à l’extérieur de votre institution, et travaillez avec elle afin de maintenir vos données au meilleur niveau de qualité possible.

Définissez les priorités de nettoyage en fonction des ressources et des connaissances disponibles dans votre institution. Vous pouvez, par exemple, commencer par vérifier les données recueillies par des collecteurs encore en vie, afin de recueillir leurs précisions avant que des informations importantes ne soient perdues. Si vous gérez un grand jeu de données, traitez d’abord les données qui peuvent être nettoyées automatiquement et à moindre coût, puis les erreurs plus complexes qui nécessitent une vérification individuelle. Donnez la priorité aux données les plus importantes pour votre institution et avancez de manière logique et organisée.

Image: Open License from Pixabay

Diapositive 10 - Principes du nettoyage des données

Il peut être utile de définir des indicateurs de performance avant de commencer le nettoyage. Vous pouvez, par exemple, fixer l’objectif de nettoyer 500 enregistrements par semaine. Vous pouvez aussi mesurer la qualité des corrections effectuées, par exemple : « Parmi les géoréférences corrigées cette semaine,  95 % présentent désormais une incertitude inférieure à 1 000 mètres.  » Ces indicateurs guident les personnes chargées du nettoyage et permettent de présenter les progrès accomplis ainsi que les points à améliorer.   Idéalement, votre plan de gestion des données doit être aussi efficace que possible. Pour l’optimiser, appuyez-vous sur les points forts de votre institution, fixez des objectifs clairs et mesurables, puis adaptez régulièrement vos priorités aux ressources disponibles.

Image: Open License from Pixabay

Diapositive 11 - Principes du nettoyage des données

L’un des meilleurs moyens d’évaluer l’efficacité de vos processus de nettoyage et de gestion des données est de demander l’avis des utilisateurs de votre communauté. Vous pouvez le faire dans le cadre des collaborations déjà mentionnées, mais aussi par d’autres moyens. Vous pouvez notamment examiner la manière dont le GBIF présente vos données. Il est possible de comparer les données originales publiées avec les données interprétées, corrigées ou mises à jour par le GBIF. Cette comparaison peut vous aider à améliorer votre processus de nettoyage. En retour, vos commentaires d’expert peuvent aussi aider le GBIF à améliorer ses propres méthodes de contrôle de la qualité des données.

L’un des meilleurs moyens d’améliorer le nettoyage des données est de former toutes les personnes qui travaillent avec celles-ci. Vous pouvez organiser vos propres formations, collaborer avec d’autres institutions pour proposer des formations locales ou régionales, ou participer aux ateliers et aux cours offerts par des organisations comme le GBIF. Si vous avez besoin d’une formation, consultez régulièrement le site web du GBIF. Vous pouvez également contacter les mentors de la communauté GBIF ou les Ambassadeurs des données ouvertes sur la biodiversité, qui pourront vous informer des possibilités de formation disponibles.

Image: Open License from Pixabay

Diapositive 12 - Principes du nettoyage des données

La documentation est l’un des principes les plus importants du nettoyage des données, et ce, pour deux raisons principales.

Premièrement, quelles que soient les méthodes utilisées pour gérer vos données, vous devez expliquer clairement comment les erreurs sont détectées et corrigées. Pour garantir cette transparence, le processus de nettoyage doit être bien documenté. Sans une documentation claire et accessible, vous risquez de perdre les bonnes pratiques, de répéter inutilement certaines tâches et de réduire l’efficacité du processus. Une bonne documentation permet également d’éviter que les mêmes erreurs se reproduisent.

La documentation est également essentielle à la qualité des données. De bonnes métadonnées permettent aux utilisateurs de déterminer si vos données sont adaptées à leurs besoins. Votre documentation doit aussi présenter les bonnes pratiques appliquées, les vocabulaires normalisés ainsi que les référentiels taxonomiques et géographiques utilisés. Indiquer quelles données ont été nettoyées, et par qui, vous aidera à améliorer le processus, à suivre les objectifs fixés et à retracer clairement l’origine des données ainsi que les améliorations apportées au fil du temps.

Image: Open License from Pixabay

Diapositive 13 - Conclusion

Ce document fait partie d’une série de présentations utilisées dans le cadre du cours sur la mobilisation des données sur la biodiversité du GBIF. Le programme de mobilisation des données sur la biodiversité a été développé à l’origine dans le cadre du programme de développement de l’information sur la biodiversité financé par l’Union européenne.

Cette présentation a été initialement élaborée par Nestor Beltran, avec la contribution de David Bloom, ainsi que des formateurs, mentors et étudiants du BID et du BIFA.

Diapositive 1 - Gestion des données - Outils

Dans cette présentation, nous découvrirons l’importance des outils logiciels permettant de gérer, de nettoyer et de standardiser vos données.

Image d’https://pixabay.com/illustrations/developer-programmer-technology-3461405/ [Mudassar Iqbal^] sur Pixabay

Diapositive 2 – Importance de la maintenance des données

La qualité des données intervient à toutes les étapes de leur mobilisation. Dans votre équipe, assurez-vous qu’une personne compétente soit responsable de leur maintenance et de leur traitement. Dans la pratique, les données sont souvent désordonnées, présentées dans des formats différents ou saisies de manière incohérente. Il est donc nécessaire de les nettoyer, de les transformer et de les standardiser afin qu’elles soient faciles à comprendre et adaptées aux besoins des utilisateurs.

Lorsque vous transformez des données (par exemple, en fusi. onnant des colonnes, en convertissant des coordonnées, en modifiant le système de référence, etc.), veillez toujours à documenter chaque modification et à conserver une copie des données originales afin de pouvoir les restaurer si nécessaire.

Photo : Anas crecca subsp. crecca, observée au Japon par Yoshi.K. CC BY-NC 4.0

Diapositive 3 – Éléments à prendre en compte pour choisir un outil

Comme indiqué dans la section consacrée aux logiciels du cours Fondations, plusieurs critères doivent être pris en compte lors du choix d’un outil : son prix, sa facilité d’utilisation, la documentation et l’assistance disponibles, ainsi que les exigences techniques nécessaires à son fonctionnement. Aucun outil n’est parfait. L’essentiel est de trouver le bon équilibre et de choisir celui qui répond le mieux à vos besoins.

Photo : Asota egens subsp. confinis Rothschild, 1897. Observée au Japon par Takaaki Hattori CC BY 4.0

Diapositive 4 – Éléments à prendre en compte pour choisir un outil

Vous n’êtes pas obligé d’utiliser les mêmes outils que vos collègues, sauf si votre institution en impose certains. Choisissez avant tout ceux qui vous aident à atteindre les objectifs de votre institution. Constituez donc un ensemble d’outils adaptés, qui vous aideront, vous et vos collègues, à travailler aussi efficacement que possible.

Photo : Crepidiastrum lanceolatum (Houtt.) Nakai, observé au Japon par Takaaki Hattori CC BY 4.0

Diapositive 5 – Critères techniques de base

Parmi les critères techniques à prendre en compte lors du choix d’un outil figurent les formats de fichiers qu’il peut importer et exporter.

L’outil permet-il d’importer et d’exporter des fichiers standardisés utilisant des délimiteurs ?

Est-il possible de sélectionner un encodage (par exemple UTF-8) lors de l’ouverture ou de l’enregistrement de fichiers afin d’éviter les problèmes d’encodage liés aux caractères spéciaux ?

Photo : Conus (Virroconus) ebraeus Linnaeus, 1758. Observé au Japon par Robert Guralnick CC BY 4.0

Diapositive 6 - Outils - données sur la biodiversité

Dans le module "Fondations", vous avez découvert une liste d’outils logiciels recommandés par les précédents formateurs, mentors et participants. Nous allons maintenant présenter certains outils qui vous aideront à réaliser les exercices de gestion des données de cette formation.

Photo : Chelonia mydas (Linnaeus, 1758). Observée en Thaïlande par Michael Barth http://creativecommons.org/licenses/by-nc/4.0/ [CC BY-NC 4.0^]

Diapositive 7 - Outils - éditeurs de texte

Lorsque vous travaillez avec des fichiers de données, vous aurez souvent besoin d’un éditeur de texte plus performant que celui installé par défaut sur votre système d’exploitation, notamment sous Windows et macOS. Vous pouvez utiliser des outils plus complets comme BBEdit, Notepad++ ou Sublime Text. Lors de la création de fichiers, utilisez toujours des paramètres cohérents et documentez les réglages choisis. Avant de poursuivre, testez différentes options d’ouverture et de modification, puis vérifiez le résultat afin de détecter tout problème éventuel.

Photo : Microporus xanthopus (Fr.) Kuntze, observé en Thaïlande par Jacky http://creativecommons.org/licenses/by-nc/4.0/ [CC BY-NC 4.0^]

Diapositive 8 - Outils - taxonomiques

Nous allons ici passer en revue quelques outils utiles pour vérifier la taxonomie de vos données.

Le "GBIF Name Parser" permet de décomposer un nom scientifique en ses différents éléments.

Le "Global Names Resolver" utilise une recherche par correspondance approximative pour identifier le taxon accepté ou son synonyme.

Le ChecklistBank du Catalogue of Life propose un outil de mise en correspondance des noms. Il compare une liste de noms fournie avec les listes de référence disponibles, puis renvoie les correspondances trouvées ainsi que leur classification taxonomique supérieure.

D’autres outils sont spécialisés dans des groupes taxonomiques particuliers, comme iPlant Taxonomic Name Resolution pour les plantes et le World Register of Marine Species (WoRMS) pour les espèces marines.

Diapositive 9 - Conversion des coordonnées DMS au format décimal

Dans vos jeux de données, les coordonnées sont souvent enregistrées au format "degrés, minutes, secondes (DMS)". Vous devrez les convertir en "degrés décimaux" afin de les standardiser pour les champs Darwin Core "decimalLatitude" et "decimalLongitude". Vous pouvez effectuer cette conversion à l’aide de la formule mathématique suivante.

Degrés décimaux = (degrés + minutes d’arc/60 + secondes d’arc/3600) × signe de l’hémisphère

Hémisphère longitudinal : Ouest = -1 ; Est = 1

Diapositive 10 - Outils - géoréférencement

Il existe toutefois des outils en ligne qui peuvent vous aider à géoréférencer vos données et à convertir les coordonnées.

Le portail speciesLink du CRIA propose plusieurs outils de nettoyage des données. L’outil infoXY permet d’obtenir des informations sur une localité à partir de ses coordonnées géographiques.

Le "Georeferencing Calculator" est un outil conçu pour faciliter le géoréférencement des localités décrites sous forme de texte, comme celles figurant dans les collections d’histoire naturelle des musées.

Google Maps et Google Earth peuvent également être utiles. Google Maps propose des fonctions de navigation et de cartographie ainsi que de nombreux points d’intérêt, avec un aperçu limité des images satellites. Google Earth offre surtout une visualisation complète en 3D à partir d’images satellites, mais fournit moins d’informations sur les lieux et ne propose pas de navigation détaillée d’un point à un autre.

Le géoréférencement n’étant pas enseigné dans cette formation, nous vous recommandons de consulter la documentation disponible sur le site du GBIF avant d’entreprendre tout projet de géoréférencement à grande échelle.

Diapositive 11 - Conversion des coordonnées et des dates

Canadensys propose deux outils permettant de convertir les coordonnées et les dates.

Diapositive 12 - Outils en ligne de commande

Les systèmes d’exploitation disposent de leurs propres consoles de ligne de commande. De nombreux logiciels de bureau proposent également des fonctions accessibles depuis ces consoles. Ces outils sont particulièrement utiles pour créer des scripts et automatiser certaines tâches.

Diapositive 13 - Récapitulatif

Il existe de nombreuses ressources pour valider, nettoyer et standardiser vos données. En attendant de constituer votre propre liste d’outils fiables et éprouvés, n’hésitez pas à explorer différentes options.

Photo : Cheilinus fasciatus (Bloch, 1791) observé en Thaïlande par Michael Barth CC BY-NC 4.0

Diapositive 14 - Conclusion

Cette présentation fait partie d’une série utilisée dans le cadre de la formation du GBIF sur la mobilisation des données sur la biodiversité. Le programme de cette formation a été initialement élaboré dans le cadre de Biodiversity Information for Development (BID), une initiative financée par l’Union européenne.  Cette présentation a été créée à l’origine par Nestor Beltran, avec les contributions complémentaires de Sophie Pamerlon, de David Bloom, ainsi que des formateurs, mentors et participants aux programmes BID et BIFA.

Diapositive 1 - Gestion des données - OpenRefine

Dans cette présentation, nous vous présenterons OpenRefine, un outil de nettoyage des données.

Diapositive 2 - OpenRefine

Auparavant appelé Google Refine, OpenRefine est désormais un logiciel libre et gratuit. Il permet de nettoyer et de standardiser les données. Vous pouvez le télécharger sur openrefine.org.

Diapositive 3 - Qu’est-ce que OpenRefine ?

OpenRefine est un outil performant pour nettoyer et organiser des données désordonnées.

Grâce aux facettes, OpenRefine permet d’avoir une vue d’ensemble des données, puis de sélectionner uniquement les lignes que vous souhaitez modifier en une seule opération.

La fonction de regroupement (clustering) tente de réunir les valeurs similaires d’une facette textuelle dans un même groupe.

La réconciliation est un processus semi-automatisé qui permet d’associer des noms sous forme de texte aux identifiants (ID) ou aux clés d’une base de données.

Avec OpenRefine, vous pouvez comparer et faire correspondre les noms de vos données à ceux de toute base de données disposant d’un service web compatible avec l’API Reconciliation Service.

Diapositive 4 - Ce qu’OpenRefine n’est pas

OpenRefine fonctionne toutefois différemment des autres outils que vous avez peut-être utilisés. Il ne permet ni de stocker ni de gérer les données : il sert uniquement à les nettoyer et à les standardiser.

Diapositive 5 - Comparaison des fonctionnalités

OpenRefine étant un outil particulier, vous devez déterminer dans quelles situations il est préférable de l’utiliser plutôt qu’un autre outil.

Une base de données fournit une infrastructure permettant de stocker et d’indexer les données. Sa modification exige généralement des compétences en programmation et elle offre peu de possibilités de visualisation simple.

Excel est un tableur qui permet de saisir, de documenter et de traiter les données. Il offre quelques fonctions de gestion, de nettoyage et de standardisation, mais les corrections doivent souvent être effectuées cellule par cellule. Il peut également être difficile d’obtenir une vue complète des données, car ses fonctions de visualisation restent limitées.

À l’inverse, OpenRefine permet de modifier plusieurs cellules à la fois, d’explorer et de transformer facilement les données, ainsi que de les visualiser de manière interactive. Toutefois, comme indiqué précédemment, il n’est pas conçu pour stocker ni gérer les données.

Diapositive 6 - Fonctionnalités d’OpenRefine

Maintenant que vous comprenez les différences, voici une liste des fonctionnalités utiles que vous trouverez dans OpenRefine. Vous aurez bientôt l’occasion de suivre un tutoriel pour tester toutes ces fonctionnalités.

OpenRefine est un logiciel que vous installez sur votre ordinateur. Son fonctionnement nécessite l’environnement JRE/JDK de Java. Il fonctionne sous Windows, Mac et Linux.

OpenRefine étant un logiciel libre et gratuit, il bénéficie du soutien d’une vaste communauté de développeurs et d’utilisateurs. Vous trouverez facilement en ligne des tutoriels expliquant comment l’utiliser.

Diapositive 7 - Conclusion

Cette présentation fait partie d’une série de présentations utilisées dans le cadre de la formation du GBIF sur la mobilisation des données sur la biodiversité. Le programme pédagogique de cette formation a été initialement élaboré dans le cadre du programme Biodiversity Information for Development (BID), financé par l’Union européenne. Cette présentation a été initialement créée par Nestor Beltran, avec les contributions complémentaires de Sharon Grant, David Bloom, ainsi que des formateurs, mentors et apprenants du GBIF. La narration de cette présentation a été assurée par Laura Anne Russell.