La qualité des données
| Ce module propose une introduction à la qualité des données. |
La qualité des données
|
Dans cette vidéo (12 min 26 s), vous passerez en revue la terminologie utilisée dans ce cours. Si vous ne pouvez pas regarder la vidéo intégrée, vous pouvez la télécharger localement (MP4 - 56.4 Mo) |
Transcription de la présentation
Cliquez pour développer
Diapositive 1 - Fondation - Qualité des données
Les deux principaux concepts que nous allons explorer sont l’adéquation des données à l’usage prévu (Fitness for Use) et les mesures de la qualité (Measures of Quality). Ces deux notions serviront de base pour approfondir, par la suite, les concepts et les techniques liés à la qualité des données.
Photo : GBIF : https://www.gbif.org/occurrence/2550045989 Ictinaetus malayensis (Temminck, 1822) Droits d’auteur : cupag_kelley Licence : http://creativeco…censes/by-nc/4.0/ Référence : https://www.inatu…g/photos/58972976
Diapositive 2 - Concepts clés de la qualité des données
Les deux principaux concepts que nous allons explorer sont l’adéquation des données à l’usage prévu (Fitness for Use) et les mesures de la qualité (Measures of Quality). Ces deux notions serviront de base pour approfondir, par la suite, les concepts et les techniques liés à la qualité des données.
Photo : GBIF : https://www.gbif.org/occurrence/2550045989 Ictinaetus malayensis (Temminck, 1822) Droits d’auteur : cupag_kelley Licence : http://creativeco…censes/by-nc/4.0/ Référence : https://www.inatu…g/photos/58972976
Diapositive 3 - Qualité des données
Avant de commencer, j’aimerais prendre un moment pour expliquer pourquoi la qualité des données est importante. Il existe une expression, « Cleanliness is next to Godliness », que l’on utilise parfois pour illustrer l’importance de la qualité des données. Elle signifie littéralement que « la propreté est proche de la sainteté ». Ici, la « sainteté » peut être associée à quelque chose qui est considéré comme digne de confiance. Dans le contexte de la qualité des données, l’idée est donc simple : nous sommes plus enclins à faire confiance à des données qui ont été nettoyées, vérifiées et soigneusement gérées, et à les utiliser.
Photo : GBIF : https://www.gbif.org/occurrence/2611012759 Rhododendron kasangiae D.G. Long & Rushforth Titulaire des droits : Sangay Wangchuk Licence : http://creativeco…censes/by-nc/4.0/ Référence : https://www.inatu…g/photos/68350578
Diapositive 4 - Qualité des données
Pour revenir au domaine de l’informatique de la biodiversité, la définition classique de la qualité des données a été formulée en 2005 par Arthur Chapman. Il écrivait : « La qualité des données est liée à leur utilisation et ne peut être évaluée indépendamment de l’utilisateur. Dans une base de données, les données n’ont pas, en elles-mêmes, de qualité ou de valeur réelle (Dalcin, 2004) ; elles ont seulement une valeur potentielle, qui se concrétise lorsque quelqu’un les utilise pour réaliser quelque chose d’utile. La qualité de l’information dépend de sa capacité à satisfaire ses utilisateurs et à répondre à leurs besoins (English, 1999). » - Arthur Chapman Ainsi, en tant que personnes responsables de la gestion et de la maintenance des données, notre objectif est de faire en sorte que les données que nous publions puissent répondre au mieux aux besoins du plus grand nombre possible d’utilisateurs potentiels. Pour y parvenir, nous cherchons donc à fournir des données de la meilleure qualité possible.
Photo : GBIF : https://www.gbif.org/occurrence/2634451942 Dendrochirus zebra (Cuvier, 1829) Titulaire des droits : Ryan Yue Wah Chan Licence : http://creativeco…censes/by-nc/4.0/ Référence : https://www.inatu…g/photos/76358738
Diapositive 5 - Qualité des données
Pour vous aider dans cette démarche, nous allons explorer le concept d’adéquation des données à l’usage prévu (Fitness for Use). Nous examinerons également les mesures de la qualité des données, en particulier l’exactitude (Correctness) et la cohérence (Consistency). Il s’agit de concepts importants que vous devrez comprendre et être capables d’expliquer, notamment lorsqu’il s’agit de vos propres données ou des données dont vous assurez la gestion.
Photo : GBIF : https://www.gbif.org/occurrence/2238803261 Papilio paris Linnaeus, 1758 Titulaire des droits : CheongWeei Gan Licence : http://creativeco…censes/by-nc/4.0/ Référence : https://www.inatu…g/photos/35832506
Diapositive 6 - Adéquation à l’usage dans le monde réel
Commençons par un exemple concret de l’adéquation à l’usage (Fitness for Use). Un cordonnier fabrique une paire de sabots conçue pour couvrir les pieds d’une personne, comme ceux que vous voyez en haut de cette image.
Référence de l’image : https://commons.wikimedia.org/wiki/File:Schuhmacher-1568.png
Diapositive 7 - Adéquation à l’usage dans le monde réel
Quand le cordonnier a fabriqué ces chaussures, savait-il que cette jeune fille les utiliserait pour danser ? Peut-être.
Référence de l’image : https://www.publicdomainpictures.net/en/view-image.php?image=157723&picture=&jazyk=CN
Diapositive 8 - Adéquation à l’usage dans le monde réel
Pensez-vous que ce même cordonnier savait qu’un jardinier pourrait un jour utiliser ces chaussures comme pots de fleurs ? Peut-être pas. Référence de l’image : Sharon Grant [https://www.flickr.com/photos/rondls_pics/4941594970/in/album-72157616943444786/]
Diapositive 9 - Adéquation à l’usage
Dans le domaine de l’écologie, la notion d’adéquation des données à l’usage prévu (Fitness for Use) est fréquemment évoquée. Il convient toutefois de rappeler que la qualité d’un jeu de données n’est pas absolue : elle s’évalue en fonction des objectifs scientifiques et des exigences propres à chaque utilisation. Par exemple, des données dont l’identification taxonomique se limite au niveau du genre peuvent être suffisantes pour élaborer des modèles prédictifs de niches écologiques. En revanche, pour étudier un taxon précis, ces mêmes données présenteront une utilité limitée par rapport à des données d’occurrence plus précises, comprenant notamment une identification au niveau de la sous-espèce.
Photo : GBIF : https://www.gbif.org/occurrence/1621797237 Calotes mystaceus Duméril & Bibron, 1837 Titulaire des droits : robbythai Licence : http://creativeco…censes/by-nc/4.0/ Référence :https://www.inatu…rg/photos/9949104
Diapositive 10 - Adéquation à l’usage
Alors, qu’entend-on par adéquation des données à l’usage prévu (Fitness for Use) et qu’est-ce que cela signifie concrètement ? Selon Chapman, dès qu’un jeu de données est créé et partagé, il peut être considéré sous deux angles : celui de la personne qui l’a créé et celui de la personne qui souhaite l’utiliser. Pour aider un utilisateur potentiel à savoir si vos données sont fiables et adaptées à ses besoins, vous devez bien les connaître et être capable de les présenter clairement. Voici quelques questions importantes sur les métadonnées, c’est-à-dire les informations qui décrivent vos données, auxquelles vous devez pouvoir répondre et que vous devez partager avec les autres : . Vos données sont-elles accessibles ? Sont-elles faciles à trouver et à consulter ? Si les utilisateurs ne peuvent pas les trouver, ils ne pourront pas les utiliser. . Vos données sont-elles exactes ? Sont-elles suffisamment fiables pour être utilisées ? Par exemple, les identifications sont-elles à jour et ont-elles été réalisées par des experts reconnus ? . Vos données sont-elles disponibles à temps ? Quand seront-elles publiées et à quelle fréquence seront-elles mises à jour ? . Vos données sont-elles suffisamment complètes ? Quelles parties sont bien documentées ? Couvrent-elles correctement la période, la zone géographique ou le domaine étudié ? . Vos données sont-elles cohérentes ? Les informations de chaque champ respectent-elles un type et un format uniformes ? Les données ont-elles été collectées selon les mêmes protocoles documentés ? . Vos données sont-elles pertinentes ? Sont-elles comparables à d’autres données déjà utilisées avec succès pour le même objectif ? . Quel est le niveau de détail de vos données ? Quelle est leur résolution et à quelle échelle peuvent-elles être utilisées pour la cartographie ? . Vos données sont-elles faciles à interpréter ? Leur documentation est-elle claire et concise ? Les documents manuscrits sont-ils suffisamment lisibles ?
Photo : GBIF : https://www.gbif.org/occurrence/1932569869 Amphidromus goldbergi Thach & F. Huber, 2018 Titulaire des droits : Manual Caballer Licence : http://creativeco…/licenses/by/4.0/ Identifiant : https://mediaphoto.mnhn.fr/media/1546617441086USKcRv3tfQkB8mZo
Diapositive 11 – Évaluation de la qualité
Si l’adéquation des données à l’usage prévu (Fitness for Use) dépend des besoins propres à chaque utilisateur, l’évaluation de leur qualité repose, quant à elle, sur des critères plus objectifs. Comme l’indique Chapman :
« Toutes les données contiennent des erreurs : elles sont inévitables ! L’essentiel est de connaître ces erreurs et de déterminer si elles restent dans des limites acceptables pour l’utilisation prévue des données. (Chapman, 2005) »
Diapositive 12 – Évaluation de la qualité
Deux critères de qualité, l’exactitude et la cohérence, peuvent nous aider à identifier et à documenter les erreurs inhérentes aux données. L’exactitude, également appelée précision, correspond au « degré de proximité entre la valeur enregistrée et la valeur réelle ».
Dans ce schéma, l’exactitude correspond à la proximité d’un point par rapport au centre de la cible. La cohérence, parfois appelée précision, indique « la fréquence à laquelle on obtient le résultat attendu »
Dans cette figure, la précision correspond au degré de proximité des points entre eux, qu’ils soient proches ou non du centre de la cible. Ces deux mesures permettent d’évaluer dans quelle mesure la personne chargée de la collecte a réussi à saisir la valeur réelle étudiée. Connaître ces caractéristiques vous aidera à déterminer les possibilités et les limites du nettoyage, de la validation et du traitement de vos données.
Diapositive 13 - Indicateurs de qualité - Exactitude et précision
Cette image illustre clairement les notions d’exactitude et de précision. Elle peut vous servir de référence lorsque vous devrez expliquer ces concepts à d’autres personnes.
Source de l’image : https://kaiserscience.files.wordpress.com/2015/09/precision_accuracy.png
Diapositive 14 - Indicateurs de qualité et d’exactitude
Examinons quelques exemples d’exactitude, ou de précision, afin de mieux comprendre comment cette notion peut orienter concrètement le nettoyage des données. Rappelons que l’exactitude correspond au degré de proximité par rapport au centre de la cible.
Diapositive 15 - Indicateurs de qualité "exactitude" - Exemple 1
Pour cet exemple, imaginons que votre jeu de données contienne des enregistrements de spécimens fossiles d’oiseaux datant du Trias inférieur. Pour plusieurs de ces spécimens, le nom taxonomique indiqué est Thismia. Savez-vous si Thismia est un taxon d’oiseaux préhistoriques ? Référence de l’image : https://commons.wikimedia.org/wiki/File:Archaeopteryx_fossil.jpg
Diapositive 16 - Indicateurs de qualité "exactitude" - Exemple 1
Dans ce cas, la réponse est non ! Thismia est une plante très rare originaire de l’État de l’Illinois, aux États-Unis. Par conséquent, la fiabilité, ou l’exactitude, du nom taxonomique est faible. Peut-être parce que la personne chargée de la saisie des données n’était pas paléontologue. Par conséquent, tous les noms figurant dans l’ensemble de données devront peut-être être vérifiés et corrigés par un expert avant que les données puissent être utilisées. Photo : GBIF : (n/a) Thismia rodwayi Titulaire des droits : Tindo2 Licence : http://creativeco…censes/by-nc/4.0/ Référence (n/a) : https://www.inaturalist.org/photos/596775?size=large
Diapositive 17 - Indicateurs de qualité "exactitude" - Exemple 2
Prenons un autre exemple. Dans ce cas, votre jeu de données contient des spécimens collectés dans un lieu appelé Kalamazoo par un scientifique nommé Richard Spruce. Nous devons alors nous poser les questions suivantes :
Le code postal 49007 correspond-il bien à Kalamazoo ?
Richard Spruce a-t-il effectué des collectes dans le Michigan ?
Diapositive 18 - Indicateurs de qualité "exactitude" - Exemple 2
Dans ce cas, la réponse à notre première question est oui : 49007 est bien un code postal de Kalamazoo. L’exactitude de la localité est donc bonne. Mais qu’en est-il du collecteur, Richard Spruce ?
Références des images : https://en.wikipedia.org/wiki/Richard_Spruce#/media/File:Spruce_Richard.jpg https://archive.org/details/notesofbotanisto21908spru
Diapositive 19 - Indicateurs de qualité "exactitude" - Exemple 2
Il existe effectivement un célèbre botaniste nommé Richard Spruce. Né en 1817 et décédé en 1893, il a toutefois mené ses activités de collecte dans le bassin amazonien et les Andes, en Amérique du Sud. Il semble donc y avoir une incohérence. Nous devons obtenir davantage d’informations sur le collecteur avant de pouvoir confirmer l’exactitude de ces données. Références des images : https://en.wikipedia.org/wiki/Richard_Spruce#/media/File:Spruce_Richard.jpg https://archive.org/details/notesofbotanisto21908spru
Diapositive 20 – Évaluation de la qualité : cohérence
Voyons maintenant comment la cohérence, ou précision, s’applique aux données. La cohérence correspond à la capacité d’enregistrer une même information de manière uniforme, indépendamment de son exactitude. Par exemple, votre jeu de données contient des occurrences botaniques et comporte un champ intitulé « Nom complet », dans lequel est indiqué le nom du collecteur de chaque spécimen. Cinq formes différentes de noms apparaissent dans ce champ. Mais représentent-elles réellement cinq collecteurs distincts ? Est-il possible de le déterminer simplement en lisant les noms ?
Diapositive 21 – Évaluation de la qualité : cohérence
Lorsque vous connaissez bien un jeu de données, vous pouvez parfois déterminer le nombre de collecteurs simplement en examinant les informations disponibles. Dans le cas contraire, il peut être nécessaire d’effectuer des recherches, de poser des questions ou de consulter les notes de terrain originales. Dans cet exemple, les cinq formes de noms correspondent en réalité à deux ou peut-être trois collecteurs distincts : En bleu, Joseph Dalton Hooker et Hook.f. désignent la même personne. Hook.f. est l’abréviation utilisée pour Joseph Dalton Hooker (1817-1911). En vert, W. J. Hooker et Hook. désignent également la même personne. Hook. est l’abréviation de William Jackson Hooker (1785-1865), qui était le père de Joseph. Enfin, en rouge, l’entrée « Hooker, J. » pourrait être une erreur ou une variante désignant Joseph ou William Hooker. Elle pourrait également correspondre à une troisième personne portant un nom similaire. Des recherches supplémentaires sont donc nécessaires pour clarifier cette information. Référence : http://www.ipni.org/ipni/advAuthorSearch.do;jsessionid=087C235AF7757EF21CA33FF5325C94C7?find_forename=&find_surname=Hooker&find_abbreviation=&find_isoCountry=&output_format=normal&back_page=authorsearch&query_type=by_query
Diapositive 22 - Nettoyage des données
Nous venons d’examiner plusieurs exemples simples illustrant deux critères de qualité des données. Ils devraient vous aider à mieux comprendre comment repérer les problèmes d’exactitude et de précision dans un jeu de données. Le processus qui consiste à documenter et à corriger ces problèmes ou erreurs est appelé nettoyage des données. Plus précisément, le nettoyage des données consiste à corriger ou à supprimer les données problématiques résultant, entre autres, d’incohérences, de différences de format, d’erreurs de saisie ou d’informations manquantes. Il comprend également la validation des modifications effectuées et peut nécessiter une normalisation des données. La manière dont les données sont nettoyées, ou ne le sont pa, influence la perception qu’auront les utilisateurs de leur adéquation à l’usage prévu (fitness for use). Il n’est cependant pas nécessaire d’effectuer vous-même tout le nettoyage. On pense souvent, à tort, que toutes les erreurs doivent obligatoirement être corrigées avant de pouvoir partager les données. En réalité, vous ne pouvez nettoyer les données que dans la limite du temps, des connaissances et des ressources dont vous disposez. Il est donc essentiel de documenter clairement ce que vous savez et ce que vous ignorez au sujet de vos données. Ainsi, lors de leur partage, les utilisateurs pourront évaluer leur niveau de qualité.
Diapositive 23 - Conclusion
Cette vidéo fait partie d’une série de présentations utilisées dans le cadre de la formation du GBIF sur la mobilisation des données sur la biodiversité. Le programme de cette formation a été initialement élaboré dans le cadre du Programme d’information sur la biodiversité pour le développement (BID), financé par l’Union européenne.
Cette présentation a été initialement créée par Sharon Grant, avec les contributions complémentaires de Dag Endresen et David Bloom. La narration a été assurée par David Bloom.
Principes de la qualité des données
| Below you will find a selected reading from Arthur Chapman’s guide “Principles of data quality”. Full document, references and translations can be found on GBIF.org. |
Before a detailed discussion on data quality and its application to species-occurrence data can take place, there are a number of concepts that need to be defined and described. These include the term data quality itself, the terms accuracy and precision that are often misapplied, and what we mean by primary species data and species-occurrence data.
Species-occurrence data
Species-occurrence data is used here to include specimen label data attached to specimens or lots housed in museums and herbaria, observational data and environmental survey data. In general, the data are what we term “point-based”, although line (transect data from environmental surveys, collections along a river), polygon (observations from within a defined area such as a national park) and grid data (observations or survey records from a regular grid) are also included. In general we are talking about georeferenced data – i.e. records with geographic references that tie them to a particular place in space – whether with a georeferenced coordinate (e.g. latitude and longitude, UTM) or not (textual description of a locality, altitude, depth) – and time (date, time of day).
In general the data are also tied to a taxonomic name, but unidentified collections may also be included. The term has occasionally been used interchangeably with the term “primary species data”.
Primary species data
“Primary species data” is used to describe raw collection data and data without any spatial attributes. It includes taxonomic and nomenclatural data without spatial attributes, such as names, taxa and taxonomic concepts without associated geographic references.
Accuracy and Precision
Accuracy and precision are regularly confused and the differences are not generally understood.
Accuracy refers to the closeness of measured values, observations or estimates to the real or true value (or to a value that is accepted as being true – for example, the coordinates of a survey control point).
Precision (or Resolution) can be divided into two main types. Statistical precision is the closeness with which repeated observations conform to themselves. They have nothing to do with their relationship to the true value, and may have high precision, but low accuracy. Numerical precision is the number of significant digits that an observation is recorded in and has become far more obvious with the advent of computers. For example a database may output a decimal latitude/longitude record to 10 decimal places – i.e. ca .01 mm when in reality the record has a resolution no greater than 10-100 m (3-4 decimal places). This often leads to a false impression of both the resolution and the accuracy.
These terms – accuracy and precision – can also be applied to non-spatial data as well as to spatial data. For example, a collection may have an identification to subspecies level (i.e. have high precision), but be the wrong taxon (i.e. have low accuracy), or be identified only to Family level (high accuracy, but low precision).
Data quality
Data quality is multidimensional, and involves data management, modelling and analysis, quality control and assurance, storage and presentation. As independently stated by Chrisman (1991) and Strong et al. (1997), data quality is related to use and cannot be assessed independently of the user. In a database, the data have no actual quality or value (Dalcin 2004); they only have potential value that is realized only when someone uses the data to do something useful. Information quality relates to its ability to satisfy its customers and to meet customers’ needs (English 1999).
Redman (2001), suggested that for data to be fit for use they must be accessible, accurate, timely, complete, consistent with other sources, relevant, comprehensive, provide a proper level of detail, be easy to read and easy to interpret.
One issue that a data custodian may need to consider is what may need to be done with the database to increase its usability to a wider audience (i.e. increase its potential use or relevance) and thus make it fit for a wider range of purposes. There will be a trade off in this between the increased usability and the amount of effort required to add extra functionality and usability. This may require such things as atomizing data fields, adding geo-referencing information, etc.
Quality Assurance/ Quality Control
The difference between quality control and quality assurance is not always clear. Taulbee (1996) makes the distinction between Quality Control and Quality Assurance and stresses that one cannot exist without the other if quality goals are to be met. She defines Quality Control as a judgement of quality based on internal standards, processes and procedures established to control and monitor quality; and Quality Assurance as a judgement of quality based on standards external to the process and is the reviewing of the activities and quality control processes to insure that the final products meet predetermined standards of quality.
In a more business-oriented approach, Redman (2001) defines Quality Assurance as “those activities that are designed to produce defect-free information products to meet the most important needs of the most important customers, at the lowest possible cost”.
How these terms are to be applied in practice is not clear, and in most cases the terms seem to be largely used synonymously to describe the overall practice of data quality management.
Uncertainty
Uncertainty may be thought of as a “measure of the incompleteness of one’s knowledge or information about an unknown quantity whose true value could be established if a perfect measuring device were available” (Cullen and Frey 1999). Uncertainty is a property of the observer’s understanding of the data, and is more about the observer than the data per se. There is always uncertainty in data; the difficulty is in recording, understanding and visualizing that uncertainty so that others can also understand it. Uncertainty is a key term in understanding risk and risk assessment.
Error
Error encompasses both the imprecision of data and their inaccuracies. There are many factors that contribute to error. Error is generally seen as being either random or systematic. Random error tends to refer to deviation from the true state in a random manner. Systematic error or bias arises from a uniform shift in values and is sometimes described as having ‘relative accuracy’ in the cartographic world (Chrisman 1991). In determining ‘fitness for use’ systematic error may be acceptable for some applications, and unfit for others.
An example may be the use of a different geodetic datum1 – where, if used throughout the analysis, may not cause any major problems. Problems will arise though where an analysis uses data from different sources and with different biases – for example data sources that use different geodetic datums, or where identifications may have been carried out using an earlier version of a nomenclatural code.
“Because error is inescapable, it should be recognized as a fundamental dimension of data” (Chrisman 1991). Only when error is included in a representation of the data is it possible to answer questions about limitations in the data, and even limitations in current knowledge. Known errors in the three dimensions of space, attribute and time need to be measured, calculated, recorded and documented.
Validation and Cleaning
Validation is a process used to determine if data are inaccurate, incomplete, or unreasonable. The process may include format checks, completeness checks, reasonableness checks, limit checks, review of the data to identify outliers (geographic, statistical, temporal or environmental) or other errors, and assessment of data by subject area experts (e.g. taxonomic specialists). These processes usually result in flagging, documenting and subsequent checking of suspect records. Validation checks may also involve checking for compliance against applicable standards, rules, and conventions. A key stage in data validation and cleaning is to identify the root causes of the errors detected and to focus on preventing those errors from re-occurring (Redman 2001).
Data cleaning refers to the process of “fixing” errors in the data that have been identified during the validation process. The term is synonymous with “data cleansing”, although some use data cleansing to encompass both data validation and data cleaning. It is important in the data cleaning process that data is not inadvertently lost, and changes to existing information be carried out very carefully. It is often better to retain both the old (original data) and the new (corrected data) side by side in the database so that if mistakes are made in the cleaning process, the original information can be recovered.