Обработка данных и их качество

Прежде чем перейти к подробному рассмотрению качества данных и его оценки применительно к данным о находках видов, необходимо определить и объяснить ряд понятий. К ним относятся само понятие качества данных, термины «точность» (accuracy) и «прецизионность» (precision), которые часто используются некорректно, а также понятия первичных данных о видах и данных о находках видов.

Данные о находках видов

В данном контексте данные о находках видов (Species-occurrence data) включают информацию с этикеток отдельных экземпляров или серий образцов, хранящихся в музеях и гербариях, данные наблюдений, а также данные экологических обследований. Как правило, такие данные имеют точечную пространственную привязку, однако они могут быть представлены и в виде линий (например, данные учётов вдоль трансект или сборов вдоль реки), полигонов (наблюдения в пределах определённой территории, например национального парка) или регулярной сетки (наблюдения или результаты учётов, привязанные к ячейкам сетки). В целом речь идёт о данных с географической привязкой, то есть о записях, содержащих информацию, позволяющую связать их с определённым местоположением — как с помощью географических координат (например, широты и долготы или координат UTM), так и без них (текстовое описание местонахождения, высота над уровнем моря, глубина), а также с определённым временем (дата, время суток).

Как правило, данные также связаны с определённым таксономическим названием, однако могут включать и сборы, таксономическая принадлежность которых ещё не установлена. Иногда этот термин используется как синоним понятия «первичные данные о видах» (primary species data)..

Первичные данные о видах

Термин «первичные данные о видах» используется для обозначения необработанных данных о сборах, а также данных, не содержащих пространственных характеристик. Он включает таксономические и номенклатурные данные без пространственной привязки, например научные названия, таксоны и таксономические концепции, не связанные с конкретными географическими местоположениями.

Точность и прецизионность

Понятия точности и прецизионности часто путают, а различия между ними, как правило, недостаточно хорошо понимают.

Точность (Accuracy) характеризует степень близости измеренных значений, наблюдений или оценок к реальному или истинному значению (либо к значению, принятому за истинное, например к координатам опорного геодезического пункта).

Точность (Precision, или Resolution) можно разделить на два основных типа. Статистическая точность (Statistical precision) характеризует степень согласованности результатов повторных наблюдений между собой. Она не связана с их близостью к истинному значению, поэтому результаты могут обладать высокой статистической точностью, но при этом иметь низкую точность (Accuracy). Числовая точность (Numerical precision) определяется количеством значащих цифр, с которыми записано значение наблюдения. Эта проблема стала особенно заметной с распространением компьютеров. Например, база данных может выдавать значения широты и долготы в десятичных градусах с 10 знаками после запятой, что соответствует примерно 0,01 мм, хотя в действительности пространственное разрешение исходной записи может составлять лишь 10–100 м (3–4 знака после запятой). Это часто создаёт ложное представление как о пространственном разрешении данных, так и об их фактической точности.

Эти понятия — точность и прецизионность — применимы не только к пространственным, но и к другим типам данных. Например, собранный экземпляр может быть определён до уровня подвида (то есть с высокой прецизионностью), но при этом отнесён к неправильному таксону (низкая точность). И наоборот, экземпляр может быть определён только до уровня семейства (высокая точность, но низкая прецизионность).

Качество данных

Качество данных — многомерное понятие, охватывающее управление данными, моделирование и анализ, контроль и обеспечение качества, хранение и представление данных. Как независимо друг от друга отмечали Chrisman (1991) и Strong et al. (1997), качество данных зависит от целей их использования и не может оцениваться в отрыве от пользователя. Сами по себе данные, хранящиеся в базе данных, не обладают реальным качеством или ценностью (Dalcin 2004). Они имеют лишь потенциальную ценность, которая реализуется только тогда, когда кто-либо использует эти данные для решения практических задач. Качество информации определяется её способностью удовлетворять потребности пользователей и соответствовать их требованиям (English 1999).

Redman (2001) предположил, что для того, чтобы данные были пригодны для использования, они должны быть доступными, точными, актуальными, полными, согласованными с другими источниками, релевантными и всесторонними, иметь необходимый уровень детализации, а также быть удобными для чтения и интерпретации.

Один из вопросов, который необходимо учитывать специалисту, ответственному за управление данными, заключается в том, какие изменения следует внести в базу данных, чтобы сделать её более удобной для широкого круга пользователей (то есть расширить возможности её использования и повысить её востребованность) и тем самым обеспечить пригодность данных для решения более широкого спектра задач. При этом необходимо найти баланс между повышением удобства использования данных и объёмом усилий, необходимых для расширения функциональных возможностей базы данных. Для этого могут потребоваться, например, разделение содержимого полей на отдельные элементы, добавление информации о географической привязке и другие меры.

Обеспечение и контроль качества

Различие между контролем качества (Quality Control) и обеспечением качества (Quality Assurance) не всегда очевидно. Taulbee (1996) разграничивает эти понятия и подчёркивает, что для достижения установленных целей в области качества они не могут существовать друг без друга. Она определяет контроль качества как оценку качества на основе внутренних стандартов, процессов и процедур, разработанных для контроля и мониторинга качества. Обеспечение качества, в свою очередь, определяется как оценка качества на основе стандартов, внешних по отношению к рассматриваемому процессу. Оно предполагает проверку выполняемых действий и процедур контроля качества с целью убедиться, что конечные результаты соответствуют заранее установленным стандартам качества.

В рамках подхода, более ориентированного на бизнес-процессы, Redman (2001) определяет обеспечение качества как «деятельность, направленную на создание информационных продуктов, не содержащих ошибок, которые удовлетворяют наиболее важные потребности наиболее значимых пользователей при минимально возможных затратах».

Как именно следует применять эти понятия на практике, остаётся не вполне ясным. В большинстве случаев они, по-видимому, используются практически как синонимы для обозначения совокупности процессов управления качеством данных.

Неопределенность

Неопределённость (Uncertainty) можно рассматривать как «меру неполноты наших знаний или информации о неизвестной величине, истинное значение которой можно было бы установить при наличии идеального измерительного прибора» (Cullen and Frey 1999). Неопределённость отражает степень понимания данных наблюдателем и, таким образом, характеризует скорее знания наблюдателя, чем сами данные. Неопределённость присутствует в любых данных. Основная сложность заключается в том, чтобы правильно зафиксировать, понять и наглядно представить её таким образом, чтобы другие пользователи также могли её оценить. Неопределённость является ключевым понятием для понимания рисков и их оценки.

Ошибка

Ошибка (Error) охватывает как недостаточную прецизионность данных, так и их отклонения от истинных значений. Существует множество факторов, способствующих возникновению ошибок. Обычно ошибки подразделяют на случайные и систематические. Случайная ошибка (Random error) представляет собой отклонение от истинного значения, возникающее случайным образом. Систематическая ошибка, или смещение (Systematic error или Bias), возникает вследствие однонаправленного смещения значений и в картографии иногда описывается с использованием понятия «относительная точность» (Relative accuracy) (Chrisman 1991). При оценке пригодности данных для использования (Fitness for use) систематические ошибки могут быть допустимыми для одних задач и делать данные непригодными для других.

Примером может служить использование другой геодезической системы отсчёта¹, которое, если она последовательно применяется на протяжении всего анализа, может не вызывать существенных проблем. Однако проблемы возникают, когда в анализе объединяются данные из разных источников, содержащие различные систематические смещения. Например, это могут быть источники данных, использующие разные геодезические системы отсчёта, или данные, в которых определение таксонов проводилось с использованием более ранней версии номенклатурного кодекса.

«Поскольку ошибки неизбежны, их следует рассматривать как одну из фундаментальных характеристик данных» (Chrisman 1991). Только при условии, что информация об ошибках включена в описание данных, становится возможным оценить ограничения, связанные с самими данными, и даже ограничения существующих знаний. Известные ошибки, относящиеся к трём измерениям данных — пространственному, атрибутивному и временному, — необходимо измерять, оценивать количественно, регистрировать и документировать.

Проверка и очистка

Валидация данных — это процесс, направленный на выявление неточных, неполных или неправдоподобных данных. Он может включать проверку формата, полноты и правдоподобности данных, проверку соответствия допустимым диапазонам значений, анализ данных для выявления выбросов (географических, статистических, временных или экологических) и других ошибок, а также экспертную оценку данных специалистами в соответствующих предметных областях (например, систематиками). Как правило, в результате таких проверок подозрительные записи помечаются, информация о выявленных проблемах документируется, а сами записи подвергаются последующей проверке. Валидация также может включать проверку соответствия данных применимым стандартам, правилам и соглашениям. Важным этапом валидации и очистки данных является выявление первопричин обнаруженных ошибок и принятие мер, направленных на предотвращение их повторного возникновения (Redman 2001).

Очистка данных (Data cleaning) — это процесс исправления ошибок, выявленных в ходе валидации данных. Термин data cleaning является синонимом data cleansing, хотя иногда под data cleansing понимают более широкий процесс, включающий как валидацию, так и очистку данных. При очистке данных важно не допустить случайной потери информации, а любые изменения существующих данных необходимо вносить с особой осторожностью. Зачастую предпочтительнее сохранять в базе данных как исходные (оригинальные), так и исправленные данные, чтобы в случае ошибок, допущенных в процессе очистки, можно было восстановить первоначальную информацию.