Обеспечение качества данных

При поиске записей о находках пространственная фильтрация данных может выполняться тремя способами:

Если при поиске выбрать только записи с координатами, можно исключить ряд пространственных ошибок, возникающих в процессе публикации данных. К ним относятся:

Центроиды стран — это точки, расположенные в географическом центре страны, которым присваиваются координаты находок вместо фактического местоположения, где таксон наблюдался или был зарегистрирован. Как правило, такие записи возникают в результате ретроспективного присвоения географических координат (широты и долготы) на основании текстового описания местонахождения, указанного в исходной записи. Программы геокодирования используют географические справочники, словари географических названий и другие источники, связанные с картами или атласами, чтобы присваивать координаты географическим названиям. Например, если в записи указано только «Бразилия», некоторые издатели данных присваивают ей координаты географического центра Бразилии. Аналогичным образом, если в записи указано только «Техас» или «Париж», ей могут быть присвоены координаты центра соответствующей территории. Такая ситуация характерна почти исключительно для данных музейных коллекций (PRESERVED_SPECIMEN), однако может встречаться и в записях других типов.

Некоторые издатели данных считают значения «zero» и «NULL» эквивалентными, поэтому пустым полям широты и долготы присваивается нулевое значение. В результате такие записи отображаются на карте вдоль экватора или нулевого меридиана.

Часто необходимо убедиться, что указанные координаты достаточно точно отражают местоположение организма и не находятся за тысячи километров от места его фактического наблюдения или сбора. В стандарте Darwin Core предусмотрены два поля — coordinatePrecision (точность координат) и coordinateUncertaintyInMeters (неопределённость координат в метрах), которые включаются в данные при скачивании в формате SIMPLE CSV. Эти поля можно использовать для фильтрации записей по степени неопределённости местоположения. Вы можете использовать эти поля для фильтрации по «неопределённости». Однако издатели данных, считающие координаты своих записей достаточно точными (например, полученными с помощью GPS), нередко не заполняют эти поля. Поэтому мы рекомендуем не исключать записи только на основании отсутствия значений в этих полях.

Следует также учитывать некоторые «ложные» значения неопределённости координат. Они возникают вследствие ошибок программного обеспечения для геокодирования и не отражают реальную неопределённость местоположения. К таким значениям относятся 301, 3036, 999 и 9999. В частности, при значении 301 фактическая неопределённость часто значительно превышает 301 метр, а координаты могут соответствовать центроиду страны.

Наборы данных с сеткой представляют собой известную проблему в GBIF. Во многих наборах данных точки расположены равномерно по регулярной сетке. Как правило, такие наборы данных представляют собой результаты систематических национальных обследований или данные, взятые из какого-либо атласа («так называемые растровые схемы сбора данных»). Геореференцированные данные о местонахождении привязываются к центральной точке.

Большинство издателей данных, представленных на регулярной сетке, вероятно, заполняют одно из следующих полей:

Поэтому фильтрация по этим полям может быть эффективным способом исключения таких наборов данных. GBIF предлагает экспериментальный API для выявления наборов данных, демонстрирующих определённую степень «сетчатости». Подробнее о том, как находить наборы данных с сетчатой структурой, можно прочитать в блоге GBIF, посвящённом данным.

По умолчанию при поиске записей в GBIF отображаются как записи о присутствии, так и записи об отсутствии видов. Записи об отсутствии вида подтверждают, что в ходе обследования определённой территории данный вид не был обнаружен. Такая информация может быть полезна, например, при построении моделей экологических ниш. Если вас интересуют только записи о присутствии видов, вы можете отобрать их с помощью фильтра Occurrence Status («Статус присутствия»).

Термин Darwin Core establishmentMeans обозначает процесс, посредством которого биологический особь (или особи), указанные в записи «Occurrence», заселились в данном месте. Таким образом, он может служить полезным инструментом фильтрации для выявления записей, которые находятся за пределами естественного ареала вида; допустимыми терминами для этого поля являются «native», «nativeReintroduced», «introduced», «introducedAssistedColonisation», «vagrant» или «uncertain».

Основа записи — это термин стандарта Darwin Core, который обозначает конкретную природу записи и может относиться к одному из шести классов:

Поле basisOfRecord позволяет пользователям исключать записи об организмах, содержащихся в коллекциях ex situ, например в зоопарках и ботанических садах, а также записи об ископаемых остатках. Кроме того, с помощью этого поля можно фильтровать записи в зависимости от того, основаны ли они на коллекционных экземплярах или наблюдениях, что может быть полезно для проверки правильности таксономического определения.

В базе данных GBIF содержится множество музейных записей, которые могут оказаться более старыми, чем требуется для некоторых исследований.

Дублирование записей может возникать, когда об одном и том же организме создаётся несколько записей. Например, исследователь может передать несколько образцов, собранных с одного дерева, в гербарии разных стран, каждый из которых впоследствии публикует соответствующие данные в GBIF. Другая ситуация возникает, когда экземпляр организма поступает в естественно-научную коллекцию и одновременно используется для получения образца ДНК. В этом случае в GBIF могут появиться две записи: одна — о коллекционном экземпляре, другая — о последовательности ДНК.

GBIF внедрил в расширенный поиск функцию кластеризации, которая позволяет пользователям выявлять группы записей, предположительно происходящих из одного источника. Это помогает обнаруживать потенциально дублирующиеся данные и исключать их из результатов поиска.