Документация

В этом модуле рассматривается важность документирования.

В этом видео (09:47) мы рассмотрим важность документирования в контексте управления данными и их публикации. Вы узнаете о сопоставлении данных, связях между данными и метаданных.

Если у вас не получается посмотреть встроенное видео, вы можете download скачать его на свой компьютер. (MP4 — 35,2 МБ)

Текст презентации

Нажмите, чтобы раскрыть

Слайд 1 — Основы — Документация

В этой презентации мы рассмотрим важность документирования в контексте управления данными и их публикации. Вы узнаете о сопоставлении данных, связях между данными и метаданных.

Слайд 2 — Документация

В предыдущих презентациях раздела «Основы» мы рассмотрели отдельные элементы, из которых состоят ваши данные, а также структуры, в которых они хранятся. Теперь мы рассмотрим способы документирования этих данных и того, что вы планируете с ними делать. По словам режиссёра Стивена Спилберга (Steven Spielberg): «Люди разучились рассказывать истории. У историй больше нет ни середины, ни конца. Обычно у них есть начало, которое никак не перестаёт начинаться». (Стивен Спилберг) Документация — это история вашего проекта или набора данных. У неё всегда должны быть чётко определённые начало, середина и конец. По сути, на каждом этапе вы должны уметь ответить на определённые вопросы: В начале: чего мы хотели достичь в рамках проекта? С какой целью был создан набор данных?

В середине: что мы фактически сделали? Чего нам удалось достичь?

В конце: чего нам не удалось достичь? Почему? Что следует делать дальше?

Слайд 3 — Основные понятия

Чтобы документировать данные и сделать их максимально пригодными для использования как вами, так и будущими пользователями, необходимо выполнить три основных шага:

При необходимости сопоставить ваши данные с существующими форматами и стандартами
Планирование перемещения данных
Создание информативных метаданных, описывающих ваши данные

Слайд 4 — Сопоставление данных

Сначала мы рассмотрим способы описания ваших данных, затем покажем, как сопоставлять данные при переходе от одной структуры данных к другой, и, наконец, поговорим о том, как документировать метаданные ваших данных. Начнём с сопоставления данных. Это процесс, позволяющий определить, каким образом поля одного набора данных могут быть преобразованы в соответствующие поля другого набора данных. ПСопоставление данных — это «процесс определения исходного поля (или полей) в наборе данных A и соответствующего ему поля (или полей) в наборе данных B». В этом примере набор данных A состоит из 10 столбцов. В него входят: * несколько полей с целочисленными значениями, обозначенных фиолетовыми квадратами, * несколько логических полей, обозначенных красными треугольниками * несколько полей с датами, обозначенных синими пятиугольниками * несколько текстовых полей, обозначенных зелёными восьмиконечными звёздами * и несколько полей со сложной структурой

Слайд 5 — Сопоставление данных

Набор данных B содержит другой набор полей — всего 15. Нам необходимо определить, какие поля из набора данных A соответствуют каким полям из набора данных B

Слайд 6 — Сопоставление данных из A с B

Для этого мы описываем соответствия между полями.

Например, в наборе данных A есть поле ID, и такое же поле есть в наборе данных B. Мы можем провести линию непосредственно между этими двумя полями. Такое соответствие называется «один к одному». Вопрос: Видите ли вы другие соответствия «один к одному»? Ответ: State, Exp?, Pink Elephant! Другой тип соответствия — «один ко многим». В этом случае одно поле в наборе данных A соответствует двум или более полям в наборе данных B. Примером может служить поле Date. Также встречаются случаи, когда несколько полей набора данных A содержат данные, соответствующие нескольким полям набора данных B. Особенно часто это бывает с полями для примечаний.

Слайд 7 — Планирование переноса данных — Связи между данными

На самом деле существует шесть типов связей:

Некоторые поля будут иметь соответствие «один к одному» (1:1), то есть исходный столбец в наборе данных A точно соответствует одному столбцу в наборе данных B
Некоторые поля будут иметь соответствие «многие к одному» (∞:1), то есть несколько столбцов в наборе данных A могут быть объединены (или соединены) в один соответствующий столбец в наборе данных B
Некоторые поля будут иметь соответствие «один ко многим» (1:∞), то есть один столбец в наборе данных A необходимо разделить на два или более полей, чтобы они соответствовали полям в наборе данных B
Некоторые поля могут пока отсутствовать — соответствие «ноль к одному» (0:1), то есть определённая информация отсутствует в наборе данных A и должна быть добавлена в новый столбец, соответствующий существующему полю в наборе данных B
Некоторые поля могут не иметь соответствующего поля — соответствие «один к нулю» (1:0), то есть определённая информация, присутствующая в наборе данных A, не соответствует ни одному существующему полю в наборе данных B
Некоторые поля будут иметь соответствие «многие ко многим» (∞:∞), то есть информация в наборе данных A распределена по нескольким полям, которые не имеют точного соответствия полям в наборе данных B

Слайд 8 — Планирование переноса данных — Преобразования

Каждый тип соответствия имеет свои особенности, которые необходимо учитывать при преобразовании данных.

один к одному (1:1) — обратите внимание на типы полей. Если они не совпадают, вам придётся выполнить некоторые преобразования.
«многие к одному» (∞:1) — данные из этих полей необходимо объединить, чтобы поместить их в одно поле.
«один ко многим» (1:∞) — данные из этих полей необходимо разделить и поместить в разные поляя
«ноль-к-одному» (0:1) — определите, каким образом (и возможно ли вообще) заполнить эти поля. Возможно, нужная информация содержится в поле для примечаний? Если да, то как её оттуда извлечь?
один к нулю (1:0) — либо исключите эти данные, либо добавьте новое поле. В другом наборе данных для этой информации может вообще не быть подходящего поля. Нужно ли и можно ли создать новое поле?
«многие-ко-многим» (∞ : ∞) — «ради всего святого!» Обычно это означает, что ваши исходные данные очень неупорядочены и потребуется время, чтобы очистить их, прежде чем можно будет выполнить сопоставление.

Слайд 9 — Планирование переноса данных — Документ сопоставления данных

Это пример того, как выглядит документ сопоставления данных. Обратите внимание, что мы не только документируем соответствия между полями, но и описываем (насколько позволяют имеющиеся у нас знания), какие преобразования необходимо выполнить с данными.

Слайд 10 — Метаданные

Мы много говорили о документировании структур, в которых хранятся ваши данные, однако необходимо также документировать информацию, которая описывает контекст этих данных. Такая информация называется метаданными, то есть данными о ваших данных! Как мы уже отмечали в разделе, посвящённом качеству данных, «метаданные должны быть достаточно подробными, чтобы третья сторона могла использовать или повторно использовать данные без необходимости обращаться к их источнику».

Слайд 11 — Метаданные

Мы более подробно рассмотрим этот вопрос в следующих разделах, а пока в качестве краткого ориентира отметим, что хорошая документация должна включать:

Название — оно должно быть информативным, запоминающимся и, по возможности, уникальным. Например, в название набора данных полезно включать даты, поскольку это позволяет отслеживать его версии.
Описание — должно объяснять цели создания набора данных. Оно должно содержать как минимум общую информацию о географическом, временном и таксономическом охвате и давать потенциальному пользователю общее представление о том, для каких целей эти данные могут использоваться без дополнительного преобразования.
Информация об источнике — если вы не сами собирали или получали эти данные в результате измерений, то откуда или от кого они были получены?
Происхождение данных — есть ли у набора данных история? Были ли какие-либо поля каким-либо образом преобразованы по сравнению с исходными данными?
Сведения о точности — с учётом понятий точности, прецизионности, ошибок и неопределённости, которые мы обсуждали ранее, есть ли в наборе данных какие-либо особенности или проблемы, о которых следует знать пользователю?
Даты и срок актуальности — когда набор данных станет доступен? Как долго он будет оставаться актуальным? Когда и будет ли он вообще обновляться?
Определения полей — описание формата полей и того, какие данные содержатся в каждом из них. Проводилась ли очистка или преобразование исходных данных? Это важно знать при сопоставлении данных со стандартом, таким как Darwin Core.
Методика сбора данных — как были собраны данные? Использовались ли при их сборе определённые протоколы, которые могут повлиять на пригодность данных для использования?
Сведения о полноте данных — какая информация отсутствует в данных и почему?
Условия использования и ограничения — где и каким образом можно использовать данные? Большинство порталов, и в частности GBIF, требуют использования максимально открытых лицензий, поэтому очень важно понимать требования владельцев данных и организаций, которым они принадлежат.
Ответственные лица и контактная информация — следует указать организацию, ответственную за предоставленный вам набор данных, а также, по возможности, человека, который создал этот набор данных. Кроме того, необходимо указать контактное лицо по техническим вопросам, отвечающее за публикацию набора данных.

Слайд 12 — Заключение

Это видео является частью серии презентаций, используемых в курсе GBIF по мобилизации данных о биоразнообразии. Учебная программа по мобилизации данных о биоразнообразии была первоначально разработана в рамках Программы развития информационных ресурсов по биоразнообразию, финансируемой Европейским союзом. Эта презентация была первоначально подготовлена Шэрон Грант (Sharon Grant). Текст презентации озвучила Софи Памерлон (Sophie Pamerlon)н.