Автоматический контроль качества данных

Наводим порядок в данных и делаем так, чтобы он сохранялся: профилируем текущее состояние, описываем правила проверки, находим дубликаты и аномалии, приводим справочники к единому виду и встраиваем контроль в момент ввода. Разовая чистка без встроенного контроля возвращает данные в прежнее состояние за год.

Коротко о задаче

Плохие данные обнаруживаются не сами по себе, а через последствия.

Отчёты расходятся: две системы дают разные цифры по одному показателю, и на сведение уходит день. Рассылка уходит одному клиенту трижды, потому что он заведён в базе четыре раза с разным написанием. Аналитика показывает странности, которые оказываются не рыночным явлением, а опечатками. Модель прогнозирования не работает, потому что учить её не на чем. Интеграция с новой системой встаёт, потому что в поле «телефон» встречается двенадцать форматов и слово «нет».

Причины всегда одинаковы. Данные вводятся людьми в спешке. Обязательных полей мало, проверок нет. Справочники ведутся свободным текстом. Данные из разных систем сводятся без правил сопоставления. Импорт из внешних источников идёт как есть.

Разовая чистка проблему не решает. Через год всё вернётся, потому что причина осталась. Работающая схема — чистка плюс встроенный контроль на вводе плюс регулярное измерение качества.

Что входит в услугу

• Профилирование данных

Смотрим фактическое состояние: заполненность полей, распределение значений, форматы, выбросы, доля пустых и подозрительных записей. Отчёт по каждой таблице и каждому важному полю.

• Правила проверки

Формулируем, что считается корректным: обязательность, форматы, диапазоны, соответствие справочникам, согласованность между полями и между связанными записями.

• Поиск дубликатов

Нечёткое сопоставление записей с разным написанием, опечатками, сокращениями. Отдельно готовим правила объединения: какое значение считать верным при расхождении.

• Выявление аномалий

Поиск значений, выбивающихся из типичной картины: суммы на порядок выше обычного, даты в будущем, отрицательные количества, несуществующие сочетания.

• Нормализация справочников

Приведение контрагентов, номенклатуры, адресов и единиц измерения к единому виду с сопоставлением исторических записей.

• Встроенный контроль на вводе

Проверки в интерфейсе и на уровне базы, чтобы некорректное значение не попадало в систему. Это единственный способ удержать результат. Смотрите {{ссылка: Автоматизация бизнес-процессов}}.

• Регулярный контроль

Автоматические проверки по расписанию с отчётом о найденном и оповещением ответственных.

• Показатели качества

Набор измеримых показателей с динамикой: доля заполненных обязательных полей, доля записей без нарушений, число дубликатов. Качество становится управляемым, потому что измеряется.

• Целостность и прослеживаемость

Для регулируемых отраслей — фиксация всех исправлений с автором, временем, прежним значением и причиной. Смотрите {{ссылка: Целостность данных и аудиторский след: ALCOA+, Data Integrity}}.

Что это даёт заказчику

• Отчёты сходятся. Данные согласованы между системами.
• Клиент в базе один. Дубликаты найдены и объединены по понятным правилам.
• Мусор не попадает внутрь. Контроль работает на вводе, а не постфактум.
• Качество видно в цифрах. Показатели с динамикой вместо ощущений.
• Готовность к аналитике. Данные пригодны для отчётности, интеграций и моделей.
• Результат держится. Регулярные проверки не дают состоянию вернуться назад.

Как мы работаем

Начинаем с профилирования. Оно занимает немного времени и даёт объективную картину, которая нередко расходится с представлениями внутри компании.

Правила формулируем вместе с теми, кто работает с данными. Проверка, введённая без обсуждения, начнёт мешать работе, и её обойдут: заполнят поле пробелом или единицей.

Чистку и контроль запускаем вместе. Разовая чистка без контроля на вводе — потраченные деньги.

Наш опыт

Мы разрабатываем системы, где качество данных определяет пригодность всей работы. В платформе фармаконадзора ведётся более десяти тысяч зарегистрированных продуктов и более трёхсот держателей регистрационных удостоверений: расхождения в справочниках такого объёма делают отчётность невыполнимой, поэтому контроль встроен в ввод, а любое исправление фиксируется в журнале.

Отдельная практика — аудит внешних данных. Мы проводили полную проверку крупного реестра лекарственных препаратов, выявили и задокументировали набор проблем в данных и подготовили перечень для устранения, подтвердив при этом сохранность всех записей.

Расскажите, где у вас данные расходятся и что от этого страдает. Начнём с профилирования.