Александр Щелканов, «Триафлай»: Как очистить «грязные» данные?

Процесс очистки данных (Data Cleaning) является неотъемлемой частью жизненного цикла данных — от их создания и сбора до анализа и архивирования, так как позволяет устранить ошибки, дубликаты и несоответствия, которые могут повлиять на качество аналитики и принятие конечных решений.

Представьте: алгоритм машинного обучения (ML), обученный на исторических данных, взаимодействует с дубликатами заказов, пропущенными значениями и некорректными ценами. Вместо того чтобы выявлять реальные закономерности, модель начинает учитывать «шум» — ошибки в данных. Результат? Прогнозы предсказывают аномально высокий спрос на товары, которые никто не покупает. Компания запускает производство, тратит ресурсы на складирование, а потом вынуждена распродавать излишки с огромными скидками. Это не гипотетический сценарий. Например, в ритейле такие ошибки могут привести к перепроизводству сезонных товаров, которые потом приходится утилизировать, а в логистике — к неоптимальным маршрутам доставки, что увеличивает затраты на топливо и время.

К чему могут привести «грязные» данные

Нередко из-за «грязных» данных в компаниях возникают так называемые периоды простоя данных (data downtime) и серьезные сбои в бизнес-процессах. Количество подобных инцидентов растет последние несколько лет. Это, вероятно, связано с тем, что время на решение проблем с качеством данных увеличивается.

Но что означает простой данных для организаций? Как выглядят инциденты, связанные с качеством данных, и каковы их бизнес-последствия?

• В 2022 году Unity Technologies, разработчик популярной платформы для создания игр, столкнулся с проблемой «грязных» данных в своем инструменте для таргетированной рекламы. Ошибки в данных привели к некорректной работе алгоритмов машинного обучения и снижению их эффективности. Результатом стал удар по доходам компании: убытки составили около $110 млн, включая прямые потери, расходы на восстановление данных и задержку запуска новых функций. Акции Unity упали на 37%, а инвесторы начали сомневаться в стратегии компании. Генеральный директор Джон Риччителло заявил, что будут внедрены системы мониторинга и оповещения для предотвращения подобных проблем в будущем.
• В 2022 году компания Equifax, одно из крупнейших кредитных бюро, допустила массовую ошибку, выпустив неверные кредитные оценки для миллионов потребителей. У более чем 300 тыс. человек отклонения составили 20 и более баллов, что повлияло на процентные ставки или привело к отказам в кредитах. Ошибка была вызвана проблемой в устаревшей системе обработки данных, что привело к судебным искам и падению акций компании на 5%. Ранее, в 2017 году, Equifax уже заплатила $700 млн. за утечку данных 150 миллионов пользователей. В ответ на новый инцидент компания объявила об усиление усиления контроля за качеством данных.

Современные методы очистки данных

В эпоху Big Data и взрывного роста объемов данных, традиционные методы очистки и управления данными требуют кардинального пересмотра. Старые подходы, которые когда-то работали, уже не справляются с современными вызовами. Данные поступают из множества источников: IoT-устройств, CRM-систем, социальных сетей. Их объемы измеряются терабайтами и петабайтами. При этом они имеют разнородные форматы и часто содержат мусор и скрытые ошибки.

Рассмотрим несколько автоматизированных методов, которые помогают компаниям не только очищать данные, но и адаптироваться к будущим изменениям.

AI и ML на страже качества данных

Современные алгоритмы машинного обучения способны не только находить ошибки, но и предсказывать их появление. Например:

• Кластеризация помогает находить дубликаты записей о клиентах, даже если их имена или адреса похожи, но при этом написаны с ошибками.
• Алгоритмы обнаружения аномалий выявляют выбросы, которые могут исказить аналитику. В данных о продажах интернет-магазина обнаружен заказ на 1000 единиц товара, хотя средний размер заказа составляет 2-3 единицы
• Предсказание пропущенных значений с помощью регрессионных моделей позволяет заполнить пробелы в данных без потери точности. В базе данных клиентов отсутствует информация о возрасте для 10% записей. Регрессионная модель может предсказать возраст на основе других параметров, таких как доход, образование или регион проживания.

Data Profiling: анализ данных на новом уровне

Профилирование — это процесс анализа и оценки качества, структуры и содержания данных. Инструменты профилирования позволяют не только определить типы данных и их формат, но и выявить скрытые закономерности и аномалии. Например, при анализе базы данных клиентов можно обнаружить, что 10% записей содержат невалидные email адреса, что приведет к проблемам в коммуникации и негативно повлияет на эффективность маркетинговых кампаний.

Data Pipelines: автоматизация на каждом этапе

Современные конвейеры данных (Data Pipelines) постепенно становятся важным инструментом для российских компаний, стремящихся к цифровой трансформации в условиях растущих объемов информации.

Конвейер данных — это автоматизированная система, которая последовательно выполняет задачи по сбору, обработке, очистке и передаче данных из различных источников в целевые хранилища или аналитические системы. Представьте его как «конвейер на фабрике»: данные поступают на вход, проходят через несколько этапов обработки (например, фильтрацию, преобразование, обогащение) и на выходе получаются готовые к использованию, чистые и структурированные данные.

Компания может использовать конвейер для автоматической интеграции информации из различных источников, таких как клиентские базы, системы управления запасами и веб-аналитика в рамках единого сценария преобразования данных, который исполняется по гибким условиям. Это позволяет создать единую платформу для анализа поведения клиентов и оптимизации товарных запасов. Например, один из крупнейших отечественных банков использует конвейеры данных для анализа процессов в реальном времени и оптимизации бизнес-процессов, а сотовые операторы — для интеграции данных из различных источников, что улучшает качество аналитики и персонализацию услуг.

Однако при внедрении таких решений компании сталкиваются с серьезными трудностями: дефицит кадров, необходимость интеграции с устаревшими системами и соблюдения регуляторных требований, особенно в банковской и телекоммуникационной отраслях, где важно обеспечить безопасность и конфиденциальность данных.

В заключении важно отметить, что проблема «грязных» данных остается критически важной для современных компаний, независимо от их масштаба или отрасли. Ошибки в данных не только подрывают доверие к аналитике, но и приводят к значительным финансовым потерям, репутационным рискам и сбоям в бизнес-процессах. В условиях стремительного роста объемов данных и усложнения их структуры бизнесу необходимо уделять особое внимание автоматизации процессов с использованием Data Pipelines и внедрению инструментов искусственного интеллекта. Эти меры позволяют минимизировать человеческий фактор, повысить качество данных и обеспечить их надежность, что становится ключевым фактором успеха в эпоху цифровой трансформации.

IT-World