Что делать с данными, которые не прошли проверку качества: история 500 миллионов возвращенных строк
Привет, Хабр! Меня зовут Илья Лысенко, я работаю в команде платформы данных Lamoda и занимаюсь пайплайнами продуктовой аналитики и качеством данных.Полтора года назад мы открыли дашборд и увидели график отклоненных строк, идущий отвесно вверх: больше миллиона событий в день перестали проходить валидацию.
Источник событий молча поменял формат критического поля, а downstream‑потребители, аналитики и дата‑сайентисты, об этом даже не подозревали.Вариантов действий в такой ситуации обычно два.
habr.com