От DWH на Greenplum к Data Lakehouse: опыт миграции дата-платформы от Лемана Тех
habr.comХабр, привет! Меня зовут Артемий Наумов, я инженер данных в Лемана Тех. Наша команда развивает корпоративное хранилище данных и переносит сборку витрин с Greenplum на Data Lakehouse.Причиной перехода стали начавшиеся регулярные проблемы в DWH: пользователи конкурировали за ресурсы, для масштабирования нужно было найти подходящее оборудование, а проверки пользовательского кода было сложно собрать в одном процессе.
Мы рассмотрели Data Lakehouse, провели PoC и начали развивать новую платформу.При миграции мы поставили две цели: сохранить эффективность сборки витрин и привычный для команд сценарий работы.
