ETL на базе Apache Spark. Конфигурации преобразования в формате YAML. Сборка решения из «кубиков»
habr.comВ данной статье описываются технологии, использованные для построения полнофункционального ETL на базе Apache Spark. Статья планируется как первая в цикле статей о решении бизнес проблем с помощью созданного ETL с использованием существующих Open-Source решений.Ниже описывается решение задач ETL (Extract Transform Loading) средствами Apache Spark с выносом конфигурации базовых преобразований в файлы формата YAML и сохранением возможности реализовывать сложные преобразования путем написания скриптов на PySpark.Apache Spark используется в режиме Spark Connect.
Это упрощает взаимодействие с ядра ETL с Apache Spark.Apache Spark выбран в силу своей распространенности и большому числу форматов источников и мест назначения данных.Исходный код проекта доступен в репозитории на GitHub.Очень краткая документация расположена на сайте github.io.
