У нас 2 основных дага: один создаёт схемы, второй ходит по api, загружает данные в папку в виде файлов, прогружает их же в dds (часть данных), а потом обновляет cdm. В папке sql лежат скрипты для дага, который обновляет витрины в dds и cdm.
Сложным моментом оказалось выяснить, что же из себя представляет "покупка". Мы решили её обозначать как: посещение пользователем 4-х страниц в таком порядке: product, cart, payment, confirmation. И реализовали это на спарке: first_dm.py