В данном видео показан пример простейшего ETL процесса на платформе Airflow. Для этого реализован DAG, ссылку на код можно видеть ниже. Данные подгружаются с одного источника метеоданных через API, выполняется преобразование данных в нужный формат и далее данные передаются на оператор Load для последующей загрузки в нужное хранилище.
Ссылка на код:
gist.github.com/MachineLearni...
Более подробно вы можете познакомиться с нашими курсами по Apache AirFlow здесь
КУРС DATA PIPELINE НА APACHE AIRFLOW И APACHE HADOOP
www.bigdataschool.ru/courses/...
КУРС DATA PIPELINE НА APACHE AIRFLOW И ARENADATA HADOOP
www.bigdataschool.ru/courses/...
Еще видео по Apache Airflow:
Часть 1: Начало работы с apache airflow - • Начало работы с apache...
Часть 3: ETL на airflow c postgresql - • ETL на airflow c postg...
По вопросам обучения на курсах машинного обучения приглашаем в нашу «Школа Больших Данных»
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Facebook: / bigdataschoolru
Вконтакте: vk.com/bdschool_mck
LinkedIn: / bigdataschoolru
Twitter: / bigdataschoolr
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru
Негізгі бет ETL на airflow - Курсы "Школы Больших Данных" г. Москва
Пікірлер: 32