Comparto con la comunidad un proyecto de practica que he estado haciendo usando tecnologias open-source. Los servicios en el docker compose son los siguientes:

• Dagster: Orquestador de operaciones
• Airbyte: “EL” tool para extraccion de datos
• dbt: Herramienta para tranformacion de datos
• Snowflake: Data warehouse
• FastApi: REST API

En esta practica solamente me limite a crear los containers con los respectivos servicios y haciendo pequeñas pruebas de como los servicios se podrian comunicar entre si. Como usar en detalle cada herramienta no es el foco de esta practica, Espero que les sea de utilidad.

Parte 1

Parte 2

Parte 3

Parte 4

Parte 5

Parte 6

Parte 7

Parte 8

Parte 9

Parte 10

Codigo final: https://github.com/SaulBurgos/Data-Engineering-Project-public