​
Pipelines de Extração e Carga

​
Visão Geral

Os pipelines de Extração e Carga de dados são responsáveis por levar os dados até a primeira camada de dados dentro do BigQuery, a camada bronze (etapa staging):

Os nossos pipelines de extração e carga de dados são públicos e estão disponíveis nos seguintes repositórios:

Para usar os repositórios, use a seguinte documentação: Criação de pipelines

​
Conhecimentos Necessários

Para desenvolver um pipeline de extração e carga de dados, é necessário os seguintes conhecimentos:

  • Linguagem Python para montar os scripts de extração e carga.
  • Versionamento de código em Git.
  • Ferramenta Prefect para orquestração dos scripts Python.

​
Onde Aprender

Para aprender a extrair e carregar os dados no Data Lake, indicamos consumir o material desenvolvido pelo Escritório de Dados: