Descrição
Descrição:
O Airflow é um software criado pelo Airbnb e escrito em Python. Se tornou um software de código aberto em 2015 e logo depois foi cedida para a Apache Foundation.
Seu objetivo é orquestrar pipelines de tarefas agendadas por meio de arquivos python com instruções de sequenciamento definidas, chamados DAGs.
Para seu funcionamento, o Airflow conta com alguns elementos chave que permitem a existência da sinergia necessária entre tarefas, eventos, estados e filas, todos funcionando de maneira sincronizada e de acordo com configurações definidas pelo usuário. No software, temos uma estrutura composta basicamente das seguintes ferramentas:
– Airflow.cfg
– Web Server
– Scheduler
– Metadata
– Executors
Na aula de Introdução ao Software, as funcionalidades das ferramentas serão mais detalhadas.
Com a integração de todos esses componentes, o usuário é capaz então de escrever e programar a execução de diferentes conjuntos de tarefas acíclicas com uma imensa variedade de possibilidades para a execução de cada tarefa, que vão desde interpretadores Python, containers Docker e até mesmo comandos bash.
O curso é voltado para o tipo de pessoa que nunca teve o contato com o software Apache Airflow ou qualquer outro software baseado em DAGs.
Este curso foi feito como parte de um projeto em Iniciação científica da Universidade Federal do Vale do São Francisco.
Avaliações
Ainda não existem avaliações.