O Airflow é uma plataforma que serve para criar, agendar e monitorar fluxos de trabalhos de maneira programática. Com ele podemos criar fluxos de trabalhos baseados no conceito de DAGs, isto é, gráficos acíclicos direcionados de tarefas. Além de agendar as tarefas e executá-las segue a lógica das dependências específicas entre as tarefas. Possui uma interface gráfica muito intuitiva como também controle e manutenção do código, além de estar nas Clouds mais usadas no mercado, Google Cloud Plataform, Azure e AWS.

1-Extraindo dados de câmbios especiais.

Podemos em breve querer viajar quando tudo voltar ao normal e efetuar a compra de moeda estrangeira para algum…


Sempre gostei muito de cães, e cá entre nós quem não gosta de criar um animalzinho de estimação. Pensando nisso resolvi fazer uma pesquisa aplicando machine learning para classificar grupos de raças de cachorros.

Para obter os dados foi criado um coletor utilizando Selenium e Python. Você pode conferir o código publicado em meu repositório GitHub nesse link https://github.com/eosdev/dsPython/blob/master/scriptDogsBreed.ipynb.

As fontes de dados utilizadas foram retiradas dos seguintes websites, https://dogtime.com/dog-breeds/profiles/ , https://www.akc.org/dog-e breeds, https://wagwalking.com/breed/, todos utilizando técnicas de webscraping.

1. Modelagem dos Dados

Nossa base de dados possui vários atributos que medem o score de 1 a 5. Quanto mais forte a característica do…


A um tempo atrás mudei da linguagem R para Python, e olha que gosto muito de R, mas usar Python tem possibilitado a avançar exponencialmente em pequenos trabalhos no dia a dia isso pela grande contribuição da comunidade pitônica.

Ciência de Dados além de reunir um conjunto ferramental, como estatística, tecnologia e negócios podemos mencionar também que o insumo principal desse conjunto são os dados. Hoje vou mostrar que com poucas linhas de código é possível mover arquivos, copiar e o mais importante otimizar nosso tempo, então vamos lá.

Eden Santana

Economist | Data Scientist

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store