Seja expert em manipulação

de dados na plataforma Databricks

Especialistas em Databricks

em Português

Preencha o formulário e solicite mais informações!

Seus dados estão protegidos.

Treinamentos com até 10 pessoas

A Databricks - plataforma de análise de dados unificada para engenharia de dados, machine learning e ciência de dados colaborativa - oferece cursos somente em inglês. Pensando em democratizar o conhecimento e auxiliar na preparação para a certificação, a Eleflow desenvolveu os treinamentos em português com mais aplicações práticas.

Treinamentos

Para quem é recomendado estes treinamentos?

Engenheiro(a)s de Dados;

Engenheiro(a)s de Machine Learning;

Cientistas de Dados;

Arquiteto(a)s de Dados;

Analistas de Dados

O que você vai aprender

Revisão dos conceitos de arquitetura de dados, fazendo uma introdução ao paradigma do Lakehouse, e apresentando uma visão detalhada dos conceitos e ferramentas do Delta Lake.

Objetivos:

Construir um pipeline de dados OLAP, tanto em batch, quanto em streaming usando Databricks Workspace;

Disponibilizar dados para o consumo dos stakeholders por meio de padrões específicos

de design;

Aplicar as recomendações de melhores práticas

de engenharia Databricks por uma única fonte

da arquitetura Delta. 

Pré-requisitos:

Experiência intermediária a avançada em

programação em Python;

Nível Intermediário a avançado em SQL;

Experiência básica usando Spark DataFrames API;

Conhecimento básico de conceitos de engenharia

de dados;

Conhecimento básico das ferramentas e casos

de uso do Delta Lake.

Guia profissional por todo o processo de criação de pipelines de machine learning usando Apache Spark até a criação de soluções para paralelizar o modelo de treinamento, fazer

ajustes de hiper parâmetro e inferências. 

Objetivos:

Criar pipelines para o processamento de dados com Spark;

Construir e regular modelos de Machine Learning com SparkML;

Rastrear, criar versões, e implementar modelos com Mlflow;

Realizar ajustes de hiperparâmetros de forma distribuída com Hyperopt;

Saber usar Spark para escalar a inferência de modelos de nós únicos.

Pré-requisitos:

Experiência intermediária com Python;

Experiência inicial com API PySpark DataFrame (ou já ter concluído o treinamento de programação Apache Spark com Databricks);

Conhecimento prático de Machine Learning e Ciência de Dados. 

Por meio de um caso de uso, este curso explora os fundamentos da programação Spark com Databricks, o que inclui: arquitetura do Spark, API DataFrame, otimização de query e processamento de streaming.

Objetivos:

Definir os principais componentes da arquitetura e hierarquia de execução do Spark;

Descrever como DataFrames são criados, transformados e avaliados no Spark;

Aplicar a API do DataFrame para explorar, pré-processar, executar joins e fazer o processo de ingestão de dados em Spark;

Aplicar a API de Processamento de Streaming para performar análises em dados de streaming;

Navegar pela Spark UI e descrever como o catalyst optimizer, particionamento, e o armazenamento em cache afetam o desempenho de execução do Spark. 

Pré-requisitos:

Conhecimento básico de conceitos SQL (select, filter, groupby, join,etc);

Experiência de programação com Python ou Scala (sintaxe, condições, loops, funções).

Introdução ampla a Databricks SQL: ingestão dos dados, escrever queries, produzir visualizações e dashboards e configurar alertas.

Objetivos:

Conseguir importar e persistir dados no Databricks SQL como tabelas e views;

Realizar queries em Databricks SQL;

Usar Databricks SQL para criar visualizações e dashboards;

Criar alertas de eventos específicos para notificar stakeholders;

Compartilhar queries e dashboards com outros.

Pré-requisitos:

Conhecimento básico de conceitos SQL (select, filter, groupby, join, etc).

Nossos especialistas

Dirceu Semighini

Leandro Souza

Arquiteto de soluções e dados sênior com mais de 10 anos de experiência em vários setores do mercado incluindo: Financeiro (hub de pagamento), Governo, Varejo, Internet, Supply Chain, Indústria de Manufatura e Serviços. Grande experiência em desenvolvimento do backend de sistemas com Java e Scala. Professor Adjundo por 10 anos na Universidade Paulista. Mestre em Engenharia Elétrica pelo Laboratório de Sistemas Integráveis - POLI/USP.

Líder técnico certificado com experiência em projetos de engenharia de dados, desenvolvimento de sistemas e business intelligence. Liderança de projetos e equipes ágeis utilizando como principais tecnologias, recursos Azure (SQL Server, Power BI, Functions, Databricks, DevOps, etc) e certificado SCRUM. Graduado em Processamento de Dados pela Faculdade de Tecnologia de Sorocaba , e MBA em IT Management e Data Science.

Marcos Haraoka

Celio Hira

Engenheiro de dados sênior experiente em limpeza, padronização, ETL e visualização de dados. Experiência em casos de uso de negócios incluindo: Bancário, Varejo, Telecomunicações entre outros. Experiência liderando Provas de Conceito, Provas de Tecnologia, Demonstrações e Customizações de Software. Experiente com ferramentas de Big Data Analytics na Eleflow, usando: Spark, HDFS, Hive, Kafka, HBase, Infosphere Streams, Netezza, DB2, Bluemix, Cloud.Experiência em linguagens de script (Perl, Shell, Python), linguagem de consulta estruturada (SQL), funcional (Scala), orientada a objetos (Perl, Java), imperativa (C). Formado Ciência da Computação (2010) e especialização em Data Science & Big Data Analytics (2016) Universidade Presbiteriana Mackenzie.

Profissional sênior com mais de 10 anos de experiência como desenvolvedor de soluções de software e mais de 4 anos de experiência em projetos de Dados, atuando como engenheiro e cientista de dados. Experiente com sucesso em projetos de Manutenção Preditiva, Forecast de Vendas e cálculo de Churn entre outros. Atuação em projetos de vários segmentos, incluindo varejo, saúde, indústria e financeiro. Experiência como Technical Team Leader, na construção de Data Lake em Cloud.Experiência “hands on” implementando algoritmos de machine learning, Python, SciKit-Learn, Spark, Scala, AWS, MS Azure, Hadoop e Java. Mestre em Engenharia Elétrica pelo Laboratório de Sistemas Integráveis -POLI/USP (2008), Engenheira de Computação - POLI/USP (2004).

Sobre a Eleflow

Por que realizar treinamentos junto a Eleflow?

Tecnologias

© 2022 Eleflow