Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos.
Principais responsabilidades:
- Desenvolver e manter pipelines de dados utilizando Databricks e Spark;
- Realizar ingestão, transformação e processamento de dados;
- Trabalhar com diferentes fontes e formatos de arquivos;
- Aplicar boas práticas de modelagem e manipulação de dados;
- Contribuir para a otimização de processos e performance dos workloads de dados.
Requisitos obrigatórios:
- Experiência prática com Databricks e Apache Spark;
- Sólidos conhecimentos de SQL, incluindo Window Functions;
- Conhecimento de modelagem e manipulação de dados;
- Experiência com processamento distribuído e Cluster Computing;
- Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown;
- Experiência com Delta Lake, incluindo versionamento e Time Travel;
- Conhecimento dos formatos Parquet e Avro;
- Experiência com leitura e gravação de dados em diferentes formatos.
Diferenciais:
- Experiência com Azure Data Factory;
- Vivência em ambientes Lakehouse e Azure Data Lake;
- Conhecimento em otimização de workloads Spark;
- Experiência com grandes volumes de dados;
- Conhecimento em streaming de dados;
- Experiência com CI/CD para pipelines de dados.
Tem interesse?
Preencha o formulário ou envie seu currículo para: vagas@innolevels.com.br, com o assunto: “Engenheiro(a) de Dados Pleno”
Innolevels | Tecnologia aplicada por pessoas para pessoas.