Engenheiro(a) de Dados Pleno – Big Data / Spark
Engenheiro(a) de Dados Pleno – Big Data / Spark
Sobre a oportunidade
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.
Responsabilidades
- Desenvolver, manter e otimizar soluções de processamento de dados;
- Projetar e desenvolver processos de ETL e transformação de dados;
- Implementar e manter pipelines utilizando Apache Spark;
- Apoiar iniciativas de integração de dados entre diferentes sistemas;
- Analisar e solucionar incidentes relacionados a dados;
- Garantir a qualidade, performance e confiabilidade das soluções de dados;
- Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile.
Requisitos obrigatórios
- Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;
- Conhecimento sólido em SQL, incluindo:
- ANSI SQL;
- Hive SQL;
- Spark SQL;
- Experiência com Apache Spark;
- Conhecimento em pelo menos uma das seguintes linguagens:
- Scala;
- Python;
- Java;
- Experiência com plataformas Big Data, como:
- Azure Databricks;
- Amazon EMR;
- Hive;
- Cloudera;
- ou outro ambiente baseado em Spark;
- Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;
- Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis;
- Conhecimento em ferramentas como:
- Git;
- GitHub;
- SonarQube;
- Nexus;
- Capacidade de análise de requisitos e trabalho colaborativo;
- Inglês nível B2 ou superior.
- Espanhol nível B2 ou superior.
Diferenciais
- Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;
- Conhecimento em automação de processos utilizando IA;
- Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.
Condições da posição
- Atuação 100% remota;
- É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;
- Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;
- Os currículos deverão ser apresentados em inglês.
Originally posted on