Atividades:
Será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.
Requisitos:
Experiência com engenharia de dados;
Implantação, administração, otimização e troubleshooting de frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
Apache Ranger para controle de acessos e segurança do MinIO;
Experiência em Delta Lake;
Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL)
Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server)
Experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
Conhecimento em GitLab (ou outro versionador de código similar);
Implantação e administração de JupyterHub para múltiplos usuários
Projeto: Agência Nacional de telecomunicações
Modalidade: Home Office
Contratação: CLT
Remuneração + beneficios
Inscrição: https://app.jobfy.pro/55879