Engenheiro de Dados 26-03-2024 – Oportunidades DF

Engenheiro de Dados – Pleno

Bancorbrás

Totalmente Remoto

Salário + Abonos anuais + Assistência médica + Assistência odontológica + Auxílio academia + Auxílio creche + Auxílio educação + Seguro de Vida + Vale-alimentação + Vale-refeição

09:00 – 12:00 – 13:00 – 18:00

Efetivo – CLT

Descrição e Responsabilidades

Seu dia a dia na Bancorbrás:

Projetar, desenvolver e implementar soluções de engenharia de dados eficientes e escaláveis;

Colaborar com equipes multifuncionais para entender requisitos e garantir a entrega de soluções de alta qualidade.

Implementar processos de CI/CD para automação e entrega contínua.

Gerenciar ambientes Kubernetes, aproveitando as ferramentas da AWS, como EKS.

Utilizar efetivamente as ferramentas AWS Developer Tools, incluindo CodeCommit, CodeBuild, CodeDeploy e CodePipeline.

Desenvolver e otimizar jobs Spark (PySpark) para processamento eficiente de grandes volumes de dados.

Trabalhar com Tabela Delta para garantir consistência e confiabilidade nos dados.

Desenvolver Web Crawlers para coleta e processamento de dados da web.

Configurar e manter fluxos de trabalho de dados utilizando Apache Airflow.

Implementar e gerenciar ambientes Kafka para streaming de dados.

Utilizar Terraform para a implementação e gestão de infraestrutura como código (IAC).

Trabalhar com Databricks e Snowflake para armazenamento e processamento eficiente de dados.

Requisitos

O que esperamos de você:

Curso Superior em Tecnologia ou áreas correlatas;

Experiência sólida com AWS, incluindo EKS, Glue, Athena, IAM, Lambda, ECR, RDS e DynamoDB.

Conhecimento avançado em CI/CD.

Proficiência em Kubernetes.

Experiência em desenvolvimento com Spark (PySpark) e Delta Table.

Experiência com Web Crawling.

Habilidade em programação Python.

Experiência com Apache Airflow.

Conhecimento em Kafka.

Experiência com Terraform (IAC).

Familiaridade com Databricks e Snowflake.

Será um diferencial se você tiver:

Certificação e/ou curso(s) na área de Engenharia de Dados

Azure DevOps;

ME INSCREVER