Nesta função, você desenvolverá soluções de dados escaláveis para apoiar iniciativas de análise e inteligência de negócios. Você trabalhará com equipes de dados e áreas de negócio para transformar necessidades em arquiteturas e pipelines confiáveis, com atenção à qualidade, ao desempenho, à segurança e ao uso de ferramentas de IA para aprimorar os fluxos de trabalho de engenharia de dados.

Responsabilidades

• Desenvolver, otimizar e manter pipelines de dados e processos ETL/ELT
• Implementar arquiteturas de dados, incluindo data lakes, data warehouses e camadas de integração
• Criar verificações e processos de validação para garantir a qualidade e a confiabilidade dos dados
• Desenvolver integrações entre fontes de dados, ferramentas de terceiros e plataformas de análise
• Monitorar e otimizar o desempenho de pipelines, consultas e custos de armazenamento
• Documentar arquiteturas, pipelines e processos técnicos
• Aplicar boas práticas de segurança e apoiar a conformidade com normas de privacidade de dados
• Usar ferramentas de IA e automação para aprimorar os fluxos de engenharia de dados

Requisitos obrigatórios

• Experiência prática em migração de Databricks usando a ferramenta databricks/migrate, incluindo notebooks, jobs, clusters, secrets e ACLs, e migração do Unity Catalog para o Glue Catalog
• Experiência em migração de notebooks, jobs, pipelines DAG e pipelines DLT
• Experiência na refatoração de caminhos de armazenamento, migrando referências DBFS /mnt/ para locais com suporte do S3
• Experiência em migração de dados de Delta Lake para Iceberg no S3, incluindo tabelas Delta, arquivos brutos e sincronização incremental
• Conhecimento de reconfiguração de checkpoints de Auto Loader e DLT e deduplicação por event_id
• Experiência na validação de migrações com contagens de linhas, checksums, consultas de amostra e comparação de tempos de execução de ETL
• Experiência na recriação de secret scopes no AWS Secrets Manager
• Conhecimento de S3, Glue, Secrets Manager, fundamentos de IAM, Athena, Lake Formation e EMR
• Conhecimento de Spark SQL, PySpark, Java, Python e Scala
• Experiência em entregas ágeis em equipe, incluindo atualização diária de tickets, reuniões diárias e revisão de código

Diferenciais

• Certificação Databricks Certified Consultant Associate ou Professional
• Experiência em migração de DBR para EMR na AWS

O que esperamos
Esperamos que você combine experiência prática em engenharia de dados com atenção à qualidade, segurança e desempenho. Sua colaboração com equipes técnicas e áreas de negócio ajudará a entregar soluções confiáveis e úteis para a tomada de decisões.