Nesta oportunidade, você trabalhará com engenharia de dados e Databricks para transformar dados de migração em informações confiáveis e prontas para uso. Você fará parte de uma equipe que desenvolve soluções de tecnologia e inteligência artificial para gerar impacto real nos negócios.

Responsabilidades

• Criar pipelines de ingestão no Databricks com arquitetura medalhão, utilizando Auto Loader e Delta Lake
• Desenvolver processos de reconciliação entre versões de dados, incluindo contagens, comparações de campos, mapeamento de tabelas e aplicação de regras de validação em larga escala
• Modelar a camada gold para relatórios sobre taxas e motivos de aprovação e rejeição, com visões segmentadas por cluster e objeto
• Disponibilizar resultados por meio de uma API para uma aplicação web e documentar seu contrato
• Configurar permissões, linhagem e auditoria de dados no Unity Catalog
• Orquestrar processos com Workflows ou Jobs, incluir verificações de qualidade e gerenciar o controle de versão com Databricks Asset Bundles

Requisitos obrigatórios

• Experiência em engenharia de dados, com pelo menos dois anos de uso de Databricks, incluindo PySpark, Delta Lake, Unity Catalog e Workflows
• Conhecimento avançado de SQL e Python
• Experiência com reconciliação ou validação de dados em projetos de migração
• Conhecimento de estruturas de dados SAP
• Experiência na elaboração de relatórios baseados em dados de sistemas
• Inglês avançado para conversação

Diferenciais

• Familiaridade com práticas de qualidade, governança e linhagem de dados
• Experiência na criação de APIs para disponibilizar dados a aplicações web

O que esperamos
Esperamos que você aplique sua experiência em engenharia de dados para desenvolver pipelines, validações e relatórios confiáveis. Sua atenção à qualidade dos dados e sua capacidade de colaborar em inglês serão importantes para contribuir com as soluções do time.