Nesta posição, você liderará tecnicamente iniciativas de engenharia de dados em Databricks e Azure. Em parceria com a arquitetura de dados, ajudará a definir padrões, remover impedimentos e apoiar a entrega de pipelines escaláveis e confiáveis, alinhados às necessidades do negócio e à arquitetura Medallion.
Responsabilidades
- Orientar tecnicamente equipes de engenharia de dados, apoiando decisões, revisões de projeto e código e a resolução de impedimentos
- Definir, em conjunto com a arquitetura de dados, a visão técnica, os padrões de código e as convenções de modelagem para Lakehouse com Delta Lake e arquitetura Medallion
- Projetar e supervisionar pipelines em Databricks com PySpark e Spark SQL nas camadas Bronze, Silver e Gold
- Aplicar práticas de DataOps, incluindo controle de versão, CI/CD, testes automatizados e documentação
- Otimizar pipelines considerando particionamento, desempenho do Spark, custos e confiabilidade
- Apoiar a segurança, o controle de acesso e a governança de dados em Azure e Databricks
- Traduzir necessidades de negócio e analytics em soluções escaláveis e planos de entrega realistas
- Orientar engenheiros e criar referências, modelos e guias para acelerar o trabalho da equipe
Requisitos obrigatórios
- Experiência sólida em engenharia de dados e atuação como liderança técnica sênior, orientando equipes técnica e operacionalmente
- Experiência prática com Databricks, PySpark, Spark SQL e pipelines em lote; conhecimento de streaming quando necessário
- Domínio de Delta Lake e aplicação prática da arquitetura Medallion nas camadas Bronze, Silver e Gold
- Experiência com Azure para dados, incluindo Azure Databricks, Azure Data Lake Storage (ADLS) e integração com serviços de segurança e identidade, como Azure Active Directory
- Conhecimento sólido de SQL e Python, fundamentos de modelagem dimensional e de consumo, contratos e esquemas
- Experiência com DataOps, Git, CI/CD para pipelines de dados, testes automatizados e documentação
- Capacidade comprovada de revisar projetos e código, resolver questões de desempenho e escala e orientar equipes
- Inglês avançado para colaborar com stakeholders e produzir documentação técnica
Diferenciais
- Experiência com Unity Catalog, Databricks Workflows, Repos ou Delta Live Tables
- Conhecimento de ferramentas de qualidade de dados, como Great Expectations ou Soda, e/ou dbt em Lakehouse
- Experiência com orquestração por Airflow ou Databricks Workflows e observabilidade com métricas, logs e alertas
- Experiência com ingestão por CDC ou streaming usando Event Hubs ou Kafka, quando aplicável
- Vivência em consultoria ou com clientes internacionais e certificações Databricks ou Azure
O que esperamos
Esperamos que você combine liderança técnica e atuação prática para fortalecer padrões, apoiar a equipe e entregar soluções de dados confiáveis e escaláveis. Sua capacidade de colaborar com diferentes stakeholders e orientar decisões técnicas será essencial para conectar as necessidades do negócio a uma implementação consistente.