Você fará parte de um programa de modernização de dados de grande escala para um dos maiores sistemas de saúde da América Latina. Como Engenheiro(a) de Dados Sênior, você analisará, converterá e validará workloads legados, migrando processos baseados principalmente em SQL Server e SSIS para uma plataforma Databricks Lakehouse no Azure. No dia a dia, você usará ferramentas de inteligência artificial como apoio à engenharia, sempre aplicando seu julgamento técnico e seguindo os padrões de segurança e qualidade. Se você reside na Região Metropolitana de Campinas, deverá comparecer aos escritórios da cidade, conforme a política de frequência vigente.
Responsabilidades
- Analisar pipelines, packages SSIS, consultas, procedures, jobs e integrações para mapear regras de negócio, dependências e riscos
- Converter e modernizar workloads para Databricks SQL, Spark SQL ou PySpark, preservando o comportamento esperado dos processos
- Usar agentes de programação com inteligência artificial para investigar código, implementar conversões, criar testes e documentar soluções, revisando criticamente os resultados
- Criar e aprimorar automações, validadores e ferramentas de apoio à migração
- Desenvolver testes e comparar resultados entre os ambientes legado e modernizado, investigando divergências e registrando evidências
- Colaborar com engenheiros de dados, lideranças técnicas, arquitetos e especialistas do cliente em revisões, troubleshooting e decisões técnicas
- Documentar dependências, riscos, decisões e orientações operacionais, respeitando os controles de segurança e governança
Requisitos obrigatórios
- Experiência sólida em engenharia ou desenvolvimento de dados e manutenção de pipelines
- Conhecimento avançado de SQL e experiência prática com SQL Server, incluindo T-SQL, stored procedures, views, funções, SQL Agent Jobs e integrações entre bancos
- Experiência com SSIS, incluindo análise, desenvolvimento ou troubleshooting de packages
- Experiência com Databricks ou Apache Spark, incluindo Spark SQL, PySpark, notebooks, Delta Lake e execução de jobs
- Experiência com Python para pipelines, automações, scripts ou testes
- Familiaridade com Azure e serviços como ADLS Gen2, Azure SQL, Key Vault, identidades e redes
- Experiência com Git, pull requests, revisão de código, CI/CD, testes automatizados e validação de pipelines
- Experiência em migração, modernização ou sustentação de ambientes legados
- Experiência prática com agentes de programação, como Claude Code, Codex ou ferramentas equivalentes, e capacidade de avaliar criticamente o código gerado
- Familiaridade com estratégias de orquestração, como Apache Airflow ou Databricks Workflows
- Capacidade de investigar sistemas pouco documentados, lidar com ambiguidades e colaborar com diferentes equipes técnicas
- Português fluente e inglês suficiente para documentação e interação técnica
Diferenciais
- Experiência em ambientes com grande volume de packages SSIS e conhecimento de SSISDB, arquivos .ispac ou Project Deployment Model
- Familiaridade com Lakebridge, ferramentas de conversão de SQL, análise estática, parsers ou reconciliação de dados
- Experiência na criação de instruções, skills, hooks, subagentes, servidores MCP ou mecanismos equivalentes para agentes de programação
- Conhecimento de APIs ou SDKs de modelos de linguagem, uso de ferramentas ou saídas estruturadas, e criação de avaliações para código gerado por inteligência artificial
- Experiência com Oracle, OLE DB, linked servers, OPENROWSET, SAP, compartilhamentos de arquivos locais ou outras integrações corporativas
- Conhecimento de PySpark, Sqoop, Hadoop, Hive, EMR, Unity Catalog, linhagem de dados, governança ou infraestrutura como código
- Experiência em setores regulados e conhecimento de proteção de dados sensíveis
O que esperamos
Esperamos que você conduza com autonomia a análise, implementação e validação de workloads complexos, investigue inconsistências com profundidade técnica e use inteligência artificial de forma responsável. Sua organização, colaboração e capacidade de transformar aprendizados em testes, documentação e padrões reutilizáveis ajudarão a reduzir retrabalho e elevar a qualidade das migrações.