*O que esperamos que você realize:*
– *Arquitetura de Modelagem de Dados*: Desenvolver e implementar a arquitetura necessária para o MDM de Pacientes. – *Documentação de Regras de Negócios*: Especificar e documentar as regras de negócios que guiarão a unificação e o tratamento dos dados. – *Pipelines de Processamento*: Implementar pipelines de dados no Databricks para garantir a eficiência no processamento. – *Lógicas de Matching e Deduplicação*: Criar lógicas para matching, deduplicação e geração do golden record de pacientes. – *Qualidade de Dados*: Estabelecer fluxos para garantir a qualidade e validação dos dados. – *Manutenção de Tabelas*: Criar e manter tabelas integradas de acordo com as regras de negócios definidas. – *Rotinas de Atualização*: Implementar rotinas para atualização e sincronização dos dados. – *Code Reviews e Mentoria*: Participar de revisões de código e oferecer mentoria técnica para a equipe. – *Colaboração com Stakeholders*: Trabalhar junto aos stakeholders de negócios para refinar e validar regras e requisitos.
*Requisitos essenciais:*
*Essenciais*
– Experiência avançada em Python. – Conhecimento sólido em: – Databricks e Delta Lake. – PySpark para processamento de grandes volumes de dados. – SQL e modelagem de dados. – ETL/ELT e pipelines de dados. – Experiência prévia em projetos de Master Data Management (MDM) ou integrações de dados. – Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros. – Capacidade de implementar regras de negócios complexas em código. – Domínio de Git e metodologias ágeis. – Familiaridade com boas práticas de desenvolvimento, incluindo testes unitários e documentação.
– *Diferenciais:* – Experiência em MDM na área da saúde. – Conhecimento em FHIR ou outros padrões de dados de saúde. – Experiência com Great Expectations para garantir a qualidade dos dados. – Conhecimento em frameworks de governança de dados. – Experiência com sistemas de mensageria (Kafka, Event Hubs). – Familiaridade com ferramentas de CDC (Change Data Capture). – Conhecimento em observabilidade (Databricks SQL Analytics, Grafana). – Experiência com APIs RESTful para exposição de dados.
Regime de trabalho: Remoto Horário de trabalho: Seg a Sex – 09h as 18h
Link para candidatura: Página da Vaga | Engenheiro de Dados – Governança Corporativa (MDM) <stefanini.gupy.io/jobs/9819820>