Responsabilidades e atribuições
*O que esperamos que você realize:*
– *Desenvolvimento de Pipelines:* Projetar, desenvolver e manter pipelines de dados utilizando Dataflow na GCP. – *Integração de Dados:* Integrar e transformar dados de diferentes fontes como Cloud Storage, Pub/Sub, BigQuery e PostgreSQL. – *Qualidade e Governança de Dados:* Garantir a qualidade, segurança e governança dos dados em todas as etapas do processo. – *Colaboração Interdisciplinar:* Colaborar com times de BI, Analytics e Engenharia para entregar soluções orientadas a dados. – *Otimização:* Otimizar performance e custo das soluções em nuvem. – *Documentação:* Documentar processos e boas práticas de engenharia de dados.
Requisitos e qualificações
O que precisamos que você tenha de conhecimento:
*Requisitos essenciais:*
– *Experiência em GCP:* Experiência comprovada com Google Cloud Platform, especialmente com Dataflow, Cloud Storage e Pub/Sub. – *Banco de Dados:* Conhecimento em banco de dados PostgreSQL e modelagem de dados. – *ETL/ELT:* Experiência com processos de ETL/ELT. – *Versionamento e CI/CD:* Familiaridade com ferramentas de versionamento (Git) e práticas de CI/CD. – *Trabalho em Equipe:* Capacidade de trabalhar em ambientes ágeis e colaborativos. – *Inglês:* Inglês intermediário para documentação e comunicação.
*Diferenciais:*
– *BigQuery:* Experiência ou conhecimento em BigQuery. – *Certificações GCP:* Certificações GCP (ex: Professional Data Engineer). – *Ferramentas de Orquestração:* Experiência com ferramentas de orquestração (ex: Composer/Airflow). – *Operações de dados:* Conhecimento em práticas de DataOps e observabilidade de dados.
Regime de trabalho: Remoto Horário de trabalho: Seg a Sex – 09h as 18h
Link para candidatura: Página da Vaga | Engenheiro de Dados Pleno <stefanini.gupy.io/jobs/10082689>