Engenheiro de Dados Sr – AWS – Híbrido Brasília – DF – Stefanini Responsabilidades e atribuições
– Projetar e implementar pipelines de dados utilizando Airflow/MWAA, Python e SQL, seguindo boas práticas de modularidade, testes e versionamento. – Modelar camadas Bronze/Silver/Gold (arquitetura medallion) em S3 e Glue Data Catalog, definindo partições, formatos (Parquet/Delta) e tabelas/partições otimizadas para consulta. – Construir e otimizar modelos analíticos em Amazon Redshift, assegurando performance e custo. – Publicar e manter datasets confiáveis para Power BI, incluindo gateways, incremental refresh, agregações e uso eficiente de DirectQuery/Import em Redshift. – Colaborar com analistas e times de negócio, traduzindo necessidades em datasets, KPIs e camadas consumíveis, além de documentar catálogos e contratos de dados.
Requisitos e qualificações
*Requisitos:*
– Experiência sólida em AWS: S3, Glue Data Catalog (tabelas, crawlers, schemas, partições); Airflow (preferencialmente MWAA), DAGs em Python; Amazon Redshift (design de tabelas, otimização de queries, Spectrum/External Tables). – Power BI: modelagem semântica, DAX, incremental refresh, gateway, boas práticas para consumo de Redshift. – Proficiência em linguagens: Python e SQL avançado. – Conhecimento em Data Lakehouse: arquitetura medallion, formatos colunares (Parquet), partições e metadados. – Boas práticas de engenharia: Git, testes, code reviews, documentação e pipelines confiáveis. – Conhecimento em segurança e governança: IAM, criptografia, princípios de mínimo privilégio, LGPD aplicada a dados.
*Diferenciais:*
– Experiência com Spark/EMR ou Glue ETL (PySpark), dbt para Redshift e Redshift Serverless. – Conhecimento em Lake Formation para controle de acesso a dados e Athena para consultas interativas. – Experiência em observabilidade com CloudWatch. – Familiaridade com ferramentas de qualidade de dados (Great Expectations/Deequ). – Experiência em gestão de custo/performance: compactação, poda de partições, materializações e agregações para Power BI. – Conhecimento em Terraform/CloudFormation (IaC).
Candidate-se aqui: Página da Vaga | Engenheiro de Dados Sr – AWS – Híbrido Brasília – DF <stefanini.gupy.io/jobs/10637458>
– Projetar e implementar pipelines de dados utilizando Airflow/MWAA, Python e SQL, seguindo boas práticas de modularidade, testes e versionamento. – Modelar camadas Bronze/Silver/Gold (arquitetura medallion) em S3 e Glue Data Catalog, definindo partições, formatos (Parquet/Delta) e tabelas/partições otimizadas para consulta. – Construir e otimizar modelos analíticos em Amazon Redshift, assegurando performance e custo. – Publicar e manter datasets confiáveis para Power BI, incluindo gateways, incremental refresh, agregações e uso eficiente de DirectQuery/Import em Redshift. – Colaborar com analistas e times de negócio, traduzindo necessidades em datasets, KPIs e camadas consumíveis, além de documentar catálogos e contratos de dados.
Requisitos e qualificações
*Requisitos:*
– Experiência sólida em AWS: S3, Glue Data Catalog (tabelas, crawlers, schemas, partições); Airflow (preferencialmente MWAA), DAGs em Python; Amazon Redshift (design de tabelas, otimização de queries, Spectrum/External Tables). – Power BI: modelagem semântica, DAX, incremental refresh, gateway, boas práticas para consumo de Redshift. – Proficiência em linguagens: Python e SQL avançado. – Conhecimento em Data Lakehouse: arquitetura medallion, formatos colunares (Parquet), partições e metadados. – Boas práticas de engenharia: Git, testes, code reviews, documentação e pipelines confiáveis. – Conhecimento em segurança e governança: IAM, criptografia, princípios de mínimo privilégio, LGPD aplicada a dados.
*Diferenciais:*
– Experiência com Spark/EMR ou Glue ETL (PySpark), dbt para Redshift e Redshift Serverless. – Conhecimento em Lake Formation para controle de acesso a dados e Athena para consultas interativas. – Experiência em observabilidade com CloudWatch. – Familiaridade com ferramentas de qualidade de dados (Great Expectations/Deequ). – Experiência em gestão de custo/performance: compactação, poda de partições, materializações e agregações para Power BI. – Conhecimento em Terraform/CloudFormation (IaC).
Candidate-se aqui: Página da Vaga | Engenheiro de Dados Sr – AWS – Híbrido Brasília – DF <stefanini.gupy.io/jobs/10637458>