Estamos buscando uma pessoa para atuar com Engenharia de Dados, sendo responsável por implementar, construir e evoluir os componentes da nossa plataforma de dados no dia a dia.
Você será a pessoa profissional que dará vida às definições arquiteturais, transformando padrões e diretrizes técnicas em pipelines robustos, modelos de dados consistentes e soluções escaláveis, contribuindo diretamente para que os dados da organização sejam confiáveis, acessíveis e prontos para gerar valor ao negócio.
Responsabilidades:
Desenvolvimento de Pipelines & Integração:
Implementar pipelines de ELT/ETL para ingestão, transformação e disponibilização de dados, seguindo os padrões definidos pela arquitetura;
Construir e manter integrações com diversas fontes de dados (bancos relacionais e dados desestruturados como e-mails e planilhas);
Desenvolver fluxos de dados utilizando Azure Data Factory, Microsoft Fabric Pipelines e Databricks/Snowflake, conforme stack definido pelo time;
Implementar estratégias de ingestão incremental ou full load de acordo com os requisitos de cada domínio;
Garantir a observabilidade dos pipelines, implementando logs, alertas e monitoramento proativo.
Implementação da Plataforma de Dados:
Construir e organizar camadas do Data Lake/Lakehouse (Bronze, Silver e Gold) seguindo a arquitetura Medallion definida pelo arquiteto;
Implementar e manter estruturas de armazenamento no Azure Data Lake Storage Gen2 (ADLS Gen2) e formatos otimizados como Delta Lake, Parquet e Iceberg;
Participar da configuração e uso do Microsoft Fabric (Lakehouses, Warehouses, Dataflows, Notebooks e Pipelines);
Apoiar a implementação de políticas de acesso, segmentação e organização de dados conforme diretrizes de governança.
Modelagem & Transformação de Dados:
Implementar modelos de dados definidos pela arquitetura (dimensional, relacional, Data Vault, etc.) nas camadas analíticas da plataforma;
Desenvolver e manter transformações de dados utilizando SQL avançado, Python e ferramentas como dbt;
Garantir a consistência, integridade e qualidade dos dados ao longo de todas as camadas de processamento;
Documentar modelos, transformações e regras de negócio aplicadas nos pipelines.
Qualidade & Governança de Dados:
Implementar verificações e testes automatizados de qualidade de dados (ex: Great Expectations, dbt tests) nos pipelines;
Apoiar a catalogação e documentação de ativos de dados no Azure Purview, incluindo linhagem, classificação e descrição de datasets;
Seguir e promover as práticas de governança e privacidade de dados definidas pelo time de arquitetura, garantindo conformidade com LGPD/GDPR;
Colaborar na identificação e correção de problemas de qualidade de dados reportados por times consumidores.
Suporte a Machine Learning & IA
Apoiar times de Ciência de Dados na preparação e disponibilização de datasets para treinamento e validação de modelos;
Implementar pipelines de Feature Engineering e disponibilização de features em feature stores;
Colaborar com o time de IA na estruturação de fluxos de dados integrados ao Azure AI Foundry.
Requisitos para o desafio:
Experiência comprovada com Engenharia de Dados em ambientes de nuvem;
Sólido conhecimento em SQL para consultas, transformações e modelagem analítica;
Experiência com Python para desenvolvimento de pipelines e transformações de dados;
Vivência prática com pipelines de ELT/ETL em ambientes produtivos;
Conhecimento de Microsoft Azure (Data Factory, ADLS Gen2, Synapse Analytics ou Fabric);
Familiaridade com conceitos de Data Lake, Lakehouse e arquitetura Medallion;
Experiência com formatos de dados como Delta Lake, Parquet ou ORC;
Capacidade de leitura e interpretação de definições arquiteturais e documentações técnicas;
Boas práticas de desenvolvimento: versionamento com Git, testes, documentação e CI/CD.
Diferenciais:
Experiência com Microsoft Fabric (Lakehouses, Notebooks, Pipelines ou Dataflows);
Experiência prática com Databricks (Spark, Delta Live Tables, Workflows);
Conhecimento de dbt para transformações e testes de qualidade de dados;
Familiaridade com Azure Purview para catalogação e linhagem de dados;
Conhecimento em Snowflake como plataforma de dados;
Experiência com orquestração de pipelines via Apache Airflow ou Prefect;
Noções de Gen AI e Agentes autônomos;