Engenheiro de Dados

Vaga: Engenheiro de Dados

Estamos em busca de um Engenheiro de Dados para se juntar à nossa equipe. O candidato ideal terá experiência em coleta, processamento e análise de grandes conjuntos de dados. Ele ou ela também deve ser capaz de projetar e implementar soluções de armazenamento de dados escaláveis e eficientes.

Responsabilidades:

- Coletar, processar e analisar grandes conjuntos de dados

- Projetar e implementar soluções de armazenamento de dados escaláveis e eficientes

- Desenvolver e manter pipelines de dados

- Trabalhar em estreita colaboração com a equipe de análise de dados para fornecer insights acionáveis

- Identificar e resolver problemas de desempenho e escalabilidade

-Projetar, desenvolver e otimizar pipelines de dados (ETL/ELT) para ingestão e transformação de grandes volumes de

dados.

-Garantir a segurança dos dados e conformidade com as regulamentações de privacidade.

-Documentar arquiteturas de dados, processos e procedimentos operacionais.

-Estruturar o Data Warehouse para alta performance.

-Desenvolver pipelines ETL/ELT para ingestão e transformação de dados.

-Criar camadas de dados (bronze, silver, gold) para diferentes níveis de maturidade.

-Implementar rotinas de Data Quality para garantir a confiabilidade dos dados.

-Documentar a arquitetura e os modelos de dados.

-Desenvolver conectores para diversas fontes de dados.

-Implementar mecanismos de sincronização de dados em tempo real ou batch.

-Criar e manter um catálogo de dados e dicionário de termos.

-Estabelecer políticas de retenção e arquivamento de dados.

-Configurar ambientes de desenvolvimento, teste e produção.

Requisitos:

- Experiência em coleta, processamento e análise de grandes conjuntos de dados

- Conhecimento em linguagens de programação como Python, Java ou Scala

- Experiência em bancos de dados relacionais e não relacionais

- Experiência em soluções de armazenamento de dados escaláveis, como Hadoop e Spark

- Excelentes habilidades de resolução de problemas e comunicação

-SQL avançado (consultas complexas, otimização).

-Experiência com Google Cloud Platform (BigQuery, Cloud Functions, Dataflow).

-Proficiência em Python para scripts de dados e automação.

-Conhecimento em ferramentas de ETL/orquestração (Apache Airflow, DBT).

-Experiência com controle de versão (Git).

Desejáveis

-Certificação em GCP (ex: Google Cloud Professional Data Engineer).

-Conhecimento em Apache Spark ou outras tecnologias de processamento distribuído.

-Familiaridade com conceitos de DataOps/MLOps.

-Experiência com consumo e exposição de APIs REST.

Se você é um Engenheiro de Dados apaixonado por tecnologia e está procurando uma oportunidade desafiadora, clique no botão "Candidate-se" abaixo e envie seu currículo. Estamos ansiosos para conhecê-lo!