Data Engineer Pleno

Sobre a oportunidade

Descrição
O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade.
Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.

Responsabilidades
Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake,
Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações,
Construir e operar pipelines de produção para inferência de modelos de ML,
Implementar estratégias de data quality e testes em pipelines de dados,
Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão,
Otimizar performance das pipelines,
Arquiteturas de dados em larga escala para indústria,
Pipelines de produção para aplicações de machine learning,
Boas práticas de data quality e governança de dados,
Visão de negócio aplicada a problemas industriais reais.

Requisitos
Experiência de 2 a 4 anos atuando com engenharia de dados,
Experiência sólida com Apache Spark (preferencialmente PySpark),
Familiaridade com arquiteturas de Data Lakehouse e formatos colunares (Delta, Parquet),
Experiência com controle de versão usando Git e boas práticas de programação e código limpo,
Capacidade de comunicar e discutir soluções técnicas com diferentes perfis.

Requisitos desejáveis
Experiência com pipelines de MLOps e deploy de modelos em produção,
Conhecimento em ferramentas de data quality e observabilidade de dados,
Desenvolvimento de data apps,
Familiaridade com processamento de dados em streaming ou near-real-time,
Conhecimento em cloud (Azure ou AWS) e DBT,
Familiaridade em Databricks (Jobs, Workflows, Unity Catalog).

Responsabilidades e atribuições

• Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake, Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações, Construir e operar pipelines de produção para inferência de modelos de ML, Implementar estratégias de data quality e testes em pipelines de dados, Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão, Otimizar performance das pipelines, Arquiteturas de dados em larga escala para indústria, Pipelines de produção para aplicações de machine learning, Boas práticas de data quality e governança de dados, Visão de negócio aplicada a problemas industriais reais.

Requisitos e qualificações

Local de trabalho

Porto Alegre - RS

Antes de se candidatar

Confira no endereço oficial da candidatura os requisitos, prazos, etapas e condições do processo seletivo. A Agência Sertão organiza os dados da oportunidade para facilitar a consulta, mas a seleção e a contratação são conduzidas pela organização responsável.

Plataforma de origem: TOTVS · Ver anúncio original