Engenheiro(a) de Dados Pl.

Sobre a oportunidade

Descrição
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.
A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.
Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.
Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.

Responsabilidades
Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
Desenvolver e manter workflows de dados utilizando Apache Airflow.
Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
Implementar mecanismos de tratamento, validação e qualidade de dados.
Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
Trabalhar com ambientes containerizados utilizando Docker.
Versionar códigos, scripts, notebooks e configurações em repositórios Git.
Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
Apoiar análise técnica de requisitos e estimativas de esforço.
Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
Produzir documentação técnica das soluções implementadas.
Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.

Requisitos
Python aplicado à engenharia de dados.
SQL em nível intermediário ou avançado.
Apache Airflow.
Databricks.
Conceitos de Spark e PySpark.
Docker.
Git.
Conceitos de CI/CD.
Azure DevOps.
Modelagem de dados.
ETL e ELT.
APIs REST e integrações entre sistemas.
Data Lake, Data Warehouse e Lakehouse.
Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
Noções de observabilidade, logs e monitoramento de pipelines.
Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS.

Requisitos desejáveis
Azure Data Lake Storage, ADF,
Serviços AWS aplicados a dados, como S3, Glue, Athena, Redshift e IAM.
Delta Lake.
Unity Catalog.
PostgreSQL, SQL Server ou bancos relacionais equivalentes.
Integração com sistemas industriais, ERPs, MES, PIMS, LIMS ou sistemas legados.
Conhecimentos de segurança e controle de acesso em plataformas de dados.
Experiência com qualidade de dados e testes automatizados.
Noções de infraestrutura como código.
Inglês.

Benefícios
👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para Pet;
e muito mais...

Responsabilidades e atribuições

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados. Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído. Desenvolver e manter workflows de dados utilizando Apache Airflow. Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável. Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse. Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade. Implementar mecanismos de tratamento, validação e qualidade de dados. Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas. Trabalhar com ambientes containerizados utilizando Docker. Versionar códigos, scripts, notebooks e configurações em repositórios Git. Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados. Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos. Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis. Apoiar análise técnica de requisitos e estimativas de esforço. Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas. Produzir documentação técnica das soluções implementadas. Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.

Requisitos e qualificações

Benefícios

• 👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas; 📚 LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado; 🗣 Mentoring; 💉 Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas; 💰 Clube de vantagens e descontos nos melhores estabelecimentos; 🛫 Clube de viagens; 🐶 Convênio para Pet; e muito mais...

Local de trabalho

Belo Horizonte - MG

Antes de se candidatar

Confira no endereço oficial da candidatura os requisitos, prazos, etapas e condições do processo seletivo. A Agência Sertão organiza os dados da oportunidade para facilitar a consulta, mas a seleção e a contratação são conduzidas pela organização responsável.

Plataforma de origem: TOTVS · Ver anúncio original