- Arquitetar e construir pipelines de dados robustos, confiáveis e de alto desempenho para coletar, processar e armazenar grandes volumes de dados de várias fontes, garantindo a integridade e qualidade dos dados.
- Colaborar com times de Analytics Engineer e Data Science para entender os requisitos de dados e ajudar a transformar modelos conceituais em soluções técnicas eficazes.
- Implementar e aprimorar estratégias de orquestração e agendamento de fluxos de trabalho para otimizar o processamento de dados em larga escala.
- Desenvolver e manter sistemas de armazenamento de dados eficientes, como Data Warehouses, Data Lakes e bancos de dados distribuídos, garantindo a segurança e a conformidade dos dados.
- Identificar e resolver gargalos de desempenho, bem como propor melhorias contínuas nos processos de ETL (Extract, Transform, Load) e de gerenciamento de dados.
- Participar da seleção e avaliação de ferramentas e tecnologias relevantes para o ecossistema de dados da empresa, mantendo-se atualizado(a) sobre as tendências do setor.
- Colaborar com os times de Software Engineer para incorporar melhores práticas de dados em novas aplicações e sistemas.
- Monitorar e assegurar a qualidade e a integridade dos dados em todo o ciclo de vida, implementando mecanismos de limpeza e validação de dados.
- Fornecer suporte técnico e orientação a outros membros da equipe de engenharia, promovendo um ambiente de aprendizado e crescimento contínuo.
- Conhecimento no paradigma de Programação Orientada à Objetos.
- Experiência em linguagens de programação e consulta, como Python e SQL.
- Experiência em extração de dados através de consumo de API.
- Conhecimento em arquiteturas de armazenamento de dados, como bancos de dados relacionais e/ou não relacionais, Data Warehouses e Data Lakes (S3, GCS, etc…).
- Experiência com modelagem de dados e design de esquemas para atender às necessidades de análise.
- Conhecimento em metodologias ágeis e práticas de desenvolvimento de software.
- Experiência com ferramentas de orquestração, como Airflow.
- Proficiente em PySpark
- Compreensão de cloud (IAM, Security Groups, etc..
Experiência na ferramenta databricks
- Cartão Flash no valor de R$ 500,00/Mês
- Acesso a plataforma de Udemy
- Acesso a Gympass
- Convênio Zenklub – Psicólogo / Nutricionista / Coaching/ Terapia
- 22 dias de suspensão de serviços remunerados sem que isso afete a sua contraprestação mensal depois de 1 ano de empresas
- Parceria com curso de línguas “Time Load”
- Parceria com clínica bridges