Engenheiro de Dados

Uma empresa sediada nos EUA, que está elaborando uma plataforma unificada para atenuação de ameaças digitais e tornando a segurança cibernética perfeita para todos, está procurando contratar um Engenheiro de Dados. O candidato selecionado será responsável por otimizar e atualizar o sistema que alimenta os produtos de análise e dados. Os clientes podem gerenciar vários requisitos de segurança cibernética com simplicidade e eficácia ideal, graças às tecnologias avançadas da empresa. Ela conseguiu arrecadar mais de US$450 milhões durante sua rodada de investimentos da Série F. Esta posição requer entre 4 e 5 horas de sobreposição com o fuso horário ET.

Responsabilidades:

• Criar, implementar e manter funis escaláveis (escalonando em volume e variedade de fontes de dados)
• Desenvolver as melhores práticas e frameworks para unit e integration tests, além de testes funcionais, para a cobertura e automatização de testes da equipe
• Promover a qualidade dos dados em toda a organização
• Definir e manter SLAs para conjuntos de dados e processos prontos para produção
• Participar da otimização da governança de dados
• Criar protótipos de novas tecnologias de engenharia de dados e avaliar, sugerir e propor soluções para eles
• Participar de avaliações de código por pares e discussões de arquitetura técnica
• Manter a documentação para todos os processos de engenharia de dados

Requerimentos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 5 anos de experiência relevante como engenheiro de dados
• Vasta experiência trabalhando com AWS, Python, SQL e Spark
• Ampla experiência com Airflow, Databricks, CI/CD e integração e ingestão de API
• Algum conhecimento sobre Scala, Terraform e Kafka é desejável
• É recomendável ter alguma experiência com containers
• Experiência de trabalho com tech stacks modernos hospedados na nuvem e com computação distribuída
• Experiência comprovada em arquitetar, elaborar e implantar sistemas de alto desempenho seguindo práticas confiáveis ​​de monitoramento e registro
• Fortes habilidades de comunicação em inglês, verbal e escrito
• Capacidade de trabalhar de forma assíncrona em vários fusos horários
• Conhecimento de sistemas de controle de versão de código e linha de comando
• Experiência trabalhando com APIs de terceiros para ingestão e integração
• É recomendável ter algum conhecimento de serviços de container como Docker e Kubernetes
• Experiência com sistemas de processamento de fluxo (Kafka ou equivalente) é desejável
• Conhecimento de ferramentas de Infraestrutura como Código,como o Terraform, é recomendável ter