Engenheiro de Dados

Uma empresa com sede nos EUA, que está usando tecnologia baseada em IA para aumentar a produtividade humana e automatizar operações em todo o mundo, está procurando contratar um Engenheiro de Dados. O engenheiro ajudará a equipe a elaborar, construir e manter a infraestrutura de dados essenciais de missão crítica e a plataforma analítica. A empresa está construindo produtos engajantes e eficientes utilizando machine learning enquanto resolve alguns problemas complexos. Ela conseguiu arrecadar mais de US$378 milhões durante sua rodada de investimentos da Série C. Esta posição requer entre 3 e 4 horas de sobreposição com o fuso horário PST, sendo uma vaga de trabalho remoto ideal para engenheiros de dados brasileiros.

Responsabilidades:

• Construir os sistemas de infraestrutura de dados que conseguem lidar com volumes cada vez maiores de dados e com as demandas que a equipe deseja fazer deles
• Ajudar a elaborar e criar funis de processamento de dados altamente disponíveis que monitoram e relatam anomalias
• Moldar o futuro da infraestrutura de dados enquanto otimiza os recursos de machine learning e desenvolvimento baseados em métricas existentes
• Entender como fazer as compensações necessárias para enviar produtos, sem sacrificar a qualidade
• Otimizar o funil de dados de produção e de missão crítica, armazéns de dados e sistemas de dados, enquanto cria e implementa as mudanças necessárias
• Reconhecer padrões e generalizações no fluxo de dados e automatizar o máximo que puder para aumentar a eficiência
• Estender procedimentos de registro e monitoramento para encontrar anormalidades e problemas no início e corrigi-los rapidamente
• Criar soluções de dados e automação avançada usando Python, Spark e Flink
• Manter, gerenciar e ficar de olho nos componentes da infraestrutura, como Kafka, Kubernetes, Spark, Flink, Jenkins, bancos de dados OLAP e RDBMS, S3 objects buckets e permissões
• Aumentar a eficácia, precisão e consistência de procedimentos ETL

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 12 anos de experiência relevante como engenheiro de dados e trabalhando com desenvolvimento de software e/ou DevOps, ou em funções de SRE
• Mais de 5 anos de experiência trabalhando com engenharia de dados, sistemas de dados, funis e processamento de fluxo
• Ampla experiência com SQL e tecnologias relacionadas, como Redshift, PostgreSQL, MySQL, Presto, Spark SQL e Hive
• Experiência com linguagens de programação de alto nível, como Python, Scala, Java, Kotlin e Go
• Experiência com CI/CD (integração e implantação contínuas) e sistemas de gerenciamento de fluxo de trabalho como Airflow, Oozie, Luigi e Azkaban
• Experiência na implementação de governança de dados, ou seja, políticas de gerenciamento de acesso, retenção de dados, IAM, etc.
• Experiência operando em uma capacidade semelhante a DevOps enquanto trabalha com AWS, Kubernetes, Jenkins, Terraform, etc.
• Experiência trabalhando com automação, alertas, monitoramento, segurança e outras infraestruturas declarativas
• Ampla experiência com processos ETL e vários armazenamentos de dados que fornecem dados de forma rápida e segura para todas as partes interessadas internas e externas
• Experiência com bancos de dados Kafka, Kubernetes, Python, Spark, Flink, Jenkins, OLAP geral e RDBMS, S3 object buckets e permissões
• Será vantajoso ter experiência trabalhando com manutenção e gerenciamento de Kafka 
• É recomendável ter alguma experiência em manutenção e gerenciamento de sistemas de banco de dados OLAP/HA
• É recomendável ter familiaridade com clusters Kubernetes para várias tarefas, aplicativos e alta performance
• É recomendável ter conhecimento técnico de formatos de troca e serialização de dados, como Protobuf, Avro ou Thrift
• Experiência trabalhando na implantação e criação de aplicativos Spark Scala e/ou Flin
• Fluência em inglês, verbal e escrito