Engenheiro de Dados

Uma empresa sediada nos EUA, que está trabalhando no desenvolvimento de projetos de alto impacto e de última geração ligados ao carbono, está procurando contratar um Engenheiro de Dados. O engenheiro deverá colaborar com a equipe de engenharia de software e cientistas de dados para desenvolver soluções eficientes para problemas urgentes. A empresa lida com as mudanças climáticas enquanto capacita mulheres e melhora as condições de vida em países em desenvolvimento. Até agora, ela conseguiu arrecadar mais de US$48 milhões em investimentos. Essa é uma excelente vaga de trabalho online para engenheiros de dados brasileiros contribuírem para uma grande causa enquanto constroem uma carreira lucrativa.

Responsabilidades:

• Criar e implementar tarefas ETL automatizadas a partir de aplicativos empresariais e fontes de dados públicos (como dados de censo) em um data lakehouse moderno
• Implementar uma solução avançada de data lakehouse enquanto aconselha o arquiteto líder sobre questões tecnológicas e arquitetura baseando-se em casos de uso e nos resultados pretendidos
• Oferecer suporte a migração de dados de um servidor SQL antigo para um novo RDBMS como parte da migração dos sistemas ligados às operações da empresa
• Certificar-se de que o data lakehouse contenha os componentes necessários para o catálogo de dados, além da documentação relacionada e voltada para os usuários finais encarregados pela análise de dados
• Discutir prazos e entregas de forma transparente com a equipe e a liderança
• Cumprir prazos e colaborar com a liderança de TI no desenvolvimento iterativo

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 4 anos de experiência relevante trabalhando com desenvolvimento de aplicativos ou como engenheiro de dados
• Mais de 4 anos de experiência trabalhando com Python, SQL e Scala
• Mais de 3 anos de experiência com AWS e tecnologias relacionadas
• Mais de 3 anos de experiência usando computação distribuída e ferramentas de dados, incluindo MapReduce, Hadoop, Hive, EMR, Spark e Athena
• Mais de 3 anos de experiência trabalhando com ferramentas ETL como Kafka, AirFlow e SSIS
• Experiência profunda no desenvolvimento de soluções de data lake ou data warehouse, como Snowflake e Redshift
• Ampla experiência trabalhando com controle de versão usando Git e repositórios remotos GitLab/GitHub
• Capacidade para trabalhar de forma independente, solucionar problemas e se comunicar proativamente
• É recomendável ter alguma experiência trabalhando em ambientes de desenvolvimento Agile e iterativos
• É desejável ter experiência realizando a conexão com a API .NET (.NET C# para .NET Core 6)
• Será vantajoso ter alguma familiaridade com Elasticsearch e/ou Solr 
• Boas habilidades de comunicação verbal e escrita em inglês