Engenheiro de Dados

Uma empresa sediada nos EUA que está utilizando tecnologias de Inteligência Artificial e Machine Learning para melhorar a performance de seguros comerciais, está procurando contratar um Engenheiro de Dados. O engenheiro será responsável por utilizar os dados atuais para obter insights sobre produtos, com o objetivo de criar um roadmap para o desenvolvimento futuro. A tecnologia avançada dessa empresa está permitindo que outras companhias despertem para o valor de seus dados não estruturados. Ela conseguiu arrecadar com sucesso mais de US$30 milhões durante sua rodada de investimentos da Série C. 

Responsabilidades:

• Auxiliar no projeto e implementação da plataforma de dados da empresa desde o início
• Conduzir ferramentas e integrações para ingestão de dados, arquiteturas Kappa ou Lambda para processamento de fluxo e lote, monitoramento, etc.
• Criar funis ETL/LT de ponta a ponta para preencher o armazém de dados
• Colaborar com as equipes das áreas de produtos, engenharia, ciência de dados, análise/BI e operações para entender suas necessidades de dados e projetar soluções de acordo com elas
• Atuar como líder técnico e mentor de desenvolvedores juniores na equipe

Requerimentos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 3 anos de experiência relevante como engenheiro de dados
• Pelo menos 3 anos de experiência trabalhando com uma ou mais linguagens de programação, como Scala e Python ou PySpark
• Vasta experiência trabalhando com bancos de dados SQL
• Pelo menos 3 anos de experiência no desenvolvimento de infraestrutura de plataforma de dados
• Experiência comprovada trabalhando com tecnologias distribuídas de Big Data, como Spark, Presto, Hive, Redshift, etc.
• Experiência com design de schema, modelagem de dados dimensional e arquitetura de armazenamento de dados em larga escala
• Experiência em projetar, implementar e manter funis de dados por meio de design, implementação e manutenção eficientes de ETL
• Experiência atuando como liderança técnica e orientando outros engenheiros segundo as melhores práticas na área da engenharia de dados
• Sólido conhecimento de desenvolvimento de software Agile e princípios de integração/entrega contínuas
• Fluência em inglês, verbal e escrito