Engenheiro de Dados Databricks Sênior

Uma empresa sediada nos EUA, que está desenvolvendo uma plataforma de serviços financeiros que oferece empréstimos a investidores no campo imobiliário e credores, está procurando contratar um Engenheiro de Dados Databricks Sênior. O engenheiro será responsável por orientar os membros da equipe sobre as melhores práticas e as mais avançadas tecnologias no campo da engenharia de dados. A empresa equipa agentes imobiliários com tecnologia de ponta e oportunidades de financiamento imediato. Ela conseguiu arrecadar mais de US$155 milhões em investimentos até agora. Essa é uma ótima oportunidade de trabalho online para engenheiros de dados brasileiros que gostariam de investir em uma carreira internacional.

Responsabilidades:

• Subdividir projetos complexos em passos acionáveis
• Supervisionar o desenvolvimento e implementação da migração de dados baseados em Databricks e Snowflake para um ambiente AWS
• Desenvolver e manter funis de dados em tempo real, data lakes e armazéns de dados em colaboração com equipes interfuncionais, de modo a entender suas necessidades por dados e transformá-las em soluções tecnológicas
• Garantir que a compliance, segurança e critérios de qualidade dos dados sejam seguidos
• Elaborar o design e implementar funis de dados que transformem dados brutos em insights acionáveis

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 5 anos de experiência relevante como engenheiro de dados
• Ao menos 5 anos de experiência com Databricks, Python e AWS
• Vasta experiência com stream processing e DLT (data live tables)
• É recomendável possuir vasta experiência de trabalho com PySpark e Snowflake
• Sólidos conhecimentos sobre modelagem de dados, Delta Lake, armazenamento de dados e conceitos de ETL
• Experiência comprovável com stream processing, mais especificamente com Spark Structured Streaming, DLT, etc.
• Experiência trabalhando com as melhores práticas de governança e segurança de dados 
• Possuir certificações como as de Databricks Lakehouse Data Engineer Associate e AWS Certified Developer Associate
• Alguma experiência com migração de dados em uma indústria regulada, como a de saúde ou financeira, será um bom diferencial
• Familiaridade com tecnologias de conteinerização e orquestração, como Kubernetes e Docker, será visto como diferencial
• Será vantajoso possuir experiência com ferramentas de visualização de dados, como Tableau ou Looker
• Experiência com metodologias de desenvolvimento Agile é desejável
• Sólidas habilidades de comunicação e liderança, demonstrando capacidade para colaborar eficientemente em equipes interfuncionais
• Ótima comunicação em inglês, escrito e falado