Arquiteto de Dados

Uma empresa crescendo rapidamente, que está ajudando investidores imobiliários a colocar em prática todo o potencial de suas estratégias de investimentos na área, está procurando contratar um Arquiteto de Dados. O candidato selecionado ajudará na criação de novos produtos enquanto colabora com as equipes das áreas de produto, DevOps e ciência de dados para explorar diferentes ferramentas e processos. A empresa, sediada nos EUA, oferece financiamento para facilitar transações, empréstimos e opções de financiamento de hipotecas para investidores no campo imobiliário. Essa é uma ótima oportunidade para desenvolvedores testarem suas habilidades enquanto constroem uma carreira lucrativa.

Responsabilidades:

• Implementar processos escaláveis para processamentos de dados em larga escala
• Desenvolver funis de processamento de dados robustos para diferentes cenários, como ingestão massiva, aplicações de streaming em tempo real e processos de machine learning
• Desenvolver funis de dados de baixa latência e altamente escaláveis em um ambiente complexo
• Colaborar com cientistas de dados/responsáveis por produtos e assumir a responsabilidade pelas necessidades de processamento de dados desde o desenvolvimento até a produção
• Avaliar e registrar processos que melhorem a qualidade dos dados, sua facilidade de descoberta, linhagem e governança
• Comunicar riscos técnicos e comerciais aos profissionais relevantes
• Adaptar-se rapidamente à mudanças nas condições do negócio e a novas informações
• Influenciar ativamente o design e características do roadmap de ML dentro do escopo suprarreferido
• Desenvolver uma sólida percepção da saúde da organização
• Identificar e fazer recomendações para resolver questões complexas
• Oferecer feedback construtivo para membros da equipe

Requerimentos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Pelo menos 4 anos de experiência relevante como engenheiro de software
• Capacidade demonstrável de enviar complexos sistemas de processamento de dados em larga escala com baixa latência
• Vasta experiência com Azure Databricks
• Experiência comprovável construindo e desenvolvendo código ETL em Python, PySpark, etc
• Experiência com SQL e NoSQL para processar dados, de preferência em bancos de dados na nuvem, como, Snowflake, Redshift, etc. 
• Conhecimento sobre frameworks de teste para processamento de dados, como Great Expectations
• Vasta experiência trabalhando com Docker e Linux (preferencialmente no Kubernetes)
• Experiência prática com ferramentas de orquestração de funis de dados, como Airflow, Dagster, Prefect, etc.
• Experiência trabalhando com metodologias Agile e impulsionadas por testes
• Sólidas habilidades de comunicação escrita e oral
• Boas capacidades analíticas e paixão por responder questões sobre dados
• Inglês fluente, oral e escrito