Uma plataforma de inteligência de decisão com sede nos EUA, que está ajudando empresas a reduzirem seu tempo de tomada de decisões através de soluções de ponta, está procurando contratar um Engenheiro de Dados Sênior. O candidato selecionado será responsável por trabalhar em todos os aspectos dos dados, seja plataforma e construção de infraestrutura, no core da plataforma, engenharia de funis ou criação de ferramentas e serviços para otimização. A empresa está focada na construção de uma plataforma SaaS revolucionária, adepta da previsão e otimização da cadeia de suprimentos e finanças. Até agora, ela arrecadou mais de US$2,4 milhões por meio de investimentos Semente. Esta é uma excelente vaga de trabalho online para engenheiros de dados brasileiros que desejam receber em dólar e colaborar em iniciativas inovadoras.
Responsabilidades:
- Arquitetar e implementar uma plataforma de dados robusta para os produtos da empresa
- Criar e fornecer o conjunto de ferramentas e frameworks de gerenciamento para o ciclo de vida de dados
- Oferecer suporte para casos de uso serverless, em tempo real e baseados em APIs, incluindo ingestão e consumo no topo do data lake, juntamente com o batch (mini/micro)
- Elaborar e desenvolver funis de dados altamente eficientes, confiáveis e observáveis usando Airflow, dbt, PostgreSQL, ClickHouse, ElasticSearch e outras tecnologias
- Garantia uma fácil exploração, criação de perfil e requisitos de linhagem do data lake, desenvolvendo e expondo o catálogo de metadados
- Converter os requisitos do usuário e as ideias da empresa em produtos reais
- Criar PoCs (Proof of Concept) rápidos para desenvolver a plataforma de dados iterativamente
- Garantir fácil acesso e usabilidade aos dados, tornando-os detectáveis para os cientistas e analistas de dados
- Promover testagem e a produção de vários modelos de machine learning para as equipes de ciência de dados
- Desenvolver código de alta qualidade e orientar desenvolvedores juniores
- Garantir a relação custo-benefício e a disponibilidade oportuna das entregas
- Realizar revisões de código e design para simplificar as operações e oferecer suporte a seus colegas
- Coordenar atividades de CI/CD, frameworks de automação de teste e outras atividades relevantes
- Demonstrar boas capacidades técnicas, soluções, recursos e considerações em termos comerciais
- Comunicar problemas, riscos e status de forma precisa e eficaz
Requisitos:
- Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
- Entre 5 e 8 anos de experiência relevante como engenheiro de dados
- Proficiência com Python, engenharia de dados e Airflow
- Experiência com desenvolvimento de software utilizando Python, Pandas, SQLAlchemy e Flask
- Vasta experiência com OOPs (programação orientada a objetos), codificação e padrões de teste
- Experiência comprovada com plataformas de engenharia de software e múltiplas estruturas de dados
- Experiência construindo uma plataforma de dados completa usando diversas tecnologias de código aberto
- Capacidades de construir metadados, linhagem, observabilidade e funcionalidades de descoberta para a plataforma de dados
- Familiaridade com as práticas recomendadas de DevOps, como conteinerização, CI/CD, gerenciamento de secrets, implantações azul-verde e outras
- Experiência com os princípios de modelagem de dados, computação distribuída e criação de consultas SQL otimizadas
- Candidatos atualizados sobre os últimos desenvolvimentos na área de modelos de machine learning terão uma vantagem competitiva
- Capacidade de colaborar com eficiência e oferecer suporte a outros cientistas de dados
- Compreensão sobre dbt, ClickHouse, PostgreSQL, Kubernetes e GraphQL será uma vantagem
- Familiaridade com a Google Cloud Platform (por exemplo, GCS, Cloud Composer, BigQuery) será um diferencial
- Excelente comunicação e habilidades interpessoais
- Boas habilidades de comunicação verbal e escrita em inglês