Engenheiro de Dados Sênior

Uma empresa sediada nos EUA, cuja missão é se firmar como uma distribuidora mundial de produtos orgânicos para clientes leais, está procurando contratar um Engenheiro de Dados Sênior. O engenheiro realizará análises de lacunas em fontes de dados e desenvolverá catálogos e mapeamentos de fontes e alvos de dados. A empresa está oferecendo um mercado online com cadastro para a venda a preços razoáveis de alimentos e produtos orgânicos. Ela conseguiu arrecadar mais de US$240 milhões em investimentos até agora. Essa vaga de trabalho online requer de 6 a 8 horas de sobreposição com o fuso horário PST, sendo perfeita para engenheiros de dados brasileiros que querem investir em uma carreira internacional e ganhar em dólar enquanto trabalham junto ao “mercado verde”.

Responsabilidades:

• Trabalhar com diversas equipes funcionais para coordenar e entregar soluções de engenharia de dados coesas junto a diversos projetos e esforços
• Experiência trabalhando com dados estruturados e semiestruturados
• Ajudar a equipe a executar iniciativas de engenharia de dados e análise, de modo a transformá-las em produtos que tragam grandes benefícios para os envolvidos
• Trabalhar com processamento de dados complexos e frameworks de streaming
• Trabalhar com outras equipes técnicas para produzir soluções de dados que satisfaçam aos objetivos comerciais e técnicos, colocando a mão na massa e assumindo a responsabilidade por todo o ciclo de serviços de dados, desde a fase de ingestão até o processamento ETL e a distribuição de dados para relatórios
• Criar as especificações técnicas e as especificidades da implementação para o data lake, armazém de dados e data marts subjacentes
• Realizar análises de lacunas em fontes de dados e criar alvos/fontes de dados para identificar e solucionar problemas relacionados à integridade dos dados de produção e outras questões de performance
• Colaborar com todas as áreas do gerenciamento de dados em uma posição de liderança de modo a garantir que padrões, decisões e ferramentas sejam implementados de acordo com os padrões da empresa
• Ter uma compreensão completa sobre a integração entre sistemas, suas interações e relações, de modo a criar uma imagem completa das futuras demandas de dados da empresa
• Recomendar e garantir a funcionalidade técnica da área de engenharia de dados (como com questões de escalabilidade, segurança, performance, recuperação de dados, confiabilidade, etc.)
• Organizar workshops para definir requisitos e elaborar o design de soluções de dados
• Aplicar decisões e soluções empresariais de arquitetura aos frameworks de arquitetura de dados e aos modelos de dados
• Habilidades para manter um repositório eficientemente
• Elaborar o design, coordenar e executar pilotos, protótipos e provas de conceito que ofereçam validação para cenários específicos e ajudem a formar um roadmap de implementação
• Trabalhar de maneira colaborativa para prever e criar uma arquitetura de dados que atenda às demandas comerciais de colaboração, agregação e interação com múltiplas fontes de dados, equipes de fornecedores de software de TI e donos de empresas

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Ao menos 5 anos de experiência relevante como engenheiro de dados
• Vasta experiência trabalhando com Python, Scala, Airflow e SQL
• Experiência profunda com modelagem e armazenamento de dados
• Será vantajoso possuir experiência com Git, AWS Redshift e microsserviços
• Familiaridade com DBT (Data Build Tool) será visto com bons olhos
• Capacidade de trabalhar de maneira interfuncional junto a outras equipes de engenharia
• Expertise com RDBMS e armazenamento de dados (Strong SQL) com Redshift, Snowflake ou tecnologia similar
• Profundo conhecimento e experiência com padrões de arquitetura de dados e informações, bem como com abordagens de implementação para bancos de dados operacionais, armazéns de dados, data marts e data lakes
• Proficiência na lógica e funcionamento da arquitetura de dados, e no que diz respeito ao seu design e desenvolvimento
• Experiência com implementação de data lakes e plataformas de análise de Big Data que sejam ou baseadas na nuvem ou on-premise, com preferência para a AWS
• Experiência trabalhando com grandes volumes de dados, e com o design, implementação e suporte de aplicações de dados altamente distribuídas
• Experiência com ferramentas de desenvolvimento para CI/CD, unit e integration tests, além de automação e orquestração (por exemplo, GitHub, Jenkins, Concourse, Airflow, Terraform)
• Experiência escrevendo Kafka producers e consumers ou com AWS Kinesis
• Experiência prática desenvolvendo uma plataforma de processamento de dados distribuídos com tecnologias de Big Data, como Hadoop, Spark, etc.
• Facilidade em trabalhar tanto de maneira independente quanto em equipe
• Ótimas habilidades de análise e solução de problemas, especialmente em casas de problemas difusos ou em meio a informações conflitantes
• Experiência com streaming de ingestão de dados, machine learning e Apache Spark será visto como um diferencial
• Capacidade de evocar, reunir e gerenciar requisitos em meio a um ambiente de entregas Agile
• Ótimas habilidades de comunicação e apresentação, verbais e escritas, junto a qualquer nível da empresa
• Capacidade de transformar conceitos ambíguos em ideias palpáveis
• Ótima comunicação em inglês