Arquiteto de Dados em Nuvem

Uma empresa, sediada nos EUA, operando como a maior varejista mundial de instrumentos musicais e equipamentos de estúdio, está procurando contratar um Arquiteto de Dados em Nuvem. O candidato selecionado será responsável pela modernização e migração para uma plataforma de dados em nuvem. A empresa estabeleceu uma rede de gerentes de contas e engenheiros que têm acesso direto aos maiores fabricantes do mundo. Este será um trabalho de longo prazo, em tempo integral, que requer alguma sobreposição com os fusos horários IST e PST.

Responsabilidades:

• Projetar e construir uma infraestrutura de dados confiável e escalável que utilize medidas de privacidade e segurança de ponta para proteger os dados
• Criar soluções que sejam escaláveis, seguras, de baixa latência, resistentes e acessíveis para permitir uma análise preditiva e prescritiva em toda a empresa
• Criar/arquitetar frameworks que suportam modelos de treinamento contínuo sem supervisão e operacionalizar modelos de machine learning através de uma arquitetura serverless
• Informar uma variedade de stakeholders internos e externos sobre os resultados, suportados pelos dados
• Responsabilizar-se pela modernização, conversão para uma plataforma de dados em nuvem, etc.
• Construir funis para a ingestão de dados em tempo real e em lote, utilizando as melhores práticas
• Fazer parte da tomada de decisões técnicas e trabalhar com colegas inteligentes
• Revisar o código e as implementações, e fornecer críticas perspicazes para ajudar outros na criação de melhores soluções
• Influenciar a direção tecnológica e a seleção de tecnologia ao oferecer conselhos baseados em conhecimento prévio e pesquisa

Requerimentos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• 7 anos de experiência relevante como engenheiro de software
• Experiência prática em um ambiente de nuvem pública e infraestrutura local
• Especialidade em bancos de dados Columnar como Redshift Spectrum, armazéns de dados Time Series como Apache Pinot, e a infraestrutura de nuvem AWS
• Experiência com tecnologias in-memory, serverless, streaming e ferramentas de orquestração, tais como Spark, Kafka, Airflow, Kubernetes
• Experiência e especialização em Big Data certificado pela AWS será bom ter
• Experiência na concepção e implementação de soluções de Big Data e Analytics na AWS, em grandes ambientes digitais e de varejo será uma vantagem
• Conhecimento avançado e experiência em bancos de dados de processamento transacional online (OLTP) e processamento analítico (OLAP), data lakes e esquemas
• Experiência prática com as tecnologias AWS Cloud Data Lake e Kinesis/Kafka, S3, Cola e Athena
• Experiência com qualquer um dos formatos de mensagem/arquivo: Parquet, Avro e ORC 
• Experiência em design e desenvolvimento em um serviço de streaming, EMS, MQ, Java, XSD, Adaptador de Arquivos e aplicações baseadas em ESB
• Experiência em arquiteturas distribuídas, tais como microsserviços, SOA, RESTful APIs e arquiteturas de integração de dados
• Domínio do Big Data Stack (Spark, spectrum, Flume, Kafka, Kinesis, etc.)
• Entendimento de Integração Contínua e Entrega Contínua será uma vantagem
• Fluência em inglês, escrito e falado