Engenheiro de Dados Líder

Uma empresa sediada nos EUA, que opera uma linha popular de lojas de guitarras e amplificadores presente em todo o país, está procurando contratar um Engenheiro de Dados Líder. O engenheiro será encarregado pela arquitetura técnica, aplicação dos padrões técnicos e por dar consultoria técnica. A empresa está determinada a oferecer às pessoas as ferramentas que elas precisam para criar e conectarem-se umas às outras através do poder da música. Até agora, ela já arrecadou mais de US$30 milhões em investimentos. Essa é uma ótima vaga de trabalho remoto para engenheiros de dados brasileiros apaixonados por música.

Responsabilidades:

• Assumir a responsabilidade de modernizar e migrar/transformar a estrutura atual para uma plataforma de dados na nuvem
• Elaborar o design e desenvolver infraestrutura de dados confiável, valendo-se de técnicas de privacidade e segurança de primeira linha para resguardar os dados com a ajuda de tecnologia AWS
• Arquitetar soluções seguras, resilientes, de baixa latência e bom custo-benefício para permitir análises preditivas por toda a organização
• Elaborar frameworks para operacionalizar modelos de machine learning através de arquitetura serverless, bem como apoiar modelos de treinamento contínuo não supervisionado
• Trabalhar com a equipe para escalar os modelos de dados da empresa, usando Tableau, Dynamo DB e Kibana
• Comunicar descobertas apoiadas por dados para um grupo diverso de stakeholders internos e externos
• Construir frameworks para a ingestão de dados em funis tanto em tempo real quanto em grupos, tudo isso valendo-se das melhores práticas de modelagem de dados
• Participar da tomada de decisões técnicas e colaborar com colegas talentosos
• Revisar código e oferecer feedback significativo para ajudar outros engenheiros a criarem soluções altamente escaláveis
• Ajudar a definir a direção técnica e escolha de tecnologias através de recomendações baseadas em sua experiência e em pesquisas

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Ao menos 10 anos de experiência relevante como engenheiro de dados
• Sólida compreensão sobre processos ETL/ELT
• Experiência trabalhando com um ambiente de nuvem pública e com infraestrutura on-premise
• Experiência com bancos de dados em colunas, como Redshift Spectrum, bancos de dados temporais, como Apache Pinot e infraestrutura na nuvem AWS
• Experiência com tecnologias in-memory, serverless e de streaming, bem como com ferramentas de orquestração como Spark, Kafka, Airflow e Kubernetes
• Experiência prática com implementação de plataforma de TI
• Será vantajoso possuir experiência com AWS Certified Big Data 
• Experiência elaborando o design e implementando soluções AWS de Big Data e analytics em grandes ambientes digitais de vendas será vista como um ótimo diferencial
• Conhecimentos avançados e experiência com processamento transacional online (OLTP) e processamento analítico online (OLAP) de bancos de dados, data lakes e schemas
• Experiência com tecnologias de Data Lake na nuvem AWS e expertise operacional com Kinesis/Kafka, S3, Glue e Athena
• Experiência com qualquer um dos formatos de mensagem/arquivos a seguir: Parquet, Avro, ORC
• Experiência com design e desenvolvimento de serviços de streaming, EMS, MQ, Java, XSD, File Adapter e aplicativos baseados em ESB
• Experiência com arquitetura distribuída, como microsserviços, SOA, APIs RESTful e arquiteturas de integração de dados
• Experiência prática migrando soluções de dados on-premise para a nuvem
• Experiência gerenciamento soluções para grandes armazéns de dados on-premise, como Netezza, será vista como um bom diferencial
• Expertise nos serviços AWS mais usados(S3, Lambda, Redshift, Glue, EC2, etc.)
• Expertise em Python, PySpark ou outras linguagens de programação similares
• Experiência com ferramentas de BI (Tableau, Domo, MicroStrategy) será vantajoso
• Experiência com AWS Compute, como EC2, Lambda, Beanstalk ou ECS
• Experiência com a suíte de produtos de gerenciamento e governança da AWS, como CloudTrail, CloudWatch ou Systems Manager
• Vasta experiência com os produtos, desenvolvimento e plataforma de rede da Amazon Web Services (AWS)
• Experiência com AWS Analytics, como Athena, EMR ou Glue
• Proficiência com bancos de dados Oracle, MySQL e Microsoft SQL Server será vista como um diferencial
• Sólida compreensão sobre integração contínua e entrega contínua (CI/CD)
• Experiência com Jenkins
• Fluência em inglês, verbal e escrito