Uma empresa bem estabelecida, sediada nos Estados Unidos, que está determinada a revolucionar a indústria de saúde com sua tecnologia inovadora e sistemas de cuidados ao paciente, está procurando contratar um Engenheiro de Dados Azure e Databricks. O engenheiro será responsável por garantir a qualidade, consistência e confiabilidade dos dados, realizando processos de transformação e integração de dados. A organização está fornecendo excelentes serviços e soluções de saúde comportamental e tratamento de vícios, que a colocaram na vanguarda global quando se trata de tratamentos de saúde. Esta vaga de trabalho online requer um mínimo de 4 a 6 horas de sobreposição com o fuso horário CST, sendo ideal para engenheiros de dados brasileiros.
Responsabilidades:
- Utilizar o ecossistema Azure e a plataforma Databricks para criar, construir e manter soluções de engenharia de dados
- Construir funis de dados escaláveis e eficazes, realizar transformação e integração de dados, e habilitar sofisticados fluxos de trabalho de análise de dados e machine learning, colaborando de perto com equipes multifuncionais que incluem cientistas de dados, analistas e engenheiros de software
- Utilizar seus conhecimentos sobre Databricks e serviços Azure para oferecer suporte aos esforços de business intelligence e fornecer insights orientados por dados
- Ajudar a elaborar, criar e implantar soluções de engenharia de dados de ponta a ponta na plataforma Azure com Databricks
- Coletar e transformar requisitos comerciais em soluções técnicas de engenharia de dados, com a ajuda de stakeholders
- Executar operações de ingestão de dados que envolvem coleta de dados de diversas fontes, processamento para atender aos requisitos comerciais e alimentação a data lakes ou data warehouses
- Utilizando Azure Data Factory, Databricks e outras ferramentas pertinentes, criar e manter funis de dados escaláveis e fluxos de trabalho
- Criar e melhorar modelos e esquemas de dados para ter um armazenamento e recuperação de dados mais eficientes
- Implementar medidas de segurança e garantir que todos os padrões legais e regulatórios sejam atendidos em relação à proteção de dados
Requisitos:
- Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
- Entre 6 e 8 anos de experiência relevante como engenheiro de dados
- Experiência profunda trabalhando com Azure e Databricks
- Conhecimento aprofundado sobre os princípios, procedimentos e melhores práticas de engenharia de dados
- Experiência comprovada utilizando Azure Data Factory, Databricks e outras tecnologias pertinentes para desenvolver e implementar funis de dados
- Conhecimento proficiente de linguagens de programação como Python, SQL e Scala
- Vastos conhecimentos sobre tecnologias de processamento e armazenamento de dados, como Apache Spark, Azure Data Lake Storage e Azure SQL Data Warehouse
- Familiaridade com procedimentos ETL/ELT, design de esquema e modelagem de dados
- Habilidades comprovadas de identificação e solução de problemas, incluindo a capacidade de reconhecer e resolver problemas relacionados a dados
- Excelentes habilidades de trabalho em equipe e comunicação para trabalhar bem com equipes multifuncionais
- Certificações Azure relacionadas à engenharia de dados ou certificações Databricks serão um diferencial
- Credenciais Azure em Machine Learning ou DevOps serão vistas como uma vantagem competitiva
- Experiência prévia em gestão de projetos remotos é crucial
- Ótimas habilidades de comunicação escrita e verbal em inglês