Engenheiro de Dados

Uma empresa sediada nos EUA, que conseguiu desenvolver uma amada plataforma social para que seus usuários conectem-se uns aos outros facilmente, está procurando contratar um Engenheiro de Dados. O engenheiro será responsável por melhorar os funis de dados que produzem conjuntos de dados de treinamento para modelos de rankeamento essenciais. A plataforma da empresa permite que seus usuários formem e juntem-se a comunidades baseadas em interesses em comum, fomentando relacionamentos construtivos. Durante sua rodada de investimentos da Série F, a empresa conseguiu arrecadar mais de US$1,1 bilhão. Essa é uma excelente vaga de trabalho online para engenheiros de dados brasileiros que querem se juntar a uma grande empresa internacional, conhecida por todos os amantes da internet.

Responsabilidades:

• Criar e implementar funis de dados que extraiam, convertam e carreguem (ETL) informações de várias fontes para o BigQuery de forma rápida
• Utilizar o Apache Airflow para criar e gerenciar fluxos de trabalho
• Criar DAGs (Grafos Direcionados Acíclicos) para organizar e agendar operações de processamento de dados, garantindo a operação pontual e confiável dos funis de dados
• Criar scripts em Python para agilizar o processo de adição de novos recursos aos conjuntos de dados
• Conduzir as operações, arquitetura e execução de estratégias técnicas e de produto relevantes para um dos maiores sites do mundo
• Criar e manter modelos de dados e schemas dentro do BigQuery para garantir que os dados estejam estruturados adequadamente para consulta e análise efetivas
• Encontrar e utilizar técnicas que melhorem o desempenho, como indexação, particionamento e cache, tanto para consultas no BigQuery quanto para processos no Airflow
• Implementar controles de qualidade de dados para garantir sua confiabilidade e precisão
• Configurar sistemas de monitoramento e alerta para identificar e resolver proativamente problemas nos funis de dados ou nos jobs
• Implementar mecanismos de controle de acesso e segurança para proteger dados sensíveis no BigQuery
• Estabelecer permissões e funções para diferentes equipes e usuários
• Incluir informações nos funis de dados provenientes de várias fontes e plataformas, como APIs, bancos de dados, logs e serviços de terceiros
• Utilizar o Airflow e outras ferramentas de automação para automatizar os processos de ETL, aumentando a produtividade e reduzindo o envolvimento manual
• Manter a governança de dados e sua conformidade com os padrões e legislação de dados pertinentes, incluindo anonimização de dados, diretrizes de retenção de dados e proteção da privacidade dos dados
• Colaborar de perto com analistas e cientistas de dados e outros colegas importantes para compreender suas necessidades de dados e ajudá-los em projetos relacionados a dados
• Identificar e corrigir quaisquer problemas com o funil de dados, como gargalos de desempenho e outras possíveis dificuldades técnicas
• Manter a documentação para funis de dados, procedimentos de ETL e configurações de fluxo de trabalho de modo a promover a partilha de conhecimentos e a fácil integração de novos membros à equipe
• Manter-se atualizado sobre as últimas inovações do BigQuery e do Airflow e aprimorar continuamente seus métodos de engenharia de dados

Requisitos:

• Bacharelado ou Mestrado em Engenharia ou Ciência da Computação (ou experiência equivalente)
• Ao menos 5 anos de experiência relevante como engenheiro de dados
• Ampla experiência trabalhando com BigQuery, Airflow e Python
• É desejável ter familiaridade com Spark 
• Forte compreensão sobre fontes de dados, requisitos de transformação de dados e modelagem de dados
• Ampla familiaridade com o BigQuery, incluindo sua arquitetura, práticas recomendadas e métodos de otimização
• Experiência com a criação de consultas SQL complexas para processar e analisar rapidamente grandes conjuntos de dados
• Excelentes habilidades de comunicação oral e escrita em inglês