Vagas remotas de engenheiro de dados Spark

Nós, da Turing, estamos procurando engenheiros de dados Spark talentosos que possam trabalhar de forma remota e que serão responsáveis por limpar, transformar e analisar grandes quantidades de dados brutos de vários recursos usando o Apache Spark para fornecer dados prontos para o uso dos desenvolvedores e analistas de negócios. Tenha a chance de trabalhar com as principais empresas do Vale do Silício enquanto acelera sua carreira.

Confira os melhores empregos para Fevereiro de 2024aqui

Encontre o emprego perfeito com centenas de parceiros da Turing.

Descrição do trabalho

Responsabilidades

  • Construir e otimizar pipelines Apache Spark ETL
  • Fornecer soluções escaláveis, econômicas e flexíveis aos clientes
  • Participar do desenvolvimento iterativo de aplicativos de ponta a ponta
  • Acompanhar as práticas modernas de desenvolvimento de software e gerenciamento do ciclo de vida
  • Usar ferramentas ETL para carregar dados de diferentes fontes na plataforma Hadoop
  • Comunicar-se regularmente e de forma eficiente com clientes e partes interessadas
  • Criar trabalhos Spark baseados em Java para transformações e agregar dados
  • Realizar unit tests para transformações Spark
  • Implementar pipelines de processamento de dados com Spark

Requisitos mínimos

  • Bacharelado ou Mestrado em Ciência da Computação (ou experiência equivalente)
  • Mais de 3 anos de experiência com engenharia de dados (com raras exceções para desenvolvedores talentosos)
  • Experiência em linguagens de programação populares como Python, Java, Scala, etc.
  • Domínio do Apache Spark e diferentes frameworks Spark e serviços de nuvem, como Databricks, EMR, Azure HDI
  • Experiência com tecnologias como Storm, Apache Kafka, Hadoop, etc.
  • Conhecimento avançado de nuvem (AWS, Azure), bem como CI/CD e visualização de dados
  • Experiência prática com tecnologias de conteinerização e orquestração de contêineres usando Kubernetes, OpenShift, Docker, etc.
  • Conhecimento de tecnologias como Spark e Hadoop HDFS, Hive, Hbase com profundo conhecimento em Spark
  • Proficiência em inglês para uma comunicação eficaz com o resto do time
  • Capacidade de trabalhar em tempo integral (40 horas/semana) e sobrepor mais de 4 horas com os fusos horários dos EUA

Habilidades desejadas

  • Conhecimento básico com conceitos de ETL, SQL (DDL, DML, procedural)
  • Experiência prática em change capture (CDC) e ingestion tools para AWS, como StreamSets, Informatica
  • Forte experiência em ferramentas de controle de versão como Git, SVN e Jenkins
  • Conhecimento prático de NRT e stacks de tecnologia associada - Spark, MemSQL, etc.
  • Compreender arquitetura de dados, perfil de dados e qualidade de dados
  • Conhecimento de bancos de dados de data warehouse como Teradata, Oracle, etc.
  • Familiaridade com Unix e Shell Scripting
  • Conhecimento de diversas indústrias, ferramentas e tecnologias de data warehousing
  • Experiência prática para construir e administrar VMs e contêineres
  • Conhecimento prático sobre o HashiCorp Vault Consul é desejável
  • Excelente comunicação e habilidades organizacionais
  • Certificados profissionais em AWS, RHCE, DevOps serão um diferencial

Interessado neste trabalho online?

Inscreva-se na Turing hoje

Inscreva-se agora

Por que você deveria se juntar à Turing?

Empregos de alto nível nos EUA

1Empregos de alto nível nos EUA

Os desenvolvedores da Turing ganham mais do que o salário médio do mercado na maioria dos países, trabalhando com grandes empresas americanas.
Crescimento profissional

2Crescimento profissional

Cresça rapidamente trabalhando com problemas técnicos e de negócios desafiadores e relacionados às mais recentes tecnologias.
Suporte ao Desenvolvedor

3Suporte ao Desenvolvedor

Após o match, aproveite o suporte ao desenvolvedor 24 horas por dia, 7 dias por semana.

Desenvolvedores Turing

Leia as avaliações da Turing.com feitas por desenvolvedores de todo o mundo e saiba como é trabalhar para as melhores empresas dos EUA.
4.5DE 5
com base nas avaliações dos desenvolvedores em janeiro de 2024
Veja todas as avaliações

Como se tornar um desenvolvedor da Turing?

Trabalhe com as melhores empresas de software em apenas 4 passos fáceis
  1. Crie seu perfil

    Preencha seus dados básicos: nome, endereço, habilidades, salário e experiência.

  2. Realize nossos testes e entrevista

    Resolva os testes e realize uma entrevista técnica.

  3. Receba ofertas de trabalho

    Seja selecionado pelas melhores empresas dos EUA e do Vale do Silício

  4. Comece a trabalhar no seu emprego dos sonhos

    Quando você estiver na Turing, não precisará procurar outro emprego.

cover

Como se tornar um engenheiro de dados Spark?

Spark, ou Apache Spark, é um mecanismo de processamento de dados de uso geral. O mecanismo de processamento de dados principal do Spark vem com bibliotecas para SQL, Machine Learning, computação gráfica e recursos de processamento de fluxo que adicionam à sua lista de vantagens. Ele não é apenas utilizado por desenvolvedores de aplicativos, mas também usado globalmente por cientistas de dados para configurar consultas rápidas, analisar e transformar dados em escala.

O Spark também é conhecido por ser uma solução frequentemente associada ao processamento de grandes conjuntos de dados, streaming de dados de sensores, IoT, sistemas financeiros e tarefas de Machine Learning. Ao longo dos anos, tornou- se uma escolha obrigatória para a maioria dos desenvolvedores, transformando-o em uma habilidade de alto valor. Ele não apenas conseguiu simplificar vários processos, mas também forneceu alternativas às empresas para o desenvolvimento de aplicativos em escala, rapidamente, e atender às preferências do usuário final. Dessa forma, as vagas de engenheiros de dados Spark para profissionais capazes de conduzir projetos e atender aos requisitos de negócios aumentaram.

Qual é o escopo da engenharia de dados Spark?

Com uma demanda crescente por soluções de big data e tecnologias relacionadas, os engenheiros de dados Spark parecem ter um futuro próspero. O uso do Spark como tecnologia aumentou significativamente ao longo dos anos e em diferentes setores, pois os desenvolvedores estão usando o framework com diferentes linguagens – o Spark oferece suporte para várias linguagens de programação, como Scala, Python e Java, permitindo que os desenvolvedores adotem uma abordagem Agile.

Qualquer desenvolvedor com alguns anos de experiência profissional e conhecimento em Spark e suas melhores práticas pode construir facilmente uma carreira bem-sucedida e bem remunerada. Os desenvolvedores Spark não são apenas profissionais sob demanda na comunidade de tecnologia, mas em todos os setores, pois o Spark é usado globalmente e implantado regularmente em setores como telecomunicações, redes, bancos e finanças, varejo, desenvolvimento de software, mídia e entretenimento, consultoria, saúde, manufatura e muito mais. A capacidade de obter sucesso em diferentes setores e trabalhar com grandes empresas tornou a engenharia de dados Spark mais lucrativa do que nunca.

Quais são as responsabilidades e funções de um engenheiro de dados Spark?

Em um trabalho de engenheiro de dados Spark, você deve estar preparado para contribuir com diferentes aspectos dos processos de desenvolvimento de software. Quando contratado, algumas de suas responsabilidades diárias devem incluir tarefas como desenvolver aplicativos utilizando linguagens modernas, como Scala, Python e Java. Você também precisa trabalhar de perto no desenvolvimento de testes Spark para agregação e transformação de dados.

Você também precisa ser capaz de projetar diferentes funis de processamento de dados e realizar revisões de código por pares para garantir a qualidade da lógica com scripting. Como engenheiro de dados Spark, você também deve estar preparado para coletar informações sobre as preferências do usuário e transformá-las em recursos robustos para aplicativos novos e interessantes. A seguir, confira outras responsabilidades que você terá ao conquistar uma vaga de engenheiro de dados Spark:

  • Desenvolver e otimizar funis Apache Spark ETL
  • Produzir soluções fáceis de atualizar, econômicas e flexíveis para os clientes
  • Contribuir ativamente para os processos de desenvolvimento de aplicativos de ponta a ponta
  • Manter-se atualizado sobre as melhores práticas e gerenciamento de desenvolvimento de software moderno
  • Utilizar ferramentas ETL para acessar dados de várias fontes em uma plataforma Hadoop
  • Colaborar de forma eficiente com diferentes clientes e stakeholders
  • Criar trabalhos Spark baseados em Java para transformações e agregações de dados
  • Realizar unit tests para transformações Spark
  • Configurar funis de processamento de dados usando o Spark

Como se tornar um engenheiro de dados Spark?

O conhecimento de desenvolvimento Spark e engenharia de dados é uma habilidade de valor extremamente alto na indústria de software atual. Para obter sucesso em empregos de engenheiro de dados Spark, os desenvolvedores devem possuir uma compreensão completa de certas habilidades básicas.

As empresas preferem contratar engenheiros de dados Spark com experiência profissional relevante e profundo conhecimento do Apache Spark e de diferentes frameworks Spark e serviços em nuvem. A capacidade de trabalhar usando tecnologias como Storm, Apache Kafka e Hadoop também deve ajudar a garantir as melhores oportunidades nas principais empresas. Como desenvolvedor, tente dominar diferentes tecnologias e abordagens adotadas para desenvolver projetos de grande escala.

Além da proficiência técnica, a maioria das empresas prefere contratar desenvolvedores com formação em Ciência da Computação ou áreas afins. Além disso, tente sempre manter-se atualizado sobre as últimas atualizações no campo de desenvolvimento Spark e nos processos relacionados.

Interessado em trabalhos remotos de engenheiro de dados Spark?

Inscreva-se na Turing hoje!

Inscreva-se agora

Habilidades necessárias para se tornar um engenheiro de dados Spark

Se você deseja conseguir um emprego de engenheiro de dados Spark e ter muito sucesso profissional, você precisa possuir um certo conjunto de habilidades e conhecimentos – vamos dar uma olhada neles:

1. Apache Spark

O Apache Spark é um mecanismo de análise unificado gratuito, frequentemente utilizado para processamento de dados em grande escala. Ele oferece uma interface intuitiva para configurar clusters com paralelismo de dados implícito e tolerância a falhas. A plataforma utiliza cache na memória e execução de consulta otimizada para consultas imediatas sobre dados de vários tamanhos.

Com o Spark, os desenvolvedores podem criar APIs em várias linguagens, como Java, Scala, Python e R. Adicionalmente, ele oferece recursos de reutilização de código para diferentes processos, como processamento em lote, consultas interativas, análise em tempo real, machine learning e processamento de gráficos. Como plataforma de desenvolvimento, o Apache Spark é extremamente rápido, eficiente, amigável ao desenvolvedor e oferece suporte a várias cargas de trabalho.

2. Python

Outra habilidade essencial necessária para conseguir trabalhos de engenheiro de dados Spark em 2022 é o Python, pois essa é provavelmente a linguagem de programação de propósito geral mais usada atualmente. Inicialmente desenvolvido para oferecer legibilidade de código e recursos, o Python rapidamente conquistou seu nicho e seguidores globais.

O Python, como linguagem, foi construído com uma abordagem orientada a objetos para permitir que os programadores escrevam códigos limpos e lógicos para vários setores e requisitos. A linguagem pode ser usada para desenvolver soluções digitais para diferentes indústrias e tem destaque constante em setores como análise de dados, machine learning e outros projetos orientados por dados. É também uma linguagem extremamente versátil e oferece suporte para tarefas essenciais que podem definir o sucesso de um projeto.

3. AWS/Microsoft Azure

Na indústria de desenvolvimento de software moderna, quase todos os novos produtos utilizam serviços em nuvem de alguma maneira. Os serviços em nuvem conseguiram introduzir vários benefícios para os desenvolvedores criarem, dimensionarem e gerenciarem projetos com o mínimo esforço e a partir de qualquer local. A introdução de tal tecnologia conseguiu agilizar diferentes processos, tornando-se um requisito vital para quase todas as funções de desenvolvimento de software.

Esses serviços também revolucionaram a forma como as estratégias de desenvolvimento são concebidas. Com base nos benefícios dos serviços em nuvem, a maioria das empresas pedem experiência em desenvolvimento AWS ou Azure em vagas de engenheiros de dados Spark.

4. Conteinerização

A conteinerização se tornou um modelo frequentemente escolhido pelos desenvolvedores de software. Ela oferece um tipo de tecnologia de virtualização que permite que os aplicativos sejam executados em seus espaços individuais/isolados chamados de containers.

Atualmente, quase todos os projetos de desenvolvimento de software incorporam modelos baseados em container para utilizar servidores com eficiência contínua. Dessa forma, a maioria das empresas de tecnologia tenta ativamente contratar especialistas com um conjunto de habilidades comprovadas para criar, configurar e manter projetos em containers. Como engenheiro de dados Spark, um entendimento completo de tecnologias Docker e Kubernetes deve ser tratado como uma das principais prioridades para construir uma carreira bem-sucedida e estável.

5. Ferramentas de versionamento

Os processos modernos de desenvolvimento de software utilizam principalmente pequenos módulos de código para melhorar a estabilidade. Os desenvolvedores também preferem trabalhar com o mesmo modelo, pois permite adicionar, modificar ou desativar determinados recursos sem precisar interromper todo o código-fonte – tais benefícios transformaram as ferramentas de versionamento em um requisito muito importante.

Usando essas ferramentas, os desenvolvedores podem acompanhar toda a base de código durante e até mesmo após o lançamento dos aplicativos. Isso permite que eles não apenas monitorem e encontrem áreas de melhoria, mas também voltem para uma versão estável do programa, se houver necessidade. Por isso, a compreensão e a experiência profissional trabalhando com sistemas de controle de versão tornaram-se uma habilidade essencial para construir uma carreira de sucesso na indústria de desenvolvimento de software moderna.

6. Habilidades de comunicação

Para trabalhar em qualquer área, os desenvolvedores podem precisar de muito mais do que apenas proficiência técnica. Na indústria atual, as empresas preferem contratar profissionais que possuem confiança de interagir com os membros do time – a capacidade de se comunicar com eficiência virou um requisito obrigatório para a maioria dos cargos.

Os engenheiros de dados Spark precisam ter confiança em suas habilidades e fluência nas linguagens de programação preferidas para contribuir efetivamente com os processos de desenvolvimento. Interagir e se comunicar com várias equipes e stakeholders parece ser uma responsabilidade diária para a maioria dos desenvolvedores. Além disso, as habilidades interpessoais tornaram-se ainda mais importantes com as posições remotas se tornando cada vez mais populares.

Interessado em trabalhos remotos de engenheiro de dados Spark?

Inscreva-se na Turing hoje!

Inscreva-se agora

Como ser contratado como engenheiro de dados Spark?

Enquanto você adquire o máximo de experiência prática possível, é preciso que você também crie uma estratégia de busca por vagas eficiente. Antes de começar a procurar por um emprego, pense sobre o que é que você está buscando e como você pode usar essa informação para afunilar sua busca. É tudo questão de pôr a mão na massa e mostrar do que você é capaz na hora de convencer um empregador de que você é a pessoa certa para o trabalho. Como resultado, é importante que você continue aprendendo e se aprimorando. Você terá cada vez mais coisas para dizer na hora de uma entrevista se tiver trabalhado com projetos de código aberto, seja como voluntário ou freelancer.

A Turing tem os melhores trabalhos remotos de engenheiro de dados Spark, feitos sob medida para seu plano de carreira como engenheiro de dados Spark. Trabalhar com tecnologias de ponta em complexos problemas técnicos e comerciais o ajudará a crescer rapidamente. Obtenha empregos remotos para programador de dados Spark, de tempo integral, longo prazo, com oportunidades de crescimento na carreira e ótima remuneração, juntando-se a uma rede com os melhores desenvolvedores do mundo.

Por que se tornar um engenheiro de dados Spark na Turing?

Trabalhos de primeira linha nos EUA
Trabalhos de primeira linha nos EUA

Oportunidades de trabalho de longo prazo para empresas americanas incríveis, orientadas por suas missões e com grande remuneração.

Crescimento na carreira
Crescimento na carreira

Trabalhe em problemas técnicos e comerciais desafiadores, utilizando tecnologia de ponta para acelerar o crescimento de sua carreira.

Comunidade exclusiva de desenvolvedores
Comunidade exclusiva de desenvolvedores

Junte-se a uma comunidade mundial de desenvolvedores de software de elite.

Uma vez parte da Turing, você nunca mais terá que se candidatar para outro emprego
Uma vez parte da Turing, você nunca mais terá que se candidatar para outro emprego

Os compromissos da Turing são de longo prazo e em tempo integral. Quando um projeto termina, nossa equipe parte para identificar o próximo em questão de semanas.

Trabalhe do conforto da sua casa
Trabalhe do conforto da sua casa

A Turing permite que você trabalhe de acordo com sua conveniência. Temos horários de trabalho flexíveis e você pode trabalhar para as principais empresas americanas do conforto da sua casa.

Ótima remuneração
Ótima remuneração

Trabalhando com as principais corporações americanas, os desenvolvedores da Turing recebem mais do que o mercado costuma oferecer na maioria dos países.

Quanto a Turing paga a seus engenheiros de dados Spark?

Na Turing, cada engenheiro de dados Spark é livre para determinar sua faixa salarial. A Turing, por outro lado, recomendará um salário com o qual estamos confiantes de que poderemos encontrar para você uma oportunidade vantajosa e de longo prazo. Nossas sugestões baseiam-se na análise das condições de mercado e na demanda que recebemos de nossos clientes.

Perguntas frequentes

Somos uma plataforma “end-to-end” de empregos baseada em Palo Alto que permite que desenvolvedores de software talentosos trabalhem com grandes empresas americanas a partir do conforto de suas casas. Somos liderados por Jonathan Siddharth e Vijay Krishnan, ex-alunos de Stanford e empreendedores bem-sucedidos de I.A.

É a combinação do nosso modelo empresarial e dos nossos valores o que nos torna diferentes dos outros. Oferecemos projetos em tempo integral e de longa duração para desenvolvedores remotos, enquanto a maioria de nossos concorrentes geralmente oferece empregos freelancers.

Atualmente, temos vagas apenas para desenvolvedores devido ao volume de demandas de trabalho de nossos clientes. Mas no futuro, também poderemos expandir para outras áreas. Verifique nossa página de carreiras periodicamente para saber se estamos oferecendo uma vaga que se adapta às suas habilidades e experiência.

Na Turing, contratamos desenvolvedores remotos para mais de 100 habilidades como React/Node, Python, Angular, Swift, React Native, Android, Java, Rails, Golang, PHP, Vue, etc. Também contratamos engenheiros de acordo com sua especialidade e experiência.

Depois de fazer upload do seu currículo, você terá que passar por três testes: avaliação de senioridade, teste de tech stack e desafio de programar ao vivo. Uma vez aprovado nestes testes, você poderá se candidatar a uma ampla gama de trabalhos disponíveis com base nas suas habilidades.

Não, o serviço é absolutamente gratuito para desenvolvedores de software inscritos.

Idealmente, um desenvolvedor remoto deve ter pelo menos 3 anos de experiência relevante para ser contratado pela Turing, mas não dizemos não a desenvolvedores excepcionais. Faça nosso teste para descobrir se podemos oferecer algo interessante para você.

A comunicação é crucial para o sucesso quando se trabalha com clientes dos EUA. Preferimos candidatos com nível B1 de inglês, ou seja, aqueles que têm a fluência necessária para se comunicar sem problemas com nossos clientes e falantes nativos.

Não, você não precisa pagar nenhum imposto nos Estados Unidos. No entanto, você pode ter que pagar impostos de acordo com as leis fiscais do seu país. Além disso, seu banco pode cobrar um pequeno valor como uma taxa de transação.

Veja outras perguntas frequentes

Últimos Posts da Turing

Liderança

Em poucas palavras, a Turing tem como objetivo fazer com que exista um equilíbrio de oportunidades ao redor do mundo. A Turing é uma criação dos empreendedores de IA em série Jonathan e Vijay, cuja empresa anterior de IA (vendida com sucesso) foi potencializada por talentos remotos excepcionais. Também fazem parte do grupo de inovadores da Turing investidores de alto perfil, como o primeiro CTO do Facebook (Adam D'Angelo), executivos de Google, Amazon, Twitter e Foundation Capital.

Política de Igualdade de Oportunidades

Turing é uma contratante que dá oportunidades iguais. A Turing proíbe discriminação e assédios de qualquer tipo e oferece oportunidades de emprego iguais para funcionários e candidatos, sem discriminar raça, cor, religião, sexo, orientação sexual, identidade ou expressão de gênero, idade, status de deficiência, status de veterano protegido ou qualquer outra característica protegida por lei.

Veja alguns trabalhos remotos para desenvolvedores

Confira os melhores empregos para Fevereiro de 2024aqui

Trabalhe em tempo integral em grandes empresas dos EUA.

Crie seu perfil, passe nos testes da Turing e receba ofertas de emprego a partir de 2 semanas.