Hamburger_menu.svg

Vagas Spark para Desenvolvedores Brasileiros

Conquiste vagas Spark. Nós, da Turing, estamos procurando desenvolvedores Spark brasileiros que serão responsáveis pela limpeza, transformação e análise de grandes quantidades de dados brutos de várias fontes e recursos, usando a Spark para fornecer dados prontos para uso para os desenvolvedores e analistas de negócios. Esta é sua chance de acelerar sua carreira trabalhando de forma remota para as principais empresas do Vale do Silício em uma vaga Spark.

Confira os melhores empregos para março de 2024aqui

Encontre o emprego perfeito com centenas de parceiros da Turing.

Descrição do trabalho

Responsabilidades

  • Criar jobs Scala/Spark para transformação e coleta de dados
  • Processar enormes quantidades de dados não estruturados e estruturados
  • Escrever unit tests para transformação de dados
  • Instalar, configurar e manter o ambiente empresarial Hadoop
  • Atribuir schemas usando tabelas Hives e implantar clusters HBase
  • Elaborar pipelines de processamento de dados
  • Usar ferramentas ETL para carregar dados de diferentes fontes para a plataforma Hadoop
  • Desenvolver e revisar documentação técnica
  • Manter a segurança e a privacidade dos clusters Hadoop

Requisitos mínimos

  • Bacharelado ou Mestrado em Ciência da Computação (ou experiência equivalente)
  • Mais de 3 anos de experiência trabalhando em aplicações baseadas em Spark (raras exceções para desenvolvedores altamente qualificados)
  • Experiência trabalhando em ambientes complexos de Big Data em grande escala
  • Experiência prática em Hive, Yarn, HDFS, HBase, etc.
  • Experiência com tecnologias como Storm, Apache Kafka, Hadoop, etc.
  • Bem versado em linguagens de programação como Scala, Java, ou Python
  • Experiência com produtos ETL, como Ab Initio, Informatica, Data Stage, etc.

Habilidades desejadas

  • Experiência na escrita de consultas SQL complexas, importação e exportação de grandes quantidades de dados utilizando ferramentas
  • Habilidade de escrever componentes de código reutilizáveis e abstratos
  • Comunicar e coordenar entre várias equipes
  • Ser um ótimo membro colaborativo dentro da equipe com uma forte atenção aos detalhes

Interessado neste trabalho online?

Inscreva-se na Turing hoje

Inscreva-se agora

Por que você deveria se juntar à Turing?

Empregos de alto nível nos EUA

1Empregos de alto nível nos EUA

Os desenvolvedores da Turing ganham mais do que o salário médio do mercado na maioria dos países, trabalhando com grandes empresas americanas.
Crescimento profissional

2Crescimento profissional

Cresça rapidamente trabalhando com problemas técnicos e de negócios desafiadores e relacionados às mais recentes tecnologias.
Suporte ao Desenvolvedor

3Suporte ao Desenvolvedor

Após o match, aproveite o suporte ao desenvolvedor 24 horas por dia, 7 dias por semana.

Desenvolvedores Turing

Leia as avaliações da Turing.com feitas por desenvolvedores de todo o mundo e saiba como é trabalhar para as melhores empresas dos EUA.
4.5DE 5
com base nas avaliações dos desenvolvedores em fevereiro de 2024
Veja todas as avaliações

Como se tornar um desenvolvedor da Turing?

Trabalhe com as melhores empresas de software em apenas 4 passos fáceis
  1. Crie seu perfil

    Preencha seus dados básicos: nome, endereço, habilidades, salário e experiência.

  2. Realize nossos testes e entrevista

    Resolva os testes e realize uma entrevista técnica.

  3. Receba ofertas de trabalho

    Seja selecionado pelas melhores empresas dos EUA e do Vale do Silício

  4. Comece a trabalhar no seu emprego dos sonhos

    Quando você estiver na Turing, não precisará procurar outro emprego.

cover

Como se tornar um desenvolvedor Spark?

Devido à alta velocidade, facilidade de uso e análise complexa, o Spark tem crescido tremendamente nos últimos anos, tornando-se a engine de processamento de dados e análise de IA mais eficaz nas empresas de hoje. O Spark tem um custo elevado porque requer muita memória RAM para funcionar em memória.
O Spark combina dados e IA, facilitando a preparação de dados em larga escala a partir de uma variedade de fontes. Também tem um conjunto uniforme de APIs para engenharia de dados e cargas de trabalho de ciência de dados e se integra perfeitamente com bibliotecas populares como TensorFlow, PyTorch, R, e SciKit-Learn.
A popularidade do Spark tem aumentado recentemente à medida que mais empresas estão confiando nos dados para desenvolver suas estratégias comerciais. Portanto, o desenvolvimento Spark é indiscutivelmente uma opção de carreira estável e bem remunerada.

Qual é o escopo do desenvolvimento Spark?

Big Data é o futuro, e Spark fornece um amplo conjunto de ferramentas para o manuseio de enormes quantidades de dados em tempo real. O Spark é uma tecnologia do futuro devido à sua velocidade, tolerância a falhas e processamento eficiente na memória.
Dê uma olhada em algumas dicas que demonstram porque as empresas preferem o Spark.

  • Consultas SQL, streaming de dados, Machine Learning (ML) e processamento gráfico são todos suportados por esta engine unificada.
  • Para cargas de trabalho menores, processamento em memória, armazenamento de dados em disco e outras técnicas, é 100 vezes mais rápido do que o Hadoop.
  • As APIs estão disponíveis para manipulação e transformação de dados semi-estruturados e são simples de usar.

O desenvolvimento web avançou a um nível que ninguém poderia imaginar há 20 anos. Spark é uma das engines analíticas unificadas de código aberto mais populares hoje em dia, e você terá muitas opções de carreira no campo de desenvolvimento Spark.

Quais são as funções e responsabilidades de um desenvolvedor Spark?

As principais funções de um desenvolvedor Spark incluem fornecer dados prontos para uso para apresentar aos desenvolvedores e analistas de negócios, analisando grandes quantidades de dados brutos de diversos sistemas usando Spark. Isto abrange tanto pedidos ad-hoc quanto funis de dados incorporados em nosso ambiente de produção.
Entre as principais responsabilidades em uma vaga de desenvolvedor Spark remoto estão:

  • Escrever componentes Spark, análises e código executável de serviços
  • Aprender linguagens de programação essenciais, como Java, Python e Scala
  • Conhecer Apache Kafka, Storm, Hadoop e Zookeeper, assim como outras tecnologias relevantes
  • Estar preparado para lidar com a análise do sistema, que abrange design, programação, unit tests e outras tarefas do SDLC
  • Considerar os requisitos do usuário e transformá-los em tarefas técnicas sólidas, além de fornecer estimativas de custos
  • Validar a precisão da análise técnica e o conhecimento especializado na solução de problemas
  • Avaliar o código e o caso de uso para confirmar que ele está de acordo com as especificações

Como ser um programador Spark?

Há uma linha tênue entre tornar-se um desenvolvedor Spark certificado e ser um programador Spark realmente capaz de executar uma aplicação em tempo real.
Aqui estão algumas recomendações para ajudá-lo a encontrar trabalhos home-office como desenvolvedor Spark.

  • Para ser um especialista, você deve seguir o caminho certo com a ajuda de profissionais experientes e certificados do setor em tempo real
  • Você também pode se inscrever em qualquer um dos programas de treinamento e certificação
  • Uma vez iniciado o processo de certificação, você deve começar a trabalhar em seus projetos para entender melhor o Spark
  • RDDs (Resilient Distributed Datasets) e Dataframes são os principais componentes de construção do Spark. Você precisa ter uma compreensão completa destes.
  • O Spark também pode ser integrado com várias linguagens de programação de alto desempenho, incluindo Python, Scala, e Java. Os RDDs PySpark são o melhor exemplo de Python e Apache Spark trabalhando juntos.
  • Depois de ter dominado os fundamentos do Spark, você pode continuar a entender os principais componentes do Spark Apache: Spark ML-Lib, Spark GraphX,SparkR, Spark Streaming
  • Uma vez concluído o treinamento e a certificação necessários, é hora de praticar o que você aprendeu o máximo possível

Vamos dar uma olhada nas habilidades e táticas que um programador Spark bem sucedido precisa.

Interessado em vagas remotas de desenvolvedor Spark?

Inscreva-se na Turing hoje!

Inscreva-se agora

Habilidades necessárias para ser um desenvolvedor Spark

O primeiro passo para conquistar vagas home-office de desenvolvedor Spark é aprender as principais habilidades. Agora, vamos dar uma olhada mais de perto em quais são elas.

1. Big Data framing e análise

Análise de Big Data usa técnicas avançadas de analytics de conjuntos de dados extensos e diversos, que podem conter dados estruturados, semi-estruturados e não estruturados e dados de muitas fontes e tamanhos que variam de terabytes a zettabytes. Esta habilidade é essencial para você ser contratado para empregos online de desenvolvedor Spark.

2. Python

Python é uma linguagem de programação interpretada de alto nível e de propósito geral. Sua filosofia de design enfatiza a legibilidade do código através de muita indentação. A abordagem orientada a objetos do Python é desenvolvida para ajudar os programadores a escrever código claro e lógico tanto para projetos pequenos quanto de grande escala.

3. Scala

Scala é um acrônimo que significa "Scalable Language" (Linguagem Escalável). É uma linguagem de programação com múltiplos paradigmas. A linguagem de programação Scala combina técnicas de programação funcional e orientada a objetos. É uma linguagem de programação escrita estaticamente. Seu código fonte é convertido para bytecode e executado pela Java Virtual Machine (JVM).

4. Java

Java é uma linguagem de programação orientada a objetos com algumas dependências de implementação. A linguagem de programação Java é uma linguagem write-once, run-anywhere. Um programa Java é compilado em bytecode. Este formato de bytecode é independente de plataforma, o que significa que pode ser executado em qualquer máquina, e também fornece segurança. Os programas Java podem ser executados em qualquer máquina que tenha o Java Runtime Environment instalado.

5. Spark SQL

O Spark SQL é um módulo de processamento de dados estruturado do Spark. Ele oferece DataFrames como uma abstração na programação e também pode servir como uma engine de consulta SQL distribuída. Ele também tem uma forte conexão com o resto do ecossistema Spark (por exemplo, integrando o processamento de consultas SQL com Machine Learning). Você deve desenvolver esta habilidade para conquistar vagas remotas de programador Spark.

6. Spark Streaming

A Spark Streaming é uma extensão da Spark API que permite aos engenheiros e cientistas analisar dados em tempo real de várias fontes, incluindo (mas não limitado a) Kafka, Flume, e Amazon Kinesis. Os dados podem ser transferidos para sistemas de arquivos, bancos de dados e painéis de controle ao vivo após terem sido analisados.

7. MLlib

MLlib é uma biblioteca de Machine Learning escalável construída sobre a Spark que inclui classificação, regressão, agrupamento, filtragem colaborativa, redução da dimensionalidade e primitivas de otimização subjacentes, bem como outros métodos e utilidades padrões para aprendizagem.

8. Elastic MapReduce

O Amazon Elastic MapReduce (EMR) é um serviço web que fornece um framework gerenciado para um processamento de dados fácil, econômico e seguro, incluindo Apache Hadoop, Apache Spark, e Presto. É usado para vários fins, incluindo análise de dados, indexação online, armazenamento de dados, análise financeira e simulação científica. Você precisa dominar isto para ser contratado para os melhores trabalhos de programador Spark.

9. Spark DataFrames e Datasets

Datasets são uma extensão dos Dataframes no Spark. Essencialmente, ele ganha dois tipos de características API: strong typed e untyped. Ao contrário dos dataframes, os dataset são, por padrão, uma coleção de objetos JVM fortemente tipados. Eles também fazem uso do otimizador Spark's Catalyst.

10. Biblioteca GraphX

GraphX combina ETL, análise exploratória e computação gráfica iterativa dentro de apenas um sistema. O Pregel API permite ver os mesmos dados que os gráficos e coleções, transformar e combinar rapidamente os gráficos com RDDs, e implementar algoritmos de gráficos iterativos e personalizados.

Interessado em vagas remotas de desenvolvedor Spark?

Inscreva-se na Turing hoje!

Inscreva-se agora

Como conquistar vagas remotas de desenvolvedor Spark?

O desenvolvimento Spark é uma das carreiras mais versáteis da atualidade, já que ela te permite trabalhar de qualquer lugar apenas com um computador e uma conexão à internet. Você pode trabalhar de casa ou até mesmo da praia! Estes são alguns dos benefícios que as vagas remotas de desenvolvedor Spark oferecem.
Por causa do aumento da necessidade de ter um desenvolvedor Spark em empresas , o trabalho online tornou-se atraente para empregadores, mesmo com a distância e diferença em fuso-horários. Para conquistar uma vaga home-office de desenvolvedor Spark você precisa continuar atualizando suas habilidades técnicas e estabelecer uma rotina de trabalho produtiva.
A Turing oferece as melhores oportunidades de trabalho remoto para desenvolvedores Spark considerando sua trajetória profissional. Cresça rapidamente ao trabalhar em problemas técnicos e comerciais desafiadores com as mais recentes tecnologias. Junte-se a uma rede com os melhores desenvolvedores do mundo e obtenha empregos remotos como desenvolvedor Spark, de tempo integral, a longo prazo, com oportunidades de crescimento na carreira e ótima remuneração.

Por que ser um desenvolvedor Spark na Turing?

Trabalhos de primeira linha nos EUA
Trabalhos de primeira linha nos EUA

Oportunidades de trabalho de longo prazo para empresas americanas incríveis, orientadas por suas missões e com grande remuneração.

Crescimento na carreira
Crescimento na carreira

Trabalhe em problemas técnicos e comerciais desafiadores, utilizando tecnologia de ponta para acelerar o crescimento de sua carreira.

Comunidade exclusiva de desenvolvedores
Comunidade exclusiva de desenvolvedores

Junte-se a uma comunidade mundial de desenvolvedores de software de elite.

Uma vez parte da Turing, você nunca mais terá que se candidatar para outro emprego
Uma vez parte da Turing, você nunca mais terá que se candidatar para outro emprego

Os compromissos da Turing são de longo prazo e em tempo integral. Quando um projeto termina, nossa equipe parte para identificar o próximo em questão de semanas.

Trabalhe do conforto da sua casa
Trabalhe do conforto da sua casa

A Turing permite que você trabalhe de acordo com sua conveniência. Temos horários de trabalho flexíveis e você pode trabalhar para as principais empresas americanas do conforto da sua casa.

Ótima remuneração
Ótima remuneração

Trabalhando com as principais corporações americanas, os desenvolvedores da Turing recebem mais do que o mercado costuma oferecer na maioria dos países.

Quanto a Turing paga para desenvolvedores Spark?

Na Turing, cada desenvolvedor Spark é livre para determinar sua faixa salarial. A Turing, por outro lado, recomendará um salário com o qual estamos confiantes de que poderemos lhe oferecer uma oportunidade vantajosa e de longo prazo. Nossas sugestões baseiam-se na análise das condições de mercado e na demanda que recebemos de nossos clientes.

Perguntas frequentes

Somos uma plataforma “end-to-end” de empregos baseada em Palo Alto que permite que desenvolvedores de software talentosos trabalhem com grandes empresas americanas a partir do conforto de suas casas. Somos liderados por Jonathan Siddharth e Vijay Krishnan, ex-alunos de Stanford e empreendedores bem-sucedidos de I.A.

É a combinação do nosso modelo empresarial e dos nossos valores o que nos torna diferentes dos outros. Oferecemos projetos em tempo integral e de longa duração para desenvolvedores remotos, enquanto a maioria de nossos concorrentes geralmente oferece empregos freelancers.

Atualmente, temos vagas apenas para desenvolvedores devido ao volume de demandas de trabalho de nossos clientes. Mas no futuro, também poderemos expandir para outras áreas. Verifique nossa página de carreiras periodicamente para saber se estamos oferecendo uma vaga que se adapta às suas habilidades e experiência.

Na Turing, contratamos desenvolvedores remotos para mais de 100 habilidades como React/Node, Python, Angular, Swift, React Native, Android, Java, Rails, Golang, PHP, Vue, etc. Também contratamos engenheiros de acordo com sua especialidade e experiência.

Depois de fazer upload do seu currículo, você terá que passar por três testes: avaliação de senioridade, teste de tech stack e desafio de programar ao vivo. Uma vez aprovado nestes testes, você poderá se candidatar a uma ampla gama de trabalhos disponíveis com base nas suas habilidades.

Não, o serviço é absolutamente gratuito para desenvolvedores de software inscritos.

Idealmente, um desenvolvedor remoto deve ter pelo menos 3 anos de experiência relevante para ser contratado pela Turing, mas não dizemos não a desenvolvedores excepcionais. Faça nosso teste para descobrir se podemos oferecer algo interessante para você.

A comunicação é crucial para o sucesso quando se trabalha com clientes dos EUA. Preferimos candidatos com nível B1 de inglês, ou seja, aqueles que têm a fluência necessária para se comunicar sem problemas com nossos clientes e falantes nativos.

Não, você não precisa pagar nenhum imposto nos Estados Unidos. No entanto, você pode ter que pagar impostos de acordo com as leis fiscais do seu país. Além disso, seu banco pode cobrar um pequeno valor como uma taxa de transação.

Veja outras perguntas frequentes

Últimos Posts da Turing

Liderança

Em poucas palavras, a Turing tem como objetivo fazer com que exista um equilíbrio de oportunidades ao redor do mundo. A Turing é uma criação dos empreendedores de IA em série Jonathan e Vijay, cuja empresa anterior de IA (vendida com sucesso) foi potencializada por talentos remotos excepcionais. Também fazem parte do grupo de inovadores da Turing investidores de alto perfil, como o primeiro CTO do Facebook (Adam D'Angelo), executivos de Google, Amazon, Twitter e Foundation Capital.

Política de Igualdade de Oportunidades

Turing é uma contratante que dá oportunidades iguais. A Turing proíbe discriminação e assédios de qualquer tipo e oferece oportunidades de emprego iguais para funcionários e candidatos, sem discriminar raça, cor, religião, sexo, orientação sexual, identidade ou expressão de gênero, idade, status de deficiência, status de veterano protegido ou qualquer outra característica protegida por lei.

Veja alguns trabalhos remotos para desenvolvedores

Confira os melhores empregos para março de 2024aqui

Trabalhe em tempo integral em grandes empresas dos EUA.

Crie seu perfil, passe nos testes da Turing e receba ofertas de emprego a partir de 2 semanas.