Ingeniero de Datos

Una empresa estadounidense que utiliza tecnología basada en IA para aumentar la productividad humana y automatizar operaciones en todo el mundo busca un ingeniero de datos. El candidato seleccionado ayudará al equipo a diseñar, construir y mantener la infraestructura central de datos y la plataforma de análisis de misión crítica. La empresa está creando productos atractivos y útiles basados en machine learning, mientras que resuelve algunos problemas complejos. La empresa ha conseguido más de 378 millones de dólares durante su ronda de financiación de serie C. Ese puesto de trabajo remoto requiere de 3 a 4 horas de superposición con la zona horaria PST. 

Responsabilidades:

• Crear sistemas de infraestructura de datos que puedan gestionar volúmenes de datos cada vez mayores y las demandas que el equipo quiere hacer de ellos
• Ayudar a diseñar y crear canales de procesamiento de datos de alta disponibilidad que autocontrolen e informen de las anomalías
• Dar forma al futuro de la infraestructura de datos al tiempo que se mejoran las capacidades existentes de desarrollo basado en métricas y machine learning
• Comprender cómo hacer las concesiones necesarias para enviar sin sacrificar la calidad
• Mejorar la canalización de datos de producción de misión crítica, los almacenes de datos y los sistemas de datos diseñando e implementando los cambios
• Reconocer patrones y generalizaciones en el flujo de datos, y automatizar todo lo que pueda para aumentar la eficiencia
• Ampliar los procedimientos de registro y supervisión para detectar anomalías y problemas en una fase temprana y solucionarlos
• Crear datos de vanguardia y soluciones de automatización utilizando Python, Spark, y Flink
• Mantener, gestionar y vigilar los componentes de la infraestructura, como Kafka, Kubernetes, Spark, Flink, Jenkins, bases de datos OLAP y RDBMS generales, buckets de objetos S3 y permisos
• Impulsar la eficacia, precisión y coherencia de nuestros procedimientos ETL

Requerimientos:

• Licenciatura/Máster en Ingeniería, Informática (o experiencia equivalente)
• Al menos 12 o más años de experiencia relevante como ingeniero de datos, desarrollo de software, y/o dev-ops, roles SRE
• Más de 5 años de experiencia trabajando con ingeniería de datos, sistemas de datos, canalización y procesamiento de flujos
• Amplia experiencia con SQL y tecnologías relacionadas como Redshift, PostgreSQL, MySQL, Presto, Spark SQL y Hive
• Experiencia competente con lenguajes de programación de alto nivel como Python, Scala, Java, Kotlin y Go
• Experiencia con CI/CD (integración y despliegue continuos) y sistemas de gestión de flujos de trabajo como Airflow, Oozie, Luigi y Azkaban
• Experiencia en la implementación de gobernanza de datos, es decir, políticas de gestión de acceso, retención de datos, IAM, etc.
• Experiencia previa operando en una capacidad similar a DevOps mientras se trabaja con AWS, Kubernetes, Jenkins, Terraform, etc.
• Experiencia pensando en automatización, alertas, monitorización, seguridad y otras infraestructuras declarativas
• Amplia experiencia con procesos ETL y los diversos almacenes de datos que sirven datos de forma rápida y segura a todas las partes interesadas internas y externas
• Experiencia con Kafka, Kubernetes, Python, Spark, Flink, Jenkins, OLAP general y bases de datos RDBMS, cubos de objetos S3 y permisos
• Se prefiere la experiencia previa en el mantenimiento y la gestión de Kafka
• Es bueno tener algo de experiencia en el mantenimiento y gestión de sistemas de bases de datos OLAP/HA
• Es deseable tener familiaridad con el manejo de clústeres Kubernetes para varios trabajos, apps y alto rendimiento
• Se valorará el conocimiento técnico de formatos de intercambio y serialización de datos como Protobuf, Avro o Thrift
• Es bueno tener alguna experiencia previa en el despliegue y la creación de Spark Scala y / o aplicaciones Flink
• Excelentes habilidades de comunicación en inglés