Ingeniero de Datos

Una empresa con sede en EE. UU. que ha logrado desarrollar una querida plataforma social que permite a los usuarios conectarse entre sí sin esfuerzo está buscando un ingeniero de datos. El candidato seleccionado para este trabajo remoto será responsable de mejorar las canalizaciones de datos que producen conjuntos de datos de entrenamiento para los modelos de clasificación fundamentales. La plataforma permite a los usuarios crear y unirse a comunidades para personas de ideas afines y vincularse por intereses comunes. La compañía logró asegurar más de 1.100 millones de dólares durante su ronda de financiación de la Serie F.

Responsabilidades:

• Crear e implementar canalizaciones de datos que extraigan, conviertan y carguen información (ETL) rápidamente desde una variedad de fuentes en BigQuery
• Usando Apache Airflow, crear y administrar flujos de trabajo
• Crear DAG (Gráficos acíclicos dirigidos) para organizar y programar operaciones de procesamiento de datos, garantizando un funcionamiento oportuno y confiable de las canalizaciones de datos
• Para acelerar el proceso de agregar nuevas funciones a los conjuntos de datos, crear secuencias de comandos de Python
• Impulsar las operaciones, la arquitectura y la ejecución de estrategias técnicas y de productos relevantes para uno de los sitios más grandes del mundo
• Para asegurarte de que los datos estén estructurados de manera adecuada para consultas y análisis efectivos, crear y mantener modelos y esquemas de datos dentro de BigQuery
• Encontrar y usar técnicas de mejora del rendimiento, como la indexación, la creación de particiones y el almacenamiento en caché, tanto para las consultas de BigQuery como para los procesos de Airflow
• Implementar controles de calidad de datos para asegurar la confiabilidad y precisión de los datos
• Con el fin de identificar y abordar de manera proactiva cualquier problema de tubería o trabajo, configurar sistemas de monitoreo y alerta
• Implementar controles de acceso y mecanismos de seguridad para proteger los datos confidenciales en BigQuery
• Establecer permisos y roles para diferentes equipos y usuarios
• Agregar información a las canalizaciones de datos desde muchas fuentes y plataformas, como API, bases de datos, registros y servicios de terceros
• Usar Airflow y otras herramientas de automatización para automatizar procesos ETL para aumentar la productividad y disminuir la participación manual
• Mantener el gobierno de datos y el cumplimiento de los estándares y la legislación de datos pertinentes, lo que incluye la anonimización de datos, las pautas de retención de datos y la protección de la privacidad de datos
• Colaborar estrechamente con analistas de datos, científicos y otros actores clave para comprender sus requisitos de datos y ayudar con proyectos relacionados con datos
• Determinar y solucionar cualquier problema con la canalización de datos, cuellos de botella de rendimiento y otras posibles dificultades técnicas
• Para promover el intercambio de conocimientos y la incorporación de nuevos miembros del equipo, mantener la documentación para las canalizaciones de datos, los procedimientos de ETL y las configuraciones de flujo de trabajo
• Mantenerse al día con las innovaciones más recientes de BigQuery y Airflow y mejorar continuamente sus métodos de ingeniería de datos

Requerimientos:

• Licenciatura / Maestría en Ingeniería, Ciencias de la Computación (o experiencia equivalente)
• Al menos 5 años de experiencia relevante como ingeniero de datos
• Amplia experiencia trabajando con BigQuery, Airflow y Python
• La familiaridad trabajando con Spark es deseable
• Fuerte comprensión de las fuentes de datos, los requisitos de transformación de datos y el modelado de datos
• Amplia familiaridad con BigQuery, incluida su arquitectura, prácticas recomendadas y métodos de optimización
• Experiencia previa en la elaboración de consultas SQL complejas para procesar y analizar rápidamente grandes conjuntos de datos
• Excelentes habilidades de comunicación en inglés oral y escrito