Ingeniero Databricks Senior

Una empresa con sede en EE. UU., que está desarrollando una plataforma de servicios financieros que proporciona a los inversores inmobiliarios y a los prestatarios préstamos puente y de alquiler, está buscando un ingeniero de Databricks senior. El candidato seleccionado para este trabajo remoto será responsable de guiar a los miembros del equipo a través de las mejores prácticas y tecnología de ingeniería de datos de vanguardia. La compañía equipa a los agentes inmobiliarios con tecnologías de punta y financiamiento inmediato para financiar oportunidades. La compañía ha logrado obtener más de 155 millones de dólares en financiación hasta el momento.

Responsabilidades:

• Dividir proyectos complejos en pasos procesables
• Supervisar el desarrollo y la implementación de soluciones de migración de datos basadas en Databricks y Snowflake en un entorno de AWS
• Desarrollar y mantener canalizaciones de datos en tiempo real, lagos de datos y almacenes de datos en colaboración con equipos multifuncionales para comprender los requisitos de datos y traducirlos en soluciones tecnológicas
• Garantizar que se cumplan los criterios de cumplimiento, seguridad y calidad de los datos
• Diseñar e implementar canalizaciones de datos que conviertan los datos sin procesar en información procesable

Requerimientos:

• Licenciatura / Maestría en Ingeniería, Ciencias de la Computación (o experiencia equivalente)
• Al menos 5 años de experiencia relevante como ingeniero de datos
• Más de 5 años de experiencia con Databricks, Python y AWS
• Amplia experiencia en Stream Processing, DLT (data live tables)
• Es bueno tener una amplia experiencia trabajando con PySpark y Snowflake
• Gran comprensión de los conceptos de modelado de datos, lago delta, almacenamiento de datos y ETL
• Experiencia demostrable con Stream Processing específicamente con Spark Structured Streaming, DLT, etc.
• Experiencia previa trabajando con el gobierno de datos y las mejores prácticas de seguridad
• Debe tener algunas certificaciones como Databricks Lakehouse Data Engineer, Associate y AWS Certified Developer Associate
• Es bueno tener algo de experiencia con la migración de datos en una industria regulada como la atención médica o las finanzas
• Es deseable estar familiarizado con las tecnologías de organización y orquestación de contenedores, como Kubernetes y Docker
• Es bueno tener algo de experiencia con herramientas de visualización de datos como Tableau o Looker
• Preferible experiencia en metodologías ágiles de desarrollo
• Fuertes habilidades de comunicación y liderazgo para colaborar de manera efectiva con equipos multifuncionales
• Fluidez en inglés oral y escrito