Data Engineer – Spark y Scala (Big Data)

Descripción

Resumen del Puesto: Buscamos un Analista Big Data para diseñar y construir soluciones de procesamiento de datos a gran escala, con foco en arquitectura de alta disponibilidad y procesamiento en tiempo real. Puntos Destacados: 1. Diseño y desarrollo de pipelines ETL/ELT en entornos Big Data. 2. Implementación de procesamiento distribuido con Spark y Scala (crítico). 3. Colaboración en el diseño de arquitecturas escalables. Importante empresa se encuentra en búsqueda de un(a) Analista Big Data, quien será responsable de diseñar y construir soluciones de procesamiento de datos a gran escala, con foco en arquitectura de alta disponibilidad y procesamiento en tiempo real. Proceso gestionado por Kibernum – contratación directa por cliente Principales responsabilidades: • Diseñar y desarrollar pipelines ETL/ELT en entornos Big Data (Cloudera y nube). • Implementar procesamiento distribuido utilizando Spark y Scala (crítico). • Optimizar consultas y estructuras en bases de datos SQL (Oracle y PostgreSQL). • Desarrollar flujos de datos en tiempo real mediante Kafka. • Automatizar procesos con scripting en Unix/Shell. • Gestionar versionamiento y despliegues con Git y CI/CD. • Colaborar en el diseño de arquitecturas escalables (APIs y microservicios). • Asegurar estándares de calidad, seguridad y performance. Requisitos: Excluyentes • Título profesional de Ingeniería (mínimo 8 semestres). • Al menos 3 años de experiencia en Big Data. • Experiencia sólida en Spark y Scala. • Manejo de SQL. • Experiencia con Oracle y PostgreSQL. Deseables • Ecosistema Big Data: Hive, Impala, Kudu, Kafka. • Experiencia en Cloudera y entornos Cloud (básico). • Herramientas DevOps: Git, Maven, CI/CD. • Scripting en Unix/Linux (Shell). • Desarrollo en Java, Python, Spring Boot, microservicios. Condiciones: • Contrato: Indefinido (directo con cliente) • Modalidad: Híbrido 3x2 – Santiago Centro • Horario: Lunes a jueves 09:00–18:00 | Viernes hasta 17:00 Sobre el desafío: Serás parte de la construcción de una arquitectura robusta capaz de integrar y procesar grandes volúmenes de datos en tiempo real, transformando información en activos estratégicos para el negocio.-Requerimientos- Educación mínima: Universitaria / I.P. / C.F.T. 3 años de experiencia Palabras clave: datos, data, ingeniero, engineers, ingeniera, ing, engineer