Data Engineer
hace 17 horas
Madrid
ALDIA es una multinacional con sede central en Londres y con presencia en algunos de los principales países de la Unión Europea (Inglaterra, Suecia, España, Francia y Alemania). Nos especializamos en la consultoría tecnológica y de ingeniería. Nuestro core de actividad se centra en las áreas claves de las industrias de Seguros, Finanzas, Comunicación, Infraestructura, Multimedia, Entretenimiento, Automoción, Ferroviario, Turbinas Eólicas y Oil & Gas. ALDIA trabaja con su propio grupo de consultores para mejorar la calidad, crear estabilidad, minimizar riesgos y aportar soluciones tecnológicas e innovadoras formando parte de todas las fases del ciclo completo de vida de los procesos incorporando la metodología ágil en cada uno de ellos. En la actualidad, estamos buscando un/a Data Engineer para que se incorpore a nuestro equipo de consultores de forma indefinida y que trabaje directamente con nuestro cliente editorial de investigaciones científicas. ¿Qué buscamos? Un/a Data Engineer para realizar las siguientes funciones: Comprender y promover los mejores marcos y soluciones de datos, estándares técnicos y tecnologías clave, para respaldar de manera efectiva los requisitos comerciales existentes y futuros. Comprender los requisitos funcionales para definir los mejores modelos de datos y flujos de datos entre las aplicaciones, servicios, almacenamientos de datos y mecanismos de sincronización. Apoyar a los diferentes equipos de desarrollo de SW en el modelado, diseño, construcción, evolución y desmantelamiento de sus aplicaciones data-intensive y modelos de datos. Integrar, transformar y consolidar datos de varios sistemas de datos estructurados y no estructurados en estructuras adecuadas para crear soluciones de análisis. Procurar que las aplicaciones/procesos de datos sean escalables, fiables, seguros, extensibles, trazables, disponibles y gestionables. Diseñar, implementar, monitorear y optimizar nuestras plataformas de datos. Trabajar en estrecha colaboración con los arquitectos de TI para proporcionar soluciones de datos generales consistentes y confiables para todo el ecosistema de aplicaciones. Crear una asociación con equipos Scrum y POs, entendiendo la aplicación y los requisitos comerciales, y ayudándolos a comprender los datos a través de la exploración, la construcción y el mantenimiento de pipelines seguras para el procesamiento de datos. Colaborar estrechamente con el equipo de Data Science y Machine Learning para mejorar el rendimiento de nuestras pipelines de aprendizaje automático. Crear modelos y prototipos que validen tus ideas, antes de llevarlas al equipo de desarrollo. Crear y mantener actualizados los documentos que describen la estrategia de datos de su dominio de aplicaciones, así como todas las pautas y estándares relevantes. Requisitos • SQL, Python o Scala. • Spark y PySpark. • Conocimientos del procesamiento paralelo y los patrones de arquitectura de datos. • Conocimientos sólidos sobre DataBricks, DataFactory, SQL Server, MongoDB. • Se valora ElasticSearch y DeltaLake. • Experiencia en la construcción de Data Lakes. • Experiencia en procesamiento de datos: ingesta y transformación de datos, procesamiento batch, procesamiento de transmisión de datos, procesamiento distribuido, monitoreo, optimización, registro. • Experiencia en la resolución de problemas de procesamiento y almacenamiento de datos. • Conocimiento de los estándares de seguridad de datos. • Conocimiento del diseño de la capa de servidor: esquema en estrella, dimensiones, carga incremental, tiendas. • Conocimiento de las estructuras físicas de almacenamiento de datos: compresión, particionamiento, fragmentación, redundancia, distribuciones, archivado. Ventajas Contrato Indefinido Plan de Carrera #J-18808-Ljbffr