Estamos buscando un Ingeniero de Datos Coderland es la tierra de los desarrolladores. Brindamos servicios y participamos en proyectos globales en 35 países y con más de 1,000 clientes. Empresas mejor valoradas Salarios competitivos Proyectos a largo plazo Casas de co-living en países estratégicos solo para nuestro equipo Desarrollo y formación constante Trabajarás con tecnologías de vanguardia y equipos multiculturales Espacio de co-working en Panamá y España Comisiones por referidos Experiencia: - Mínima de 3 años en cargos como analista, científico o Ingeniero de datos. - Herramientas ETL comunes como Airflow, Talend, Glue - Analizadores de consultas (e.g., EXPLAIN, PgAdmin), mejora los índices - Experiencia con Kafka Streams, Flink para procesamiento en tiempo real - Entendimiento de DAGs, dependencias de tareas, reintentos - Herramientas como Glue, Spark para la transformación de datos - Herramientas de gestión de esquemas como Avro, Schema Registry - Athena, Presto, Hive para consultas - Herramientas como Apache Atlas, OpenLineage para seguimiento - Encriptación nativa de la nube (e.g., AWS KMS, GCP KMS) - Herramientas como Datadog, Prometheus, o los logs de Airflow - Diseñar, desarrollar y mantener pipelines ETL/ELT utilizando herramientas como Airflow, Talend y AWS Glue. - Optimizar consultas y bases de datos relacionales (MySQL, SQL) empleando analizadores como EXPLAIN y herramientas como PgAdmin; ajustar índices para mejorar el rendimiento. - Implementar procesamiento de datos en tiempo real con Kafka Streams y Apache Flink. - Modelar y orquestar DAGs en Airflow, gestionando dependencias, reintentos y monitoreo de ejecución. - Realizar transformaciones de datos a gran escala con AWS Glue y Apache Spark. - Gestionar esquemas y su evolución con Apache Avro y Schema Registry. - Consultar y analizar datos con motores distribuidos como Athena, Presto y Hive. - Implementar y mantener la trazabilidad y lineage de datos con Apache Atlas o OpenLineage. - Aplicar encriptación nativa de la nube (AWS KMS, GCP KMS) para garantizar la seguridad de los datos. - Monitorear pipelines y recursos con Datadog, Prometheus y logs de Airflow. Ingeniero de Datos - Trabajo Remoto | REF#252054 #J-18808-Ljbffr