En APIUX nos identificamos como una fábrica de talento con una fuerte orientación de negocio donde continuamente brindamos espacios a las nuevas generaciones para mostrar y desarrollar ideas, conocimientos, y exponer modelos de negocio innovadores enfocados en cubrir siempre, con una propuesta de valor, las necesidades de nuestros clientes. Posicionamos al mejor talento, dándole un enfoque estratégico y nos esforzamos por entender a fondo la cultura y valores de cada uno de nuestros clientes para así hacer el match perfecto entre cliente y talento. Además nos aseguramos de brindar una experiencia de candidato y Employee experience ejemplar para nuestros futuros Happeners. Ser Happeners significa pertenecer a una familia con principios integrales donde el espíritu ágil, colaborativo, innovador y deportivo son el combustible que inyectamos en nuestro corazón día a día para hacer las cosas cada vez mejor. Objetivo del cargo: Colaborar en la validación de calidad de soluciones híbridas de Generative AI y NLP-RPA On-Premise, asegurando que tanto LLMs y pipelines de RAG como los módulos de OCR/NLP (tokenización, NER, clasificación) cumplan con los estándares de precisión, robustez y performance. ¿Cuáles serán tus funciones? Pruebas de Generative AI Diseñar y ejecutar casos de prueba para prompts y RAG: verificar coherencia, fidelidad de citas y detección de “hallucinations”. Validar subgrafos recuperados y contexto textual contra oráculos de referencia. Pruebas de NLP/RPA Crear escenarios de prueba para pipelines OCR + preprocesamiento (limpieza, lematización, eliminación de ruido). Verificar extracción de entidades (NER) y clasificación de intenciones en documentos de derechos de petición y consultas. Automatización y CI/CD Desarrollar scripts de prueba en Python (pytest) y Postman para validar JSON de inferencia y APIs de NLP/RPA. Integrar pruebas de regresión de IA/NLP en GitHub Actions o GitLab CI, configurando alertas en caso de drop de métricas. Monitoreo de Calidad y Métricas Instrumentar métricas de Exact Match, ROUGE, F1/EM para outputs de LLM y NLP. Documentar hallazgos en Jira/Xray y participar en retroalimentaciones de sprint. Colaboración Multidisciplinar Trabajar con científicos de datos, desarrolladores RPA y lingüistas para afinar prompts y pipelines de anotación. Apoyar en la definición de umbrales de confianza (“human-in-the-loop”) para NLP y LLM. ¿Qué esperamos de ti para hacer un buen match? Requisitos imprescindibles 1–3 años de experiencia en QA de software, con exposición a proyectos de IA generativa y/o NLP. Scripting en Python para validación de logs e inferencias (pytest, JSON). Conocimiento de pipelines RAG/LLM y preprocesamiento de texto (tokenización, lematización, stop-words). Familiaridad con herramientas de testing API (Postman) y frameworks de CI/CD. ¿Qué te haría sumar puntitos adicionales con nosotros? Experiencia con frameworks de evaluación de LLMs (OpenAI evals, LM-Eval-harness) y de datos (Great Expectations). Conocimientos básicos de performance testing para APIs de inferencia (k6, Locust). Exposición a RPA (UiPath/Automation Anywhere) y motores OCR On-Premise (ABBYY). Modalidad de trabajo: Remoto Algunos de nuestros beneficios : Día libre en tu cumpleaños Día libre por mudanza Bonos por nacimiento, matrimonio y referidos Alianzas con Open English, Coderhouse, Self Development y Y-Share Afiliación a caja de compensación Ingeniero de Automatización QA - Trabajo Remoto #J-18808-Ljbffr