En APIUX nos identificamos como una fábrica de talento con una fuerte orientación de negocio donde continuamente brindamos espacios a las nuevas generaciones para mostrar y desarrollar ideas, conocimientos, y exponer modelos de negocio innovadores enfocados en cubrir siempre, con una propuesta de valor, las necesidades de nuestros clientes. Posicionamos al mejor talento, dándole un enfoque estratégico y nos esforzamos por entender a fondo la cultura y valores de cada uno de nuestros clientes para así hacer el match perfecto entre cliente y talento. Además nos aseguramos de brindar una experiencia de candidato y Employee experience ejemplar para nuestros futuros Happeners. Ser Happeners significa pertenecer a una familia con principios integrales donde el espíritu ágil, colaborativo, innovador y deportivo son el combustible que inyectamos en nuestro corazón día a día para hacer las cosas cada vez mejor. Objetivo del cargo: Definir y liderar la estrategia de QA end-to-end para soluciones On-Premise de Generative AI y NLP-RPA, garantizando precisión, robustez, cumplimiento de SLAs y seguridad en el pipeline completo (OCR → NLP → RPA → LLM/RAG). ¿Cuáles serán tus funciones? Estrategia y Gobernanza de QADiseñar el plan de QA integrado para OCR, preprocesamiento, extracción KG, RAG, LLM fine-tuned y flujos RPA. Definir y monitorizar KPIs de calidad de modelo (fidelidad de citas, recall/precision, F1, bias, drift). Automatización AvanzadaDesarrollar suites de tests automáticos que validen tanto grafos de conocimiento como resultados textuales de LLM y NLP. Integrar validación semántica vía embeddings para medir similitud y coherencia. Performance & Security TestingOrquestar pruebas de carga y estrés en endpoints RAG/LLM y APIs de NLP (tokens/s, concurrencia). Supervisar pentests básicos en las APIs que manejan datos sensibles y asegurar cifrado de extremo a extremo. Monitoreo y AlertasConfigurar pipelines de alertas (Prometheus/Grafana o equivalente) para drift de modelos y caídas en métricas críticas. Coordinar análisis post-mortem de incidentes de calidad y proponer acciones correctivas. Mentoría y ReportingCapacitar al equipo QA junior en testing de IA generativa y NLP-RPA. Preparar y presentar reportes de calidad ante stakeholders, incluyendo sugerencias de mejora de prompts, datos y flujos RPA. ¿Qué esperamos de ti para hacer un buen match? 3–5 años en QA de software con al menos 1–2 años en proyectos de IA generativa y/o NLP-RPA. Experiencia con frameworks de evaluación de LLMs (OpenAI evals, LM-Eval-harness) y data testing (Great Expectations). Conocimiento de performance testing de APIs de inferencia (k6, Locust) y monitoring ML (Prometheus, Grafana). Familiaridad con pipelines CI/CD de IA/NLP (GitHub Actions, GitLab CI). Inglés técnico avanzado. ¿Qué te haría sumar puntitos adicionales con nosotros? Experiencia en validación de Chain-of-Thought y fairness/bias testing en LLMs. Conocimientos de RPA On-Premise (UiPath, Blue Prism) y motores OCR empresariales. Certificaciones en QA de IA o RPA (p. ej. UiPath Advanced, ISTQB Agile Tester). Experiencia en validación de Chain-of-Thought y trazabilidad de respuestas. Conocimientos de fairness, bias testing y explainability en LLMs. Modalidad de trabajo: Remoto Algunos de nuestros beneficios : Día libre en tu cumpleaños Día libre por mudanza Bonos por nacimiento, matrimonio y referidos Alianzas con Open English, Coderhouse, Self Development y Y-Share Afiliación a caja de compensación Ingeniero de Automatización QA - Trabajo Remoto #J-18808-Ljbffr