QA Engineer

Overview

En Creai, nos especializamos en aprovechar el poder de la inteligencia artificial y el aprendizaje automático para transformar negocios. Nuestra misión es ayudar a los clientes a reducir costos, aumentar la eficiencia y desbloquear nuevas oportunidades mediante soluciones de IA de vanguardia.

Descripción del Puesto

Como QA Engineer, serás el guardián de la calidad en nuestro producto SaaS, responsable de asegurar la excelencia tanto en nuestro AI Virtual Agent como en la plataforma Admin Backoffice. En este rol estratégico, desarrollarás y ejecutarás estrategias de testing comprehensivas que abarcan desde testing tradicional de aplicaciones web hasta metodologías especializadas para validación de comportamientos de IA y calidad de respuestas de modelos de lenguaje.

Trabajarás de manera colaborativa con ambos Tech Area Leaders y sus equipos, diseñando frameworks de testing automatizados, implementando pipelines de calidad continua, y estableciendo los estándares de quality assurance que permitan a nuestra organización escalar con confianza. Tu expertise será fundamental para mantener la confiabilidad, seguridad y experiencia de usuario excepcional en productos que combinan tecnologías tradicionales con IA de vanguardia.

Responsabilidades

Este Puesto Exige :

• Testing de Aplicaciones Tradicionales : Desarrollar y ejecutar planes de testing comprehensivos para dashboards, reportes, sistemas de facturación, herramientas de administración y flujos de integración empresarial, asegurando funcionalidad correcta y experiencia de usuario óptima.
• Testing de Integración : Validar integraciones complejas con APIs de terceros, webhooks, sincronización de datos, y sistemas externos, incluyendo testing de failover, manejo de errores, y escenarios de recuperación.
• Testing de Performance : Ejecutar pruebas de carga, estrés y performance para aplicaciones web, incluyendo testing de escalabilidad, tiempo de respuesta, y optimización de recursos bajo diferentes condiciones de uso.
• Testing de Seguridad : Colaborar con el equipo de DevOps / Cybersecurity para ejecutar pruebas de seguridad de aplicaciones web, incluyendo testing de autenticación, autorización, manejo de datos sensibles, y vulnerabilidades comunes.
• Testing Especializado para IA : Validación de Comportamiento de IA, incluyendo metodologías de testing para agentes conversacionales, coherencia de respuestas, adherencia a la personalidad del agente, manejo de contexto y capacidades de seguimiento de instrucciones.
• Testing de Prompts y Responses : Crear suites de testing para prompt engineering, incluyendo validación de calidad de respuestas, consistencia en diferentes contextos, manejo de edge cases, y testing de guardrails de seguridad en LLMs.
• Testing de RAG y Knowledge Systems : Validar sistemas de recuperación de información, incluyendo relevancia de resultados, exactitud de búsqueda semántica y calidad de respuestas augmentadas con conocimiento externo.
• AI Safety Testing : Ejecutar pruebas específicas para detectar comportamientos no deseados en IA, incluyendo bias testing, jailbreaking attempts, prompt injection resistance y validación de content filtering.
• Evaluation Automation : Implementar frameworks de evaluación automatizada para LLMs, incluyendo métricas de calidad, scoring de consistencia y monitoreo continuo de performance del agente virtual.
• Automatización y Frameworks de Testing : Test Automation con frameworks modernos (Cypress, Playwright, Selenium), testing de UI, API testing, e integración end-to-end.
• CI / CD Integration : Integrar testing automatizado en pipelines de CI / CD, incluyendo testing de regresión, smoke tests, y quality gates que bloqueen deployments con issues críticos.
• Testing Infrastructure : Diseñar infraestructura de testing, entornos de prueba, gestión de datos y herramientas que soporten tanto aplicaciones tradicionales como sistemas de IA.
• Reporting y Métricas : Implementar sistemas de reporte de calidad, tracking de métricas de testing y dashboards para visibilidad del health del producto a stakeholders técnicos y de negocio.
• Colaboración y Liderazgo de Calidad : Cross-Team Collaboration para establecer estrategias de testing, participar en planning sessions y proporcionar feedback sobre quality risks.
• Quality Advocacy : Promover prácticas de calidad y educar a developers sobre testing best practices y cultura de quality-first development.
• Bug Lifecycle Management : Gestionar el ciclo completo de defects (identificación, reproducción, documentación y verificación de fixes).
• Testing Strategy : Definir y evolucionar la estrategia global de testing para productos SaaS con componentes de IA.

Requisitos Indispensables

Requisitos Deseables

Beneficios

¡Te invitamos a postularte!

Incluso si no cumples con todos los requisitos, valoramos experiencias y perspectivas diversas. Si te apasiona el reclutamiento y quieres crecer en una empresa enfocada en datos e IA, ¡nos encantaría conocerte!

Ecatepec de Morelos, México.

Ingeniero / a de Soporte y Mantenimiento Jr. (Java / Python)

#J-18808-Ljbffr