CursoInteligencia artificialEvaluaciónDisponible
Harness y evaluación
Evaluación de agentes, benchmarks, regression testing, casos de prueba, calidad, observabilidad y trazas.
- Contenido
- 9 lecciones
- Lectura
- 62 min
- Nivel
- Avanzado
- Área
- Evaluación
Temario
9 lecciones- Qué es un harness de evaluaciónHE-001· 7 minHace falta suscripción
- Casos de prueba para IAHE-002· 7 minHace falta suscripción
- Benchmarks útiles y benchmarks trampaHE-003· 7 minHace falta suscripción
- Regression testingHE-004· 7 minHace falta suscripción
- Evaluadores humanos y automáticosHE-005· 7 minHace falta suscripción
- Trazas y observabilidadHE-006· 7 minHace falta suscripción
- Calidad de agentesHE-007· 7 minHace falta suscripción
- Dataset pequeño para un producto realHE-008· 7 minHace falta suscripción
- Panel de evaluación mínimoHE-009· 6 minHace falta suscripción
Sobre este curso
Un sistema con IA que nadie mide mejora y empeora a la vez, y nadie se entera de cuál de las dos cosas pasó con el último cambio. Un harness de evaluación es la máquina que convierte esa sensación en un número por caso, comparable entre versiones y defendible delante de quien decide.
- La máquinaQué piezas forman un harness, cómo se escriben los casos y cómo se comparan dos versiones sin confundir ruido con mejora.
- Los juecesComprobaciones con código, modelos que evalúan y personas que revisan: qué mide cada uno y cómo se calibran entre sí.
- Los agentesEvaluar trayectorias y no solo respuestas, con trazas que explican cada fallo y métricas que distinguen suerte de fiabilidad.
- El productoUn conjunto de casos pequeño hecho con datos reales y un panel mínimo que alguien mira de verdad cada semana.