CursoInteligencia artificialEvaluaciónDisponible
Harness y evaluación
Evaluación de agentes, benchmarks, regression testing, casos de prueba, calidad, observabilidad y trazas.
- Contenido
- 9 lecciones
- Lectura
- 62 min
- Nivel
- Avanzado
- Área
- Evaluación
Temario
9 lecciones- 01Qué es un harness de evaluaciónHE-001· 7 minHace falta suscripción
- 02Casos de prueba para IAHE-002· 7 minHace falta suscripción
- 03Benchmarks útiles y benchmarks trampaHE-003· 7 minHace falta suscripción
- 04Regression testingHE-004· 7 minHace falta suscripción
- 05Evaluadores humanos y automáticosHE-005· 7 minHace falta suscripción
- 06Trazas y observabilidadHE-006· 7 minHace falta suscripción
- 07Calidad de agentesHE-007· 7 minHace falta suscripción
- 08Dataset pequeño para un producto realHE-008· 7 minHace falta suscripción
- 09Panel de evaluación mínimoHE-009· 6 minHace falta suscripción
Sobre este curso
Un sistema con IA que nadie mide mejora y empeora a la vez, y nadie se entera de cuál de las dos cosas pasó con el último cambio. Un harness de evaluación es la máquina que convierte esa sensación en un número por caso, comparable entre versiones y defendible delante de quien decide.
- La máquina — Qué piezas forman un harness, cómo se escriben los casos y cómo se comparan dos versiones sin confundir ruido con mejora.
- Los jueces — Comprobaciones con código, modelos que evalúan y personas que revisan: qué mide cada uno y cómo se calibran entre sí.
- Los agentes — Evaluar trayectorias y no solo respuestas, con trazas que explican cada fallo y métricas que distinguen suerte de fiabilidad.
- El producto — Un conjunto de casos pequeño hecho con datos reales y un panel mínimo que alguien mira de verdad cada semana.