Saltar al contenido
ELIXUniversity
Cursos
Curso 21 · IA y Agentes

Evaluación, Harness y Observabilidad de Agentes

Medir si un agente funciona antes de ponerlo en producción y vigilarlo después: datasets, harness, trazas y alertas.

Avanzado3 módulos14 lecciones1 h de lectura escrita

10 de 14 lecciones escritas71%
Tu progreso

Temario

10 escritas · 4 por escribir

  1. Módulo 1

    Evaluar

    7 lecciones · 6 escritas
    1. 1.1Qué es un harness de evaluaciónDe «Harness y evaluación»7 min
    2. 1.2Casos de prueba para IADe «Harness y evaluación»7 min
    3. 1.3Benchmarks útiles y benchmarks trampaDe «Harness y evaluación»7 min
    4. 1.4Evaluación y regresionesDe «IA para desarrolladores»6 min
    5. 1.5LLM como juezPor escribir
    6. 1.6Evaluadores humanos y automáticosDe «Harness y evaluación»7 min
    7. 1.7Regression testingDe «Harness y evaluación»7 min

  2. Módulo 2

    Observar

    3 lecciones · 2 escritas
    1. 2.1Trazas y observabilidadDe «Harness y evaluación»7 min
    2. 2.2Tokens, costes y latencia en las trazasPor escribir
    3. 2.3Calidad de agentesDe «Harness y evaluación»7 min

  3. Módulo 3

    En un producto

    4 lecciones · 2 escritas
    1. 3.1Dataset pequeño para un producto realDe «Harness y evaluación»7 min
    2. 3.2Panel de evaluación mínimoDe «Harness y evaluación»6 min
    3. 3.3Evaluación continua y alertasPor escribir
    4. 3.4Proyecto: sistema de evaluación para un agentePor escribir