Aprendizaje supervisado vs Aprendizaje por refuerzo
Dos formas de aprender que se parecen a las dos formas en que aprende una persona: estudiando ejemplos resueltos o probando y viendo qué pasa.
Aprender de ejemplos con la respuesta correcta
Aprender probando y recibiendo recompensas
En el supervisado hay una respuesta correcta para cada ejemplo, y el modelo ajusta sus pesos para acercarse a ella. En el refuerzo no hay respuesta correcta: hay una señal de recompensa que dice si lo que hizo fue mejor o peor, y el modelo explora para maximizarla. El primero necesita datos etiquetados; el segundo necesita poder probar muchas veces y una forma de puntuar el resultado.
| Dimensión | Aprendizaje supervisado | Aprendizaje por refuerzo |
|---|---|---|
| Qué necesita | Ejemplos con respuesta correcta | Un entorno y una señal de recompensa |
| Señal de aprendizaje | Error frente a la respuesta esperada | Recompensa acumulada |
| Coste de los datos | Alto: etiquetar es caro | Alto: definir bien la recompensa es difícil |
| Bueno para | Clasificar, predecir, traducir | Decidir en secuencia, optimizar comportamiento |
| Riesgo típico | Sobreajuste a los ejemplos | Optimizar la métrica y no el objetivo |
| En modelos de lenguaje | El preentrenamiento y el ajuste con instrucciones | El alineamiento con preferencias humanas |
Cuando tienes o puedes conseguir ejemplos con la respuesta correcta, y el problema es reconocer un patrón: clasificar documentos, predecir demanda, detectar anomalías.
Cuando no hay respuesta correcta única pero sí se puede puntuar el resultado, y las decisiones se encadenan: control, juegos, optimización de procesos, y el ajuste de un modelo de lenguaje a lo que la gente prefiere.
Con el refuerzo, definir mal la recompensa. El sistema optimiza exactamente lo que le pides, no lo que querías: es el mismo fenómeno que un KPI mal elegido en una empresa, donde el equipo cumple el indicador y empeora el objetivo. En los modelos de lenguaje se ve cuando el ajuste por preferencias produce respuestas que suenan bien y dicen poco.