El sobreajuste

El sobreajuste es lo que le ocurre a un modelo que aprende demasiado bien los datos con los que se ha entrenado: se ajusta no solo a la regularidad que hay en ellos sino también al ruido, a los accidentes de esa muestra concreta, y por eso falla con datos nuevos. Es el problema central del aprendizaje automático, porque un modelo no se construye para repetir lo que ya se sabía sino para acertar con lo que aún no se ha visto, y porque la única medida que se tiene a mano mientras se entrena —el error sobre los ejemplos conocidos— es precisamente la que el sobreajuste hace bajar. Un modelo sobreajustado parece mejor cuanto peor es.

La figura de esta página lo muestra con la versión más antigua del problema, el ajuste de un polinomio a unos puntos. Los puntos negros son muestras de una onda, la curva gris, a las que se ha sumado ruido. El polinomio naranja es el que mejor los ajusta por mínimos cuadrados, y su grado —la cantidad de curvas que puede hacer— lo controla el deslizador. Con grado 1 es una recta, que no puede seguir la onda y se equivoca con todos los puntos por igual: es lo que se llama infraajuste, un modelo demasiado rígido para la realidad. Con grado 3 o 4 sigue la onda de cerca. Con grado 12 o 15 pasa casi exactamente por cada punto, serpenteando entre ellos, y en los huecos entre puntos se dispara hacia donde ningún dato lo respalda.

La gráfica de la derecha es la que importa, y es la que el que entrena un modelo no puede ver sin más datos. La línea negra es el error sobre los puntos de entrenamiento; baja siempre al subir el grado, porque un polinomio más flexible siempre puede acercarse más a unos puntos dados, y con grado igual al número de puntos menos uno pasa exactamente por todos y el error es cero. La línea naranja es el error sobre doscientos puntos nuevos de la misma onda, que el polinomio nunca vio. Baja al principio, cuando el modelo gana la flexibilidad que la onda necesita, y vuelve a subir cuando la gana de más y la gasta en seguir el ruido. El mínimo de esa curva es el grado correcto, y está muy lejos del que minimiza la línea negra. El botón que pide otra muestra enseña lo mismo desde otro ángulo: el polinomio de grado alto cambia de forma entera con cada muestra, mientras que el de grado bajo apenas se mueve.

Esa es la descomposición que Stuart Geman, Elie Bienenstock y René Doursat formularon en 1992 con el nombre de dilema sesgo-varianza. El error de un modelo sobre datos nuevos tiene dos fuentes. El sesgo es lo que se equivoca sistemáticamente por ser demasiado simple para la realidad, la recta que no puede ondular. La varianza es lo que se equivoca por depender demasiado de la muestra concreta, el polinomio de grado quince que sería otro con otros veinte puntos. Aumentar la flexibilidad reduce el sesgo y aumenta la varianza, y el mejor modelo es el que equilibra ambos. El ruido, que el segundo deslizador controla, decide dónde está ese equilibrio: con datos limpios se puede permitir un modelo más flexible; con datos ruidosos, la flexibilidad es más peligrosa. Y el número de puntos también: con más datos, la varianza baja y el grado óptimo sube.

El problema tiene una solución de método, no de fórmula, y es de las más importantes de la estadística aplicada: no evaluar nunca el modelo con los datos que lo entrenaron. Mervyn Stone formalizó en 1974 la validación cruzada, que consiste en apartar una parte de los datos, ajustar el modelo con el resto, medir el error en la parte apartada, y repetirlo rotando la parte apartada para usar todos los datos sin hacer trampa. Es lo que hace la figura al medir la línea naranja sobre puntos nuevos. La alternativa de Hirotugu Akaike, del mismo año, es penalizar la flexibilidad directamente: su criterio suma al error de entrenamiento un castigo proporcional al número de parámetros, y elige el modelo que minimiza la suma. Las técnicas de regularización que usan las redes neuronales —penalizar pesos grandes, apagar neuronas al azar durante el entrenamiento, detener el entrenamiento cuando el error de validación deja de bajar— son variantes de la misma idea: limitar la flexibilidad para que no la gaste en el ruido.

Hay una coda reciente que conviene conocer, porque complica el cuadro sin desmentirlo. Mikhail Belkin y sus colegas mostraron en 2019 que, en muchos modelos modernos, si se sigue aumentando la flexibilidad mucho más allá del punto en que el modelo pasa exactamente por todos los datos, el error de prueba vuelve a bajar: la curva naranja tiene un segundo descenso. Las redes neuronales con muchos más parámetros que ejemplos, que según el dilema clásico deberían sobreajustar sin remedio, generalizan bien en la práctica, y por qué lo hacen es una pregunta abierta. La lección de la figura sigue siendo válida en la zona que muestra, la de los modelos que caben en un deslizador de quince posiciones: el error que se puede medir mientras se entrena no es el error que importa, y un modelo que acierta todo lo que ha visto es sospechoso, no admirable.