La ley de Zipf

La ley de Zipf afirma que, en cualquier texto suficientemente largo, la frecuencia de una palabra es inversamente proporcional a su posición en la lista de palabras ordenadas de más a menos frecuente. La segunda palabra más común aparece la mitad de veces que la primera; la décima, una décima parte; la centésima, una centésima parte. Es una regularidad estadística, no una regla gramatical: la cumplen el inglés y el chino, el latín y el euskera, los textos de un solo autor y los corpus de millones de páginas, y la cumplen con un ajuste tan bueno que durante décadas se ha buscado en ella una clave del funcionamiento del lenguaje.

La figura de esta página no usa un corpus ajeno sino el propio: los más de cuatro mil artículos de Ikusmira, unas 760.000 palabras en el momento de escribir esto, de las que 42.000 son distintas. La palabra más frecuente es «de», con más de 47.000 apariciones, seguida de «la», «que», «y» y «el». Las diez primeras son casi el 29 % de todo el texto; las cien primeras, la mitad; las mil primeras, el 70 %. Y casi la mitad de las palabras distintas del corpus aparece exactamente una vez. Con los ejes en escala logarítmica, la nube de puntos es prácticamente una recta, y su pendiente es el exponente de la ley: para este corpus, alrededor de 0,93, muy cerca del 1 que Zipf propuso.

El fenómeno lo observó primero el estenógrafo francés Jean-Baptiste Estoup, que hacia 1916 contaba palabras para decidir qué abreviaturas convenía enseñar, y lo estudió con detalle el lingüista estadounidense George Kingsley Zipf en dos libros, de 1935 y 1949. Zipf contó a mano las palabras del Ulises de Joyce, de textos en latín y en chino y de periódicos, y encontró la misma proporción en todos. Su explicación fue el principio del mínimo esfuerzo: el hablante preferiría un vocabulario pequeño de palabras muy generales, que le ahorra trabajo al hablar; el oyente preferiría un vocabulario grande de palabras muy precisas, que le ahorra trabajo al entender; la ley sería el equilibrio entre las dos fuerzas. Ramon Ferrer i Cancho y Ricard Solé formalizaron esa intuición en 2003 con un modelo en el que el exponente de Zipf aparece justo en la transición entre un lenguaje de una sola palabra y uno de infinitas.

El problema de esa explicación, y de la mayoría de las que la han seguido, es que la ley es demasiado fácil de obtener. Herbert Simon mostró en 1955 que un proceso muy simple la produce: si cada nueva palabra de un texto se elige con una probabilidad proporcional a las veces que ya ha aparecido, más una pequeña probabilidad de ser una palabra nueva, la distribución resultante sigue la ley de Zipf. Es el mismo mecanismo de «los ricos se hacen más ricos» que explica el tamaño de las ciudades o el número de citas de los artículos científicos, y no dice nada específico del lenguaje. Peor aún: Wentian Li demostró en 1992 que un mono que teclease al azar, con una tecla para el espacio, produciría «palabras» cuyas frecuencias también obedecen la ley. Si un texto sin significado la cumple, la ley no puede ser una pista sobre el significado.

La revisión de Steven Piantadosi de 2014 pone orden en la discusión y llega a dos conclusiones. La primera es que la ley se cumple, pero no exactamente: la fórmula de Zipf falla sistemáticamente en las palabras más frecuentes, que aparecen menos de lo que predice, y en las muy raras, y la corrección que propuso Benoît Mandelbrot en los años cincuenta —desplazar el rango una constante— ajusta mejor. La segunda es que la ley por sí sola no permite decidir entre explicaciones, porque muchas la generan; lo que permite discriminar entre ellas son otros hechos, como que la misma palabra tenga frecuencias parecidas en textos muy distintos o que las palabras más frecuentes tiendan a ser las más cortas, otra regularidad que también lleva el nombre de Zipf.

El selector de estantes de la figura enseña algo de eso. Un estante de Ikusmira —Literatura, Historia, Economía— es un corpus más pequeño y más homogéneo que el conjunto, y su curva se separa de la general en las palabras del oficio: en Economía, «capital», «producción» y «precios» suben más de cien puestos respecto al conjunto; en Historia lo hacen «régimen», «guerra» y «gobierno». Las cien palabras más frecuentes, en cambio, son casi las mismas en todos, porque son artículos, preposiciones y conjunciones, y la ley las gobierna igual. Un texto pegado en la caja de la figura, si es corto, hace algo distinto: su curva cae por debajo de la general, porque con pocas palabras el vocabulario no ha tenido ocasión de repetirse, y la proporción de palabras que aparecen una sola vez es enorme. La ley necesita longitud para manifestarse.

Lo que la ley sí tiene de útil es práctico y se usa a diario. Es la razón de que los buscadores y los correctores puedan descartar las palabras vacías sin perder casi nada, de que aprender las mil palabras más frecuentes de una lengua permita entender la mayor parte de cualquier texto y, al mismo tiempo, casi ninguno por completo, y de que cualquier corpus, por grande que sea, contenga miles de palabras vistas una sola vez, para las que un modelo del lenguaje no tiene experiencia. El corpus de esta enciclopedia tiene diecinueve mil de esas palabras, y crecerá con cada artículo que se añada sin que la proporción baje mucho. Es la parte de la ley de Zipf que ninguna explicación ha conseguido hacer desaparecer.