Entrenar a Laya: 7.220 ejercicios escritos por otra IA

Laya es una IA gratis que decide pero no escribe: le das un texto y unas opciones, y reparte su confianza entre ellas. En la prueba contra Jev sacó notas bajas, sobre todo en español. Su fabricante dice que viene para especializarla, así que la mandé a clase con ejercicios que escribió otra IA, Claude.

El video cuenta la escuela. Esta página guarda lo que no cupo en él: cómo se escribieron y revisaron los ejercicios, la nota de cada materia en los dos idiomas, la curva de aprendizaje, lo que costó en tokens y en horas, lo que no pude comprobar y cómo repetirlo.

1. Aprendió, y más en español. De 52 a entre 75 y 81 aciertos de 96. En inglés, de 71 a entre 82 y 86. Fueron tres entrenamientos por idioma, y por eso doy un rango.
2. No aprendió todo. El freno del asistente mejoró en español y casi no se movió en inglés. La cámara, en español, no mejoró.
3. Lo caro fue escribir los ejercicios, no entrenar. Unos 8 millones de tokens en total. Una clase dura unos diez minutos en una Mac.

11:45

¿Qué es Laya y qué quiere decir entrenarla?

Laya la publica Convai Innovations, una empresa pequeña de Kerala, en la India, con licencia Apache 2.0: se puede usar, modificar y vender. Es un modelo de decisión, como Jev. No escribe: elige entre las opciones que le das y dice qué tan segura está. Si no conoces a Jev, empieza por qué es Jev.

Por dentro tiene dos partes. El codificador es la parte que lee: convierte el texto en números que resumen su sentido, y lo aprendió leyendo billones de palabras. La cabeza es la parte que decide: mira esos números y reparte el cien por ciento entre las opciones.

Viene en dos versiones, cada una montada sobre un codificador abierto distinto. Los parámetros son los números que el modelo aprendió; la M quiere decir millones.

La de inglés es la que mejor nota trae. Para el español se usa la multilingüe, cuyo codificador se entrenó con textos en más de 1.800 idiomas.

Entrenar a Laya puede querer decir tres cosas: reentrenarla entera, como hizo Convai al fabricarla; agregarle capas pequeñas que aprenden, la técnica que se llama LoRA y que Laya no trae; o entrenar solo la cabeza. Hice lo tercero. El codificador quedó quieto y solo aprendió la parte que decide, entre el 5 y el 6 % del modelo.

¿Cómo se escribieron los 7.220 ejercicios?

Los escribió Claude, el modelo Opus 5.5, en sesiones separadas, una por materia. Son 3.610 por idioma. Los de español se escribieron en español desde cero: comparados con los ingleses, ninguno se parece lo bastante como para ser una traducción.

Cada ejercicio es un texto corto con su respuesta. Estos cinco son de los que Laya usó para aprender, tal como están en los datos:

El freno es la materia más rara. El texto son tres pasos de un asistente, y Laya tiene que decir si avanza hacia terminar la tarea o si está atrapado repitiendo lo mismo.

Todas las materias tienen la misma cantidad de ejercicios, repartidos en tres montones que no se mezclan:

Los simulacros sirven para decidir cuánto estudiar sin tocar el examen. Entre el 30 y el 40 % vienen de familias de casos que Laya no vio al aprender, es decir, de situaciones que no aparecen en sus ejercicios. Así se mide si generaliza o solo memoriza.

No todos los ejercicios son igual de fáciles, y la respuesta de cada uno no es una etiqueta seca: es un reparto de probabilidades, el mismo que se espera que Laya aprenda a dar.

Los grises son pocos a propósito. Un caso solo cuenta como gris si dos lectores no se ponen de acuerdo, o si los dos lo ven discutible. Llenar los ejercicios de dudas que nadie tiene le enseñaría a Laya a dudar sin motivo.

{
    "id": "es-resena-000061",
    "state": "Pedí una chompa de lana talla M en color vino. Abriga bastante y no pica, pero después del segundo lavado a mano se estiró de las mangas.",
    "questions": {
        "resena": {
            "type": "choice",
            "instructions": "Esta es una reseña publicada sobre un restaurante o un producto. ¿Parece escrita por un cliente de verdad?",
            "criteria": {
                "autentica": "cuenta detalles concretos de una experiencia, con cosas buenas y malas, como habla un cliente real",
                "sospechosa": "suena a publicidad o a ataque: exagerada, genérica, sin detalles, repite el nombre de la marca o manda a otro negocio"
            }
        }
    },
    "gold": {
        "resena": {
            "probabilities": {
                "autentica": 0.95,
                "sospechosa": 0.05
            }
        }
    }
}

¿Qué dice la guía de etiquetas?

Antes de escribir el primer ejercicio quedó escrita una guía con dos capas. La primera es la pregunta y la definición de cada respuesta, que Laya lee junto a cada texto. Son las mismas palabras del examen, porque la pregunta es la tarea:

La segunda capa no la lee Laya. Es una regla más precisa para quien escribe y quien revisa, porque las definiciones se pisan. Un recordatorio legítimo con fecha límite tiene «urgencia», y eso basta para leerlo como estafa si uno se queda en la letra.

Hay, además, tipos de escena que no entran en ningún ejercicio: los de los casos dudosos a propósito del examen. Enseñárselos sería dictarle la respuesta a lo que esos casos miden, que es si Laya sabe dudar.

¿Cómo sé que ningún ejercicio sale del examen?

El examen es el de Jev contra Laya: 96 casos claros por idioma, más los dudosos. Antes de escribir el primer ejercicio quedó sellado con una huella sha256, un código que cambia si se toca una sola letra del archivo. Ningún caso del examen se usó para entrenar.

Después, un guardián comparó cada ejercicio nuevo con cada caso del examen, también los dudosos, con dos medidas de parecido:

El ejercicio que se parecía salía y se escribía otro desde cero. Al final, en los dos idiomas, quedaron cero ejercicios parecidos al examen. Quien escribe los ejercicios no lee el examen: del guardián solo ve cuáles salen.

El examen se sella antes de la primera clase y se abre una sola vez.

¿Quién revisó al profesor?

Revisar 7.220 ejercicios a mano no era posible, así que la revisión fue en capas. Ningún revisor veía la respuesta que había puesto Claude antes de dar la suya.

El kappa es una medida de acuerdo que descuenta lo que coincidirían dos lectores por puro azar; 1 es acuerdo perfecto. Los desacuerdos se reemplazaron por ejercicios nuevos o los decidí yo, caso por caso.

La muestra al azar es la que dice cuánto fiarse de los ejercicios claros. Con cero errores en 180, la regla del tres (dividir 3 entre el tamaño de la muestra) deja el error por debajo del 1,7 %, con un 95 % de confianza. Eso solo se midió en inglés.

Cero errores en 180 ejercicios al azar: el error de los claros queda por debajo del 1,7 %.

¿Cómo fue la clase?

Se aprende con los ejercicios, se decide con los simulacros y el examen se abre una vez. El orden importa: si miras el examen para decidir cuánto estudiar, terminas estudiando el examen.

Primero elegí dos cosas con los simulacros. La tasa de aprendizaje es el tamaño de cada corrección que hace el modelo cuando se equivoca. Las épocas son las vueltas completas a los ejercicios. Probé tres tasas:

Gana la del medio en los dos idiomas: la más lenta se estanca y la más rápida se vuelve inestable. La regla para elegir quedó escrita antes de mirar, y la configuración, antes de abrir el examen.

Con eso hubo tres clases por idioma. Cada una empieza con una semilla distinta, el número que fija el azar del entrenamiento: el orden de los ejercicios y el punto de partida. Con los mismos datos y otra semilla sale otro modelo, y por eso doy tres notas y no una.

Al final de cada clase se ajustó la temperatura, un número que corrige cuánto presume el modelo sin cambiar qué responde. Se ajustó solo con el montón de calibración, que no se usa para nada más.

Todo corrió en una Mac mini con chip M4 y 16 GB de memoria:

Cabe en esa Mac porque el codificador no aprende. Lo que lee se calcula una vez y la cabeza entrena sobre esa lectura guardada. Comprobé que da lo mismo que pasar por el modelo completo, con una diferencia de 0,0 en tres lotes. Después de entrenar, ninguna de las 170 piezas del codificador había cambiado.

Una clase dura unos diez minutos. Escribir los ejercicios tomó 7,7 horas de agentes.

¿Qué nota sacó en cada materia?

Cada examen tiene 16 casos claros por materia. La primera columna es Laya tal como viene; las otras tres, una por clase. En el teléfono, la tabla se desliza hacia los lados.

En español sube todo menos la cámara. El salto va de 23 a 29 aciertos, el doble que en inglés, y desde más abajo.

En inglés la mejora sale casi entera de la reseña, la cámara y el semáforo. El correo ya venía casi perfecto.

Con 16 casos por materia, dos o tres aciertos de diferencia son ruido. Los simulacros tienen 100 o 105 casos por materia y dan una lectura más estable:

Lo que importa es si aprendió a decidir o se aprendió los ejercicios. Por eso miré aparte los simulacros de familias de casos que no vio al aprender:

Sube igual que en el resto de los simulacros, así que generaliza. La excepción es el freno en inglés, que viene en la siguiente sección.

En español, de 52 a entre 75 y 81. En inglés, de 71 a entre 82 y 86.

¿Qué mejoró y qué no?

El freno del asistente es la materia con la historia más clara. En español, Laya sin entrenar contestaba «atrapado» a los 16 casos: su 8 de 16 es lo que saca cualquiera que conteste siempre lo mismo.

Entrenada, en español acierta los 8 «atrapado» y entre 4 y 6 de los 8 «avanza». Lo que todavía falla es siempre lo mismo: llama atrapado a un asistente que avanza.

En inglés falla los mismos tres casos que antes de la escuela, con las tres semillas. Mi lectura, que no está medida: al codificador inglés le falta esa distinción, y la cabeza sola no puede inventar lo que la lectura no trae. El multilingüe quizás la tenía y su cabeza original no la usaba.

En la prueba de Jev contra Laya, cuatro líneas de código que comparan los pasos letra por letra sacaron 10 de 16 en español y 11 en inglés. En español, Laya entrenada les gana por 2 a 4. En inglés, por 1, que con 16 casos es ruido.

La cabeza sola no inventa lo que el codificador no sabe leer.

Dos materias más no salieron como esperaba:

• La cámara en español. Pasó de 11 a 10, 13 y 11. En los simulacros es la materia más floja, con 61 a 66 de 100. En inglés, en cambio, subió de 4 a 5 aciertos.
• La estafa en inglés. En dos clases bajó de 15 a 12 y 13. Se volvió desconfiada: marca como estafa mensajes legítimos. Sin entrenar fallaba al revés, dejando pasar una estafa.

En español la estafa se movió en la buena dirección. Sin entrenar marcaba como estafa 8 mensajes legítimos; entrenada, entre 1 y 5, según la clase.

¿Cuando dice estar segura, acierta?

La pregunta con la que terminó la prueba contra Jev era si se le puede creer a Laya cuando dice estar segura. Estas son las veces que puso 90 % o más en su respuesta durante el examen, y cuántas acertó:

Entrenada, en español dice «estoy segura» menos veces, y cuando lo dice acierta. Son pocas veces por modelo, de 15 a 27, así que no se puede decir que nunca se equivoque. Lo que sí se sostiene es que, cuando se mostró así de segura, casi siempre acertó.

¿Con más ejercicios aprendería más?

Lo medí solo en inglés y solo con los simulacros, sin volver a abrir el examen. Entrené la misma cabeza con el 25, el 50, el 75 y el 100 % de los ejercicios, dos veces cada uno:

La curva se aplana. Del 25 al 50 % gana 6,8 puntos; del 50 al 100 %, solo 3,3. Y la diferencia entre dos semillas con todos los datos es de 3,4 puntos: lo que gana la última duplicación cabe en el ruido de una semilla a otra.

Por materia, la reseña y el correo todavía piden datos. El freno, la estafa y el semáforo están planos, y la cámara se satura en torno al 85 %.

El techo de entrenar solo la cabeza está cerca.

¿Cuánto costó en tokens y en horas?

Los tokens son los pedazos de texto que procesa un modelo al leer y al escribir. Esta cuenta suma lo que leyó y escribió cada agente. Pago una suscripción y no por token, así que mide trabajo, no una factura.

Escribir los ejercicios se llevó 5.124.792 tokens, unos 710 por ejercicio. Entrenar, menos de un millón.

En tiempo, contado desde los registros de la sesión:

Las horas de agentes no se suman con las de la sesión, porque varios corrían a la vez. No incluyen las sesiones de DeepSeek, que corrieron en otra herramienta, ni mi tiempo revisando casos y grabando la voz.

¿Le alcanza para Jev?

No. Jev acertó los 96 casos en los dos idiomas, y la mejor Laya entrenada se quedó en 81 y 86. Lo que Laya conserva es todo lo demás:

Entrenarla no la hizo más lenta: el examen entero tardó lo mismo con la Laya original que con las entrenadas, unos 4 segundos en inglés y unos 3,5 en español.

En mi opinión, para casi todo el mundo es más simple escribirle un buen criterio a un modelo grande que entrenar uno chico. Entrenar compensa cuando la tarea se repite miles de veces, tiene que correr sin internet o no puede costar por pregunta.

Si buscas un rival gratis más cerca de Jev, en Jev contra Kev y djev hay dos que corren en tu computadora y llegaron a 92 de 96, a cambio de una tarjeta de video grande. Los videos anteriores de la serie:

10:55

11:06

Lo que no pude comprobar

• Por qué el freno se movió en español y no en inglés. Es una hipótesis, no una medida.
• Si entrenar el modelo entero, o con LoRA, mejoraría más. Solo entrené la cabeza.
• Cuánto daría duplicar los datos. Los 2 a 5 puntos son una extrapolación de la curva.
• Si el multilingüe parte más abajo por cómo está hecho. Gasta 197 de sus 322 M en su tabla de palabras, y eso podría explicarlo, pero no lo medí.

• La calibración con una medida estándar. La tabla de «90 % o más» es un indicio con pocos casos.
• Un examen escrito por otras personas. Los ejercicios los escribió un modelo y el examen, una sola persona. Es una prueba, no un estudio, y con otros casos la cifra puede cambiar.
• Mis horas de revisión y la electricidad del entrenamiento y de cada decisión.
• Si escribir datos con Claude para esto está permitido sin dudas. Los términos de Anthropic prohíben entrenar modelos que compitan con sus servicios. Un clasificador de este tamaño no compite, pero no tengo certeza legal.
• Nada en Windows. Todo corrió en una Mac.

¿Cómo repito el experimento?

La receta, en el orden en que la seguí. Se corre desde la terminal y pide algo de Python:

1. Instala Laya (usé la versión 0.3.20) y baja el script de entrenamiento del PR #355 de su repositorio, una propuesta que todavía no está fusionada.
2. Aplícale los dos parches de abajo: uno ajusta la temperatura solo con tu montón de calibración (4 líneas) y otro congela el codificador para entrenar solo la cabeza (9 líneas).
3. Escribe tus ejercicios con el formato del ejemplo de más arriba y sepáralos en tres montones: aprender, simulacros y calibración.
4. Sella tu examen con una huella antes de empezar, y compara cada ejercicio con él.
5. Elige la tasa de aprendizaje y las épocas solo con los simulacros.
6. Entrena tres semillas y corre el examen una sola vez.

Las descargas: la hoja de cálculo trae la nota de cada materia en el examen y en los simulacros, por idioma y por clase, y se abre con Excel o con Numbers. Los parches se aplican con git apply sobre el script del PR #355.

• Los resultados por materia, idioma y clase (CSV)
• Parche A: calibración con un montón aparte
• Parche B: entrenar solo la cabeza

Los casos del examen, uno por uno y con lo que contestó Laya sin entrenar, están en la página de Jev contra Laya.

Preguntas frecuentes sobre entrenar a Laya