Una IA gratis, que corre en tu propia computadora y salió tres días después de Jev, leyó «Ma, ya llegué a casa de la abuela. Besos» y contestó: estafa, con un 98 % de seguridad. ¿Ya hay un Jev killer? En vez de opinar, senté a los dos modelos frente al mismo examen: 120 decisiones de todos los días, con la respuesta correcta escrita antes de empezar.
Seis tareas cotidianas: si un producto del supermercado es ultraprocesado, si un mensaje es una estafa, si un correo es urgente, si una reseña es falsa, si la cámara de tu casa debe despertarte a las tres de la mañana, y si un asistente avanza o da vueltas en círculos.
El resultado, sin titulares: Laya gana en velocidad, precio y privacidad. Jev acertó los 96 casos claros, en español y en inglés; Laya, 52 con su versión para otros idiomas y 71 con la principal, que solo entiende inglés. Y cuando uno dice «estoy seguro» le puedes creer; al otro, todavía no. También vas a ver lo que pierde Jev, cómo se arma un freno para un asistente que da vueltas, y para qué sirve hoy cada uno.
No hace falta saber programar para entenderlo.
Los 120 casos de esta prueba están publicados uno por uno: el texto de cada caso, la respuesta que esperaba, lo que contestó cada modelo y con cuánta seguridad, en español y en inglés. También se pueden descargar para repetir la prueba con tus propios casos.
❯ https://jungladigital.com/jev-vs-laya/
Ahí está contada la única corrección que hice después de ver los resultados (la mermelada), lo que esta prueba no midió y la parte técnica para quien quiera revisar el método.
Qué es Jev, desde el principio ❯ https://www.youtube.com/watch?v=NW7VDU11b5w
JEV: 10 casos de uso para una IA que solo decide ❯ https://www.youtube.com/watch?v=qHqaDlvbu94
Fuentes: documentación de TypeSafe AI ❯ https://docs.typesafe.ai · Laya ❯ https://github.com/NandhaKishorM/laya
Capítulos
- 0:00 El mensaje de la abuela: estafa, 98 %
- 0:31 Velocidad, precio y privacidad: 3 a 0
- 2:19 Acertar: 96 contra 52, y cómo falla
- 3:38 La revancha, en inglés y contra la titular
- 5:20 Cuando dice «estoy seguro», ¿le puedes creer?
- 6:44 Lo que pierde Jev
- 8:12 Cómo se arma un freno para un asistente
- 9:15 Veredicto: para qué sirve cada uno
Todos los senderos, con las versiones para Windows y Mac
❯ https://jungladigital.com/senderos/