Son las tres de la mañana y la cámara de tu casa ve una polilla pegada al lente. ¿Hay que despertarte? Se lo pregunté a las cinco tallas de una misma inteligencia artificial gratis que entran en una compu.
La más chiquita contesta cincuenta y cincuenta, como una moneda. La segunda duda. La tercera te despierta. Recién la cuarta contesta como Jev, el de pago: «no, es una polilla», y con 91 % de seguridad.
En 384 decisiones, Jev acierta 96 de cada 100; la cuarta, 90. Pesa casi 10 GB, entra entera en una tarjeta de video de 16 GB y contesta en una décima de segundo. La quinta, el doble de grande, acierta 92: dos más, y en mi compu tarda nueve veces más porque no le cabe entera.
La talla que necesitas no es la más grande: es la que cabe en tu compu y contesta bien.
Los modelos: Decision 2.0, de vLLM Semantic Router. Licencia Apache-2.0, se descargan gratis:
❯ Kai 0.6B (talla 1): https://huggingface.co/vllm-sr/Decision-2.0-Kai-0.6B
❯ Eos 0.8B (talla 2): https://huggingface.co/vllm-sr/Decision-2.0-Eos-0.8B
❯ Sol 2B (talla 3): https://huggingface.co/vllm-sr/Decision-2.0-Sol-2B
❯ Nox 4B (talla 4, la del video): https://huggingface.co/vllm-sr/Decision-2.0-Nox-4B
❯ Lux 9B (talla 5): https://huggingface.co/vllm-sr/Decision-2.0-Lux-9B
❯ La colección completa: https://huggingface.co/collections/vllm-sr/decision-20
❯ Quién los publica: https://huggingface.co/vllm-sr
❯ El anuncio: https://x.com/XunzhuoLiu/status/2106193824091681126
Hay una sexta talla, Vega 27B, que no medí: no entra en una computadora de casa.
La comparación de pago es Jev, de TypeSafe AI. Jev contra el modelo gratis de Cloudflare, con 240 casos:
❯ https://www.youtube.com/watch?v=3rGrd8btwQY
Suscríbete: medimos modelos de IA gratis en una computadora de casa y te decimos cuál vale la pena ❯ https://www.youtube.com/@Jungla-Digital?sub_confirmation=1