📁 LLM

Il nuovo modello di Kyutai gira su CPU, fa clonazione zero-shot in 5 secondi e ha licenza MIT. Il benchmark a 180 run mostra una latenza piatta ma più lenta dei rivali. Nessun altro TTS su CPU offre voice cloning.

La startup di Cambridge ha raccolto 8 milioni di euro per trasformare sessioni di gioco in dati di addestramento interattivi. Un segnale che il futuro dell’AI richiede mondi simulati con cui interagire, non solo descrizioni statiche.

Il nuovo modello Mixture of Experts di Sberbank, con 432 miliardi di parametri totali e 28 attivi per token, esordisce con una versione GGUF pronta per l'uso su hardware consumer. Un segnale forte per chi costruisce stack on-premise con LLM di grandi dimensioni.

Una sensazione condivisa da più parti suggerisce che la corsa ai punteggi tra Qwen e Gemma stia raggiungendo un punto morto. Cosa significa per chi valuta questi LLM in contesti reali e, soprattutto, per il deployment on-premise?

Tencent ha reso open source il modello Hy3: 295 miliardi di parametri totali, 21 miliardi attivi, architettura mixture-of-experts e, soprattutto, licenza Apache 2.0. Sostituisce la vecchia licenza comunitaria che proibiva l’uso in Corea del Sud, Regno Unito e Unione Europea. Per le aziende che valutano deployment on-premise in Europa, il cambio di licenza elimina la barriera legale principale.

Un ricercatore indipendente ha costruito un modello linguistico custom con architettura Transformer ottimizzata per l'esecuzione in locale. Rotary Positional Embeddings, RMSNorm, SwiGLU e grouped query attention compongono un decoder autoregressivo che segnala una direzione chiara: portare l'intelligenza artificiale direttamente sui dispositivi.

Un thread su Reddit invita a condividere i migliori Vision-Language Model eseguiti in locale. Emergono dettagli su hardware, engine di inference e casi d’uso, rivelando come la comunità aggiri l’inaffidabilità dei benchmark con resoconti pratici. Uno spaccato prezioso per chi valuta stack on-premise.

La decisione del team Qwen di posticipare il rilascio di modelli più grandi solleva dubbi sulla sostenibilità a lungo termine degli LLM open weight. Con un divario prestazionale già di 2-4 mesi rispetto ai sistemi state-of-the-art, ulteriori ritardi potrebbero allontanare la comunità che fa affidamento su GPU consumer per l'inference locale.

Alibaba ha reso proprietari e solo API i modelli Qwen 3.7, alimentando la ricerca di alternative open nella classe 8B-9B per deployment locale. Il silenzio su una versione 9B invita a riflettere sulla direzione del mercato LLM per chi punta su sovranità e controllo.

I pesi di longcat 2.0 (1,6 trilioni di parametri totali, 48 miliardi attivi) sono ora disponibili sotto licenza MIT. Un segnale forte per i team che valutano LLM on-premise, con ricadute su sovranità dei dati, customizzazione e TCO.

Un benchmark su 13 modelli a contesto 65K-128K su GPU consumer mostra che il prefill assorbe il 94-99% del tempo per output brevi, diventando la metrica chiave. Il numero di KV head, non i parametri, determina la scalabilità. Sorprendenti i risultati sulla quantization del KV cache e sull’architettura Mamba2, mentre MLA soffre su Vulkan. L’analisi ridefinisce i criteri per deployment agentici on-premise.

Il blog di StepFun mostra che il modello Step 3.7 Flash, guidato da una strategia di prompting ispirata a Claude, supera il popolare sistema Hermes nei compiti di programmazione. Un risultato che obbliga a riflettere sul peso della configurazione software per chi esegue LLM on-premise.

La startup francese ha raccolto finanziamenti significativi dal 2023 per portare modelli di frontiera al pubblico. Ma dietro la retorica, il vero differenziale sta nei modelli aperti: una scelta che ridefinisce il controllo sui dati e le strategie di deployment per le imprese.

Google Research ha rilasciato TabFM, un foundation model zero-shot per dati tabulari. Il modello gestisce classificazione e regressione su colonne miste numeriche e categoriche, senza fine-tuning o ricerca di iperparametri: gli esempi di training vengono passati come contesto, e le previsioni sono prodotte in un singolo passaggio. Per chi opera con dati strutturati in ambiti regolamentati, l'approccio promette di semplificare il deployment on-premise, mantenendo i dati locali e riducendo la dipendenza da pipeline di addestramento cloud.

Meituan ha rilasciato i pesi di Longcat 2 nelle varianti INT8 e FP8. Per chi gestisce LLM in locale, la disponibilità di modelli già quantizzati riduce la barriera hardware e i costi di inference, mantenendo un buon equilibrio fra prestazioni e consumo di VRAM.

L’esplosione di sigle e neologismi nell’AI rende indispensabile un glossario. Per chi valuta infrastrutture locali, la precisione terminologica non è un vezzo: è lo strumento per orientarsi tra specifiche hardware, vincoli di sovranità e costi reali.

Costruire AI per la scuola, specie per esami come SAT e ACT, è molto più complesso che realizzare un chatbot. Smartschool affronta la sfida con un approccio mirato alla preparazione, dove precisione e affidabilità sono fondamentali.

Mistral ha rilasciato Leanstral 1.5, un LLM con licenza Apache 2.0 focalizzato sulla verifica formale. Attiva solo 6 miliardi di parametri su 119 totali, raggiunge risultati all’avanguardia su miniF2F, PutnamBench e FATE, e ha scovato 5 bug in 57 repository reali. Il footprint ridotto apre scenari di deployment on-premise per chi non può esporre codice a servizi cloud.

Il team cinese svela DSpark, un nuovo metodo che supera in velocità la predizione multi-token (MTP). Se i numeri saranno confermati, potrebbe accelerare l’inference nei deployment on-premise, riducendo la latenza senza hardware aggiuntivo. Un’analisi delle implicazioni.

Mark Zuckerberg ha comunicato ai dipendenti che lo sviluppo degli agenti AI di Meta sta procedendo più lentamente del previsto, nonostante la riorganizzazione di quattro mesi fa. La notizia solleva interrogativi sulle sfide tecniche dell'AI agentica e sulle implicazioni per chi gestisce carichi di lavoro LLM on-premise.