📁 LLM

Una nuova ricerca propone un obiettivo di pre-training ibrido per i Large Language Models, combinando il Masked Language Modelling (MLM) con un approccio predittivo in stile JEPA. Questo metodo, testato su hardware NVIDIA H100, mira a superare i limiti dell'MLM tradizionale, che tende a focalizzarsi sulla superficie lessicale. I risultati mostrano che l'encoder ibrido genera embeddings più uniformi e una geometria spettrale più ricca, indicando una migliore comprensione semantica profonda, pur mantenendo un'accuratezza simile nei benchmark standard.

Nuove ricerche rivelano che il "collasso dei modelli" negli LLM è un fenomeno di contaminazione incrociata, non una semplice degradazione lineare. Un framework SIR/SIRS a doppio strato modella l'interazione tra dati sintetici e modelli, mostrando dinamiche "supercritiche". La rilevazione dei testi sintetici e l'immunità di gregge emergono come strategie chiave per mitigare questo rischio, fondamentale per la robustezza dei deployment on-premise.

Un recente studio introduce una teoria stereologica per analizzare la copertura dei benchmark per i Large Language Models. La ricerca rivela un significativo “punto cieco” nelle attuali suite di valutazione, che può portare a classifiche instabili e decisioni subottimali. Vengono proposte metodologie per identificare un set più robusto e predittivo di benchmark, cruciale per chi deve valutare e implementare LLM in contesti on-premise con vincoli specifici.

Un workshop online offre un percorso pratico per comprendere e costruire Large Language Models (LLM) senza prerequisiti matematici o di machine learning. Il corso copre i fondamenti, l'architettura Transformer, il pre-training, il fine-tuning e la programmazione GPU con PyTorch e CUDA, fornendo le basi per sviluppare LLM moderni. È una risorsa preziosa per chi valuta deployment on-premise e la sovranità dei dati.

Il nuovo modello Higgs Audio v3 TTS 4B emerge come una soluzione specializzata per le applicazioni di chat vocale. Con il supporto per 100 lingue e funzionalità di controllo inline, questo Large Language Model (LLM) Text-to-Speech (TTS) offre alle aziende la possibilità di integrare capacità vocali avanzate direttamente nelle proprie infrastrutture, rispondendo a esigenze di bassa latenza e sovranità dei dati tipiche dei deployment on-premise.

Un'analisi approfondita rivela le prestazioni sorprendenti del modello Qwen 3.6 35B, specialmente con una KV Cache non quantizzata. Contrariamente alle aspettative iniziali, questa configurazione supera le versioni più piccole, evidenziando come la gestione della memoria VRAM influenzi direttamente l'intelligenza e l'efficienza degli LLM in scenari di inference on-premise, con un focus sul lavoro "agentico" e l'hardware come la RTX 3090 Ti.

Meta ha presentato Creator Assistant, un nuovo strumento basato sull'intelligenza artificiale. L'assistente mira a fornire ai creatori di contenuti su Facebook non solo dati sulle performance, ma anche analisi approfondite sul *perché* un determinato contenuto, come un Reel, abbia avuto successo. Questo risolve una sfida di lunga data per i creator, che finora dovevano interpretare manualmente i dati per capire i fattori chiave di engagement.

Mentre il CEO di Google, Sundar Pichai, celebra il 75% del nuovo codice generato dall'AI, internamente gli sviluppatori esprimono scetticismo tramite meme. La percezione è che l'AI aziendale sia inefficace nella generazione di codice, rendendo il loro lavoro più arduo. Questo divario tra le dichiarazioni pubbliche e l'esperienza utente interna solleva interrogativi sulla maturità e l'efficacia degli strumenti di AI generativa in contesti aziendali critici, un aspetto cruciale per chi valuta deployment on-premise.

Meta ha introdotto un nuovo assistente basato sull'intelligenza artificiale per i creator di Facebook. Lo strumento è progettato per semplificare l'analisi delle performance, fornendo risposte rapide a domande chiave sulla pubblicazione dei contenuti e sul feedback degli utenti, riducendo la necessità di interpretare manualmente dashboard complessi.

ChatGPT introduce un nuovo sistema di memoria progettato per ricordare le preferenze degli utenti, garantendo che il contesto delle conversazioni rimanga fresco e rilevante nel tempo. Questa evoluzione mira a migliorare la coerenza e la personalizzazione delle interazioni, sollevando questioni importanti per il deployment on-premise e la sovranità dei dati.

Huawei ha rilasciato KVarN, un nuovo metodo di quantization per la KV-cache degli LLM, disponibile come Open Source. Promette una compressione della cache da 3 a 5 volte superiore rispetto agli approcci attuali, come FP8, e un aumento del throughput fino a 1.4x rispetto a FP16, mantenendo la qualità di output e le capacità di ragionamento. Si integra facilmente in vLLM e non richiede modifiche ai modelli o retraining, posizionandosi come un'alternativa interessante a soluzioni come TurboQuant, che sacrificano la velocità o la precisione.

Un'udienza d'appello a New York ha messo in luce un caso emblematico di citazioni legali probabilmente generate dall'AI e prive di fondamento. I giudici hanno duramente rimproverato gli avvocati coinvolti, sottolineando la violazione delle regole di condotta professionale e l'erosione della fiducia. L'episodio evidenzia le crescenti sfide legate all'affidabilità degli output dell'intelligenza artificiale in contesti critici.

NVIDIA sta consolidando la sua posizione nel panorama dei Large Language Models, rilasciando un modello da 550 miliardi di parametri e una serie di altri modelli su Hugging Face. Questo solleva interrogativi sul ruolo di AMD e Intel nel fornire modelli proprietari, specialmente in un contesto dove la disponibilità di LLM sta diventando una commodity per i fornitori di hardware.

NVIDIA ha presentato Nemotron-3-Ultra-550B-A55B-BF16, un Large Language Model di frontiera con 550 miliardi di parametri totali. Progettato per carichi di lavoro complessi, come ragionamento avanzato, flussi agentici e analisi di contesti lunghi fino a 1 milione di token, il modello richiede infrastrutture hardware significative, tra cui 8x GB200/B200 o 16x H100. La sua architettura ibrida LatentMoE e il supporto multilingue lo rendono una soluzione versatile per deployment esigenti, con rilascio previsto per giugno 2026.

Meta sta affrontando critiche per i continui ritardi nel rilascio dell'API per il suo modello Muse Spark. Nonostante il modello sia stato reso disponibile ad aprile, l'interfaccia necessaria agli sviluppatori per integrarlo è slittata più volte. Solo questa settimana Meta ha promesso un rilascio entro il mese corrente, sollevando interrogativi sulla natura di un modello privo di un'API funzionale, che rischia di rimanere una semplice demo anziché una piattaforma robusta.

La community ha iniziato a rilasciare le prime versioni Fine-tuning del modello LLM Gemma 4 12B, ottimizzate per Deployment on-premise e disponibili nel formato GGUF. Questa disponibilità offre nuove opportunità per le aziende che cercano soluzioni self-hosted per l'intelligenza artificiale, con un focus su controllo, sovranità dei dati e gestione efficiente delle risorse hardware.

Una nuova ricerca evidenzia come le etichette di ruolo discorsivo (es. "Instruction:", "Example:") che incapsulano il contesto fornito ai Large Language Models possano alterarne significativamente il comportamento. Lo studio, condotto su modelli come Llama-3 e Qwen2.5, rivela che l'adozione di informazioni fuorvianti può variare drasticamente, fino a 84 punti percentuali, a seconda dell'etichetta utilizzata. Questo suggerisce la necessità di controllare attentamente la presentazione del contesto nei benchmark RAG e di utilizzo degli LLM.

Una nuova metodologia di training, POLARIS, permette a modelli LLM open-weight di dimensioni ridotte come Qwen3.5-9B di generare storie creative di lungo formato con qualità elevata e maggiore aderenza alla lunghezza richiesta. Sviluppata con 4 GPU A100, la tecnica si dimostra competitiva con modelli molto più grandi, mantenendo la coerenza anche per testi tre volte superiori alla lunghezza di training.

I Large Language Models stanno ridefinendo le pratiche di ricerca, ma sollevano interrogativi sulla responsabilità epistemica. Il framework PEEL (Protocols for Epistemically Engaged Literacy in AI) propone una metodologia che combina strumenti deterministici (Voyant Tools) con l'interpretazione di LLM (Claude) per identificare distorsioni sistematiche nei contenuti generati dall'AI. I risultati sottolineano la necessità di affiancare l'AI con verifiche non-AI, riconoscendo che la fluidità linguistica non equivale a fedeltà e che l'autorità epistemica va integrata nel design.

Un'analisi comparativa sui benchmark ufficiali di Hugging Face rivela che Qwen3.5-9B supera Gemma-4-12B-it in 5 degli 8 test, nonostante un footprint e un KV cache più leggeri. Questo suggerisce una maggiore efficienza per Qwen, un fattore cruciale per i deployment LLM on-premise, dove l'ottimizzazione delle risorse hardware e il TCO sono prioritari.