📁 LLM

Un test su RTX 4060 Ti da 16 GB mostra Qwen 3.8 27B a 30-35 token/s con quantization Q3_xxs, buona tenuta su coding e logica, ma fragilità conversazionali. Emerge un cambio di prospettiva per chi self-hosta LLM su GPU consumer.

Su una RTX 5090 da 32 GB, un nuovo GGUF NVFP4 per Qwen3.8 27B raggiunge 6.250 token/s nel prefill con prompt da 2048 token, il 50% in più di un Q4_0 con uguale ingombro di memoria e il 4-7% in più di altri NVFP4. Include una testa MTP quantizzata e impostazioni per renderla più veloce del 15%.

Un esperimento nato su Reddit fonde Qwen3.8 e Qwen3.6 in un file GGUF. Supera solo uno smoke test, ma mostra come la modularità dei LLM self-hosted stia cambiando incentivi, governance e costi di validazione.

AntLing ha pubblicato sei checkpoint per Ling-3.0: due taglie e tre stadi ciascuna, tutti con licenza MIT e senza post-training. Materiale per continued pretraining, fine-tuning e ricerca, non un modello chat pronto. La mappa degli stadi è contesto, non validazione; nessuno stadio è indicato come migliore.

Un esperimento di merge tra Qwen3.8-27B e Qwen3.6-27B, condotto partendo da un file GGUF con quantization Q6_K_XL, ha prodotto QwenMix-3.7. L'autore segnala la compatibilità strutturale tra i due modelli, differenziati nell'addestramento da soli sette token. Nessun test oltre lo smoke test: il caso è utile per chi valuta la modularità dei LLM in contesti self-hosted.

Test empirici e benchmark offline indicano che Qwen3.8-27B risponde peggio di Qwen3.6 alle domande di conoscenza fattuale senza tool esterni. Per chi usa modelli air-gapped basati solo sui pesi, il degrado è rilevante.

LongNovel è un benchmark multiscala e bilingue cinese-inglese per rilevare le allucinazioni nei riassunti di romanzi lunghi. Costruito su 29 romanzi cinesi da 16k a 100k token e dati BookSum, identifica otto tipologie di allucinazione. Il set di test è stato rivisto manualmente. Il progetto segnala un cambio di prospettiva: la valutazione della fedeltà diventa un criterio operativo per i deployment self-hosted su documenti complessi.

Il nuovo metodo ECASQ unisce quantization e compressione lossless per minimizzare l'MSE rispettando un budget di entropia e il vincolo di unbiasedness. La soluzione ottimale usa programmazione dinamica con tempo O(sd^2) e spazio O(d^2). Una variante GPU-friendly riduce lo spazio a O(d) e mantiene un MSE non peggiore di quello della soluzione ottimale con un bit in meno di entropia. Un raffinamento iterativo avvicina i risultati all'ottimo.

Uno sviluppatore ha applicato un pruning di profondità a Qwen3.8-27B, portandolo a circa 22,7 miliardi di parametri senza fine-tuning. Il modello, disponibile in versioni bf16, q8 e q4 su MLX, gestisce coding, uso agentico e conversazioni multi-turno con un degrado limitato, ma mostra limiti nei casi limite e nei prompt poco specificati. L'autore non ha pubblicato benchmark e invita a testarlo prima dell'uso.

Unsloth ha pubblicato nuovi file GGUF per Qwen3.8-27B basati su Dynamic v3.0. La promessa è un miglioramento dell'accuratezza di oltre il 10% a parità di dimensione, con quantizzazioni a 1 bit che mantengono il 77% di accuratezza e girano in 8GB di RAM. L'azienda chiarisce che non si tratta di correzioni ma di un aggiornamento migliorativo, e pubblica il file imatrix per test e varianti.

Sono comparsi su Hugging Face tre nuovi modelli Ornith 1.5: 9B, 35B-A3B e 397B, tutti con versioni GGUF. La disponibilità immediata del formato quantizzato segnala un'attenzione diretta al deployment locale e self-hosted, spingendo a riflettere sui trade-off tra dimensioni, hardware e TCO per chi valuta scenari on-premise.

Un nuovo framework allinea embedding cerebrali e testuali in uno spazio semantico condiviso per una decodifica basata su retrieval, separando il segnale neurale dalla ricostruzione dell'LLM. MD-SigLIP usa contrastive learning duplicate-aware e un termine listwise a margine per imporre vincoli di ordinamento tra cluster positivi e negativi. I test mostrano prestazioni di retrieval state-of-the-art su vocabolario completo e subset. L'approccio riduce la dipendenza dall'inference generativa e apre a pipeline locali per dati neurali sensibili.

La recente pubblicazione dei pesi aperti del modello Qwen 2.4T Max, pur richiedendo risorse hardware estreme come cluster B200, segna un passo cruciale per la comunità AI locale. Sebbene il deployment on-premise sia complesso per la versione più grande, l'iniziativa apre la strada a opzioni di Quantization che potrebbero portare intelligenza di frontiera su hardware consumer, rafforzando la sovranità dei dati e il controllo infrastrutturale.

La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bottiglia dalla disponibilità dei modelli alla selezione, alla verifica di licenze e alla riproducibilità in produzione. La distribuzione aperta cresce, ma serve un'infrastruttura di valutazione solida prima di portare un modello on-premise.

Uno studio multi-ateneo guidato da Princeton ha messo alla prova Claude Opus 4.8 su domande di ricerca originali destinate a NeurIPS 2026. Gli agenti hanno gestito l'ingegneria, ma non il giudizio e la creatività necessari per una ricerca aperta: entrambi i paper sono stati respinti. Il risultato ridimensiona le previsioni sull'auto-miglioramento rapido e tocca chi pianifica investimenti hardware e deployment locali.

HarmProfile raccoglie oltre 80.000 artefatti dannosi da 23 LLM di frontiera, su 13 famiglie, organizzati in 15 categorie e 57 sottocategorie. Il dataset sposta l’analisi della sicurezza dall’esito binario di un attacco alla distribuzione dei contenuti pericolosi. I risultati mostrano che i modelli più capaci non solo producono output dannosi su larga scala, ma mostrano profili di rischio più ampi e diversificati.

FPO adatta i LLM senza un backward pass attraverso il corpo del modello, raggiungendo un throughput da 2,7 a 3,2 volte superiore al fine-tuning standard e circa il 40% in meno di memoria di picco. Nei test su OLMo-2-7B, Qwen3-8B e Falcon3-7B migliora la perplessità nel dominio e lascia MMLU, ARC-Challenge, HellaSwag e Winogrande entro la variabilità del seed, cosa che il fine-tuning completo non replica in modo affidabile.

Un benchmark clinico controllato su gpt-4.1-nano mostra un’accuratezza del 93,5% ma una calibrazione imperfetta: la confidenza cresce con la distanza dal confine diagnostico, cala con le informazioni mancanti, ma resta troppo alta negli errori moderati e conflittuali. Il risultato sposta il criterio dalla sola accuratezza alla qualità della confidenza nei deployment medici.

Il fine-tuning su SWE-bench non trasferisce capacità a suite come Django o LiveCodeBench. Il benchmark diventa obiettivo di addestramento e smette di misurare capacità generale. Per chi gestisce LLM self-hosted, un punteggio gonfiato falsa il calcolo di VRAM, quantization e TCO. Serve una valutazione multi-task e una manutenzione continua dei benchmark, non un numero singolo.

BCMT separa l'interazione locale tra token dalla propagazione globale del contesto. Nei test fino a 1024 token, offre prestazioni di validazione paragonabili ai Dense Transformer, con throughput di training più alto e minor consumo di memoria. Il meccanismo di memoria causale esponenziale è parallelizzabile e compatibile con la self-attention standard. Un segnale rilevante per chi valuta deployment self-hosted, perché allenta il vincolo della VRAM senza richiedere kernel specializzati.