Un solo thread su Reddit condensa un mese di lavoro e una serie di rilasci che, a prima vista, sembrano l'ennesima collezione di modelli su Hugging Face. In realtà il pacchetto firmato LLMFan46 tocca un nervo scoperto dell'inference locale: le architetture più recenti arrivano prima nei fork che nel mainline, e la compatibilità GGUF non è mai un dettaglio neutro.

Al centro c'è LongCat-Flash-Lite-Sparse, un modello 69B-A3B che aggiunge sparse attention e un contesto da 1 milione di token rispetto ai 256k della variante dense. L'autore spiega di aver dovuto creare il supporto da zero, sia per Heretic sia per un fork di llama.cpp, perché il progetto upstream non lo supporta. Chi vuole usare i GGUF deve quindi passare da llama-server.exe e llama-ui usando un repository personale.

Esistono due varianti: Uncensored Heretic con 9 rifiuti su 100 e KLD 0,0157, e Ultra Uncensored Heretic con 4 rifiuti su 100 e KLD 0,0779. Sono numeri che descrivono un comportamento più permissivo, ma per un'azienda significano un perimetro di rischio diverso, non una semplice preferenza di stile.

Il runtime è il vero collo di bottiglia

La dipendenza da un fork personale cambia il TCO di un deployment self-hosted. In un contesto aziendale, ogni componente non supportato a monte è un costo di manutenzione e un potenziale punto di esposizione. Non basta scaricare i pesi: bisogna verificare le patch, gestire gli aggiornamenti e accettare che la strada possa divergere da quella ufficiale. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per confrontare questi trade-off, ma il punto qui è la struttura dell'ecosistema.

Il resto del pacchetto conferma la tendenza. Qwen3.8-27B Ultra Uncensored Heretic con MTP ha 3 rifiuti su 100 e KLD 0,0244, disponibile in Safetensors, GGUF, NVFP4, NVFP4 GGUF e GPTQ-Int4. Qwen3.5-122B-A10B arriva in GGUF con 8 rifiuti su 100 e KLD 0,0856. Qwen3-Coder-Next nasce da una richiesta di un utente Hugging Face e Laguna-S2.1 aggiunge una componente visiva opzionale, con l'avvertenza che la parte vision è lontana dall'essere perfetta e può essere esclusa non scaricando i file mmproj.

La proliferazione di formati ha un significato infrastrutturale. GGUF, NVFP4 e GPTQ-Int4 non sono equivalenti: rispondono a runtime e GPU differenti, e una standardizzazione sbagliata può costringere un team a cambiare stack in un secondo momento. Allo stesso tempo, il supporto annunciato per i modelli MoE Qwen3.5/3.6/3.8 nel fork J-Wash Enhanced mostra che l'ecosistema locale si sta organizzando per colmare i vuoti lasciati dai progetti principali.

La direzione è chiara: l'innovazione nell'inference self-hosted si muove più velocemente dei binari ufficiali. Ma la velocità ha un prezzo, e in questo caso si paga in governance, aggiornamenti e fiducia in fork individuali. Non è una condanna, ma una condizione da conoscere prima di adottare questi modelli in produzione.