Gli aggiornamenti di llama.cpp, i runtime specializzati, la quantization a basso bit e i miglioramenti nel serving stanno riducendo i costi dell'inference self-hosted.
La collezione JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF mette in fila due scelte tecniche rilevanti per il self-hosted: architettura MoE con pochi parametri attivi e distribuzione in GGUF. Meno calcolo per token, quantization pronta per CPU e GPU c...
Il titolo “llama.cpp on the stage” e un link bastano a segnalare un cambio di percezione. Il runtime C/C++ per inference locale non è più confinato ai repository GitHub: il suo palcoscenico pubblico legittima il deployment self-hosted come scelta str...
Una pull request su llama.cpp propone una cache GPU per gli esperti dei modelli MoE quando l’intero modello non entra in VRAM. L’idea mira a ridurre i trasferimenti dalla memoria di sistema, velocizzando l’inference locale su hardware con GPU modesta...
Una pull request nel repository di llama.cpp introduce il supporto per GLM5Next MTP; la segnalazione su Reddit conferma la possibilità di eseguire GLM 5 Flash MTP in locale. Per chi valuta deployment self-hosted, il passaggio allarga il parco modelli...
FluidPD affronta il disallineamento tra prefill e decode nel serving LLM senza aggiungere worker. FluidToken scarica parte del prefill sui worker di decode quando c'è margine; FluidRole riassegna i ruoli in esecuzione senza ricaricare il modello. Su ...
Valori di throughput non ufficiali attribuiti ad Azure Foundry suggeriscono che GPT-6.1 Sol emetterebbe un token con due passaggi di inference invece di tre. I dati raccolti su artificialanalysis.com alimentano l'ipotesi di un'architettura ricorrente...
Il runtime per inference locale llama.cpp arriva alla versione 0.6.0 introducendo il supporto al speculative decoding MTP per i modelli Qwen4Exp. Una novità che rafforza il percorso degli LLM self-hosted, dove il controllo dell'hardware e della pipel...
Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragil...
Un utente con RTX 5070 Ti e Strata osserva un modello Qwen3.8-27B IQ3_XXS accelerare di 2-3 volte, ma durante un task di rimozione codice ridondante i ragionamenti inseriscono una biografia di Lee Kuan Yew. Il caso mostra come i pensieri dei modelli ...
Un test sul campo con una quantization IQ3_S mostra che lo stesso identico modello può produrre una risposta coerente in llama.cpp e un loop ripetitivo altrove. Il racconto mette in discussione l'idea che basti scegliere il modello giusto: runtime, s...
Runtime ultra-specializzati come Strata e ninfer rinunciano alla generalità di llama.cpp e vLLM per ottimizzare pochi modelli e una singola famiglia hardware. La scommessa: massimo output da configurazioni locali fisse, anche a costo di codice usa e ...
Una pull request nel repository llama.cpp introduce un'ottimizzazione che dimezza la memoria dell'indice di scoring per Qwen Flash Next. Il cambiamento, segnalato su Reddit, si traduce in un minore uso di VRAM durante l'inference. Per i deployment on...
La pull request #29761 di am17an introduce in llama.cpp il supporto MTP per Qwen Flash Next, con quantization GGUF già disponibili su Hugging Face. Un segnale per chi valuta stack locali: l'ecosistema self-hosted accorcia i tempi tra rilascio del mod...
Una pull request riapre l'integrazione MTP per Qwen Flash Next in llama.cpp, con quantizzazioni GGUF disponibili su Hugging Face. Il lavoro è ancora WIP; per chi esegue LLM in locale diventa un banco di prova per ridurre la latenza senza cambiare har...
Hugging Face ha reso open source una raccolta di kernel WebGPU per oltre 200 operazioni comuni di machine learning, eseguibili interamente nel browser. L'azienda punta a integrare queste ottimizzazioni in Transformers.js, ONNX Runtime Web e LiteRT.js...
La pull request #27773 di timkhronos integra GLM-5.3-Flash (GLM5-Next) in llama.cpp. Il modello diventa eseguibile su computer domestici, senza cloud. Un segnale per chi valuta deployment on-premise: i runtime open source si consolidano come canale d...
ISTA DASLab ha distribuito GGUFs quantizzati per Qwen3.8-Flash-Next e una variante Coder con metà degli expert rimossi. La combinazione GSQ e RCO porta il working set residente a 29,6 GB, dentro un acceleratore da 32 GB, con benchmark vicini o superi...
Il runtime open source per l'inference locale dei LLM introduce un miglioramento che rende la fase di prompt lookup drafting 42 volte più veloce. Non si tratta dell'intera generazione, ma di un componente chiave della decodifica speculativa: un cambi...
Una pull request in llama.cpp introduce una moltiplicazione matrice-vettore a tessere per i formati k-quants. Secondo la segnalazione, l'uso delle istruzioni VNNI accelera il mul_mat su CPU di 3-7 volte con complessità aggiuntiva minima. Il guadagno ...
Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integra...
