Runtime open source come llama.cpp, OpenVINO, Lemonade e motori specializzati portano forti accelerazioni agli LLM locali grazie a migliorie del prefill su CPU, Vulkan, serving personalizzato e quantization o potatura aggressive.
ISTA DASLab ha distribuito GGUFs quantizzati per Qwen3.8-Flash-Next e una variante Coder con metà degli expert rimossi. La combinazione GSQ e RCO porta il working set residente a 29,6 GB, dentro un acceleratore da 32 GB, con benchmark vicini o superi...
Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservat...
Un utente racconta come un modello Qwen 3.8 Flash Next su due RTX 3090 abbia superato GPT-5.6 Luna in un progetto reale, dopo essere stato collegato a Codex CLI. Il risultato riapre il dibattito su quale strato conti davvero nel deployment locale: no...
Il runtime open source per l'inference locale dei LLM introduce un miglioramento che rende la fase di prompt lookup drafting 42 volte più veloce. Non si tratta dell'intera generazione, ma di un componente chiave della decodifica speculativa: un cambi...
KoboldCpp ora include un harness agente integrato, attivabile con una spunta o con --agent. L'agente offre nove strumenti integrati, un prompt di sistema da circa 2.000 token e punta a sostituire tool esterni come Opencode, Codex e Claude Code. Richi...
Una pull request in llama.cpp introduce una moltiplicazione matrice-vettore a tessere per i formati k-quants. Secondo la segnalazione, l'uso delle istruzioni VNNI accelera il mul_mat su CPU di 3-7 volte con complessità aggiuntiva minima. Il guadagno ...
Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integra...
Uno sviluppatore ha addestrato un modello compatto per sostituire Gemini Flash in un task booleano ad alta frequenza. Con 2.500 esempi e una RTX A6000 da 16 GB, il training è durato 15 minuti: il risultato pesa 50 MB, gira su CPU in 0,06 secondi e ra...
Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ...
Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a...
Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia pot...
Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...
