La distribuzione locale degli LLM si sta espandendo tra GPU consumer, inference solo CPU, front-end vocali on-device e agenti nel browser. Lo spostamento porta il TCO dal prezzo cloud per token verso hardware self-hosted e controllo diretto.
La startup svedese Strawberry esce dalla beta con un browser enterprise che integra assistenti AI. Gli agenti girano sul dispositivo dell'utente, non su server cloud, e questo può rispondere alle richieste di sovranità dei dati. La società ha chiuso ...
Un progetto indipendente ha pubblicato una versione preliminare di un modello da 4 miliardi di parametri per coding e generazione di scene 3D, come fine-tune di Qwen3.5-4B. I checkpoint GGUF Q4_K_M e Q8_0 sono già su Hugging Face, mentre il training ...
L'economia degli abbonamenti dei grandi LLM è sotto pressione, mentre modelli specializzati da pochi miliardi di parametri risolvono compiti come OCR e segmentazione. La tesi: il futuro è locale, con modelli più piccoli, addestramento più semplice e ...
Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. P...
KittenML ha rilasciato codice e pesi di Kitten-TTS 2, un modello TTS con quantization ternaria a 1,58 bit e 1,7 miliardi di parametri. Gira in tempo reale su CPU, fa voice cloning zero-shot da meno di cinque secondi, supporta oltre 20 lingue e consen...
Un progetto open source (Apache-2.0) propone un front-end vocale on-device per assistenti locali: cinque modelli per wake word da testo, voiceprint, separazione della voce e VAD personale. L'engine Rust gira in browser, Python e Android; i modelli oc...
Un utente documenta il salto da 9 a 48 token/s passando a STRATA su CachyOS con driver NVIDIA pronti, usando Qwen 3.8 Flash Next a 3 bit. La GPU da 8 GB regge 32k di contesto e arriva a 42k, restando a 130 MB dal crash. Il caso mostra pregi e limiti ...
Migtissera distribuisce in formato GGUF un fine-tuning di Qwen che, secondo i benchmark interni, genera fino a un quarto di token in meno a parità di punteggio. Meno token significa risposte più rapide, sessioni più lunghe e costi di inference ridott...
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restan...
Cohere ha annunciato l'integrazione dell'encoder visivo di North Micro Vision Instruct in llama.cpp. Tutte le architetture recenti dell'azienda diventano così compatibili con il runtime locale, mentre Cohere Transcribe arriva in Unsloth per il fine-t...
