Piccoli modelli specializzati per TTS, wake-word, riconoscimento vocale, DNA, generazione 3D e ricerca semantica rendono pratica l'AI locale e solo CPU. Questi modelli sfidano l'assunto che l'AI di produzione richieda grandi API ospitate.
Un progetto indipendente ha pubblicato una versione preliminare di un modello da 4 miliardi di parametri per coding e generazione di scene 3D, come fine-tune di Qwen3.5-4B. I checkpoint GGUF Q4_K_M e Q8_0 sono già su Hugging Face, mentre il training ...
Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con da...
Uno sviluppatore su Reddit racconta il tentativo di costruire un motore di inference per LLM nel browser con WebGL2 e GLSL, usando un modello GGUF in quantization Q4. La tokenizzazione si rivela un inferno di debug. Il consiglio: clonare llama.cpp. A...
Il gruppo IBM Research ha pubblicato ClariEdge, un dataset di circa 3.900 esempi per riconoscere query ambigue nei sistemi RAG e generare richieste di chiarimento. Un LoRA leggero raggiunge il 96,6% di accuratezza e supera le baseline di modelli più ...
Hugging Face ha reso disponibile un nuovo modello open source pensato per il linguaggio del DNA. L'obiettivo è aiutare i ricercatori a interpretare come le variazioni genetiche influenzino l'attività dei geni e la salute. La notizia segna un punto di...
Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. P...
Un encoder da 305 milioni di parametri, congelato o potenziato da adattatori low-rank, affronta il riconoscimento vocale in arabo saudita e del Golfo. Il sistema congelato è statisticamente vicino a Cohere Transcribe Arabic sul CER e 3,4 volte più ve...
KittenML ha rilasciato codice e pesi di Kitten-TTS 2, un modello TTS con quantization ternaria a 1,58 bit e 1,7 miliardi di parametri. Gira in tempo reale su CPU, fa voice cloning zero-shot da meno di cinque secondi, supporta oltre 20 lingue e consen...
Un progetto open source (Apache-2.0) propone un front-end vocale on-device per assistenti locali: cinque modelli per wake word da testo, voiceprint, separazione della voce e VAD personale. L'engine Rust gira in browser, Python e Android; i modelli oc...
Un test locale con EmbeddingGemma2 mostra la ricerca semantica di testo dentro immagini su una GPU consumer: 3.003 screenshot indicizzati in 510 secondi, vettori a 768 dimensioni e modello Q8 da 330 MB. Ma la qualità dipende molto dalla formulazione ...
