Innovazioni nella quantization, ottimizzazioni specifiche per hardware (Intel Battlemage, GPU AMD, CPU) e motori on-device permettono agli LLM di funzionare senza problemi su smartphone, Raspberry Pi e desktop, espandendo l'AI self-hosted.
La startup israeliana chiude un round Serie A+ per espandere la sua piattaforma di AI edge dalla grande distribuzione a ristorazione rapida e logistica. L’obiettivo: trasformare l’hardware esistente in una rete intelligente che impara localmente, sen...
L'INT4 ufficiale di Ling-3.0-flash gira su una DGX Spark, ma con configurazione predefinita eroga 20.8 tok/s. Due interventi — disabilitare `--enforce-eager` per abilitare i cudagraph e attivare la decodifica speculativa MTP con un token — fanno balz...
Un’alternativa gratuita e open source ai servizi di trascrizione a pagamento: Meetily registra e trascrive le riunioni in locale, senza mandare dati sensibili in cloud. Una scelta che incide su privacy, costi e controllo del dato aziendale.
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
Un utente spinge al limite una Radeon AI Pro R9700 da 32 GB con i modelli Qwen3.6 ridotti a INT4. Il 35B MoE tocca 262mila token di contesto e 52 tok/s a 100k, mentre il 27B sfrutta il speculative decoding per mantenere 59 tok/s oltre i 50k di contes...
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’a...
Un test locale su hardware AMD mette a confronto Qwen 35B-A3B (MoE, 3B parametri attivi) e Qwen 27B denso. Il modello MoE genera ~116 token/s contro ~30 del denso, ma la differenza nella qualità del codice è minima, tranne che nei casi limite più ast...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...
Un developer ha eseguito LFM2.5-2.6B, un LLM da 2,69 miliardi di parametri con finestra di contesto di 128K, su uno smartphone OnePlus 13 usando solo CPU e quantization Q4_K_M. L'inference engine custom, di appena 450 KB, raggiunge 17 tok/s e support...
