Aziende e privati richiedono sempre più inference AI on-premise e su dispositivo per mantenere il controllo dei dati, la privacy e l'indipendenza dal lock-in del cloud.
Una build custom di llama.cpp con kernel ROCmFPX porta il modello Qwen3.5 da 122 miliardi di parametri su GPU AMD a 28.50 token al secondo, riducendo l’occupazione di memoria del 18% e accelerando l’inference del 37%. Un banco di prova per la fattibi...
Un nuovo plugin per Obsidian consente di interrogare il proprio vault tramite chat basata su IA locale, senza inviare alcun dato al cloud. Rilasciato con licenza MIT, sfrutta l’SDK QVAC per eseguire il modello direttamente sul Mac. Offre citazioni cl...
Spunta nei forum un nuovo modello linguistico europeo e open source: Soofi S 30B-A3B. Con 3 miliardi di parametri attivi su un totale di 30, promette esecuzione locale a basso consumo di VRAM, affiancato da anteprime con capacità di ragionamento. Il ...
OpenLLM-France rilascia Luciole-23B-Instruct-1.1, un modello causale multilingue con licenza Apache 2.0 disponibile anche nei tagli da 8B e 1B. Addestrato sul supercomputer Jean Zay in tre fasi, copre matematica, codice, RAG e traduzione. La novità n...
Un sistema con una RTX 4060 Ti e un Ryzen 5 ha raggiunto 7 token al secondo su un LLM da 98 GB, usando solo CPU e RAM. In una settimana, gli ultimi commit di llama.cpp hanno triplicato la velocità. Un segnale forte per chi cerca inference on-premise ...
L'integrazione di Qwen in Apple Intelligence segna un punto di svolta per la sovranità dei dati: anche i colossi globali devono adattarsi a stack locali. Una mossa che ridefinisce i vincoli del deployment AI su scala internazionale.
Thinking Machines Lab, fondato da Mira Murati, rilascia Inkling: un LLM open-weight che non punta al primato nei benchmark. Una scelta politica che riporta al centro personalizzazione, controllo e sovranità dei dati.
Il team PrismML ha rilasciato Bonsai 27B, un LLM denso che sfrutta la quantization a 1-bit per comprimersi da 54 a 3,8 GB e gira in locale nel browser con kernel WebGPU su misura. Mantiene il 90% dell’intelligenza. Un passo decisivo per l’AI on-devic...
L'annuncio di Bonsai 27B, primo modello da 27B a funzionare su smartphone, ridefinisce i confini tra cloud e dispositivo. Le implicazioni per la sovranità dei dati e il deployment on-premise sono profonde, anche se i compromessi tecnici restano il no...
La fintech Flex ha raccolto 70 milioni di dollari in un Series B1 guidato da Halo, il fondo di Ryan Smith. L’obiettivo è portare la sua banca privata basata su AI a livello globale. Mentre l’operazione segnala fiducia nel settore, la vera partita si ...
Un ringraziamento della community per un traguardo simbolico di llama.cpp racconta molto più di un semplice aggiornamento software: è il segnale che l'inference locale su hardware comune è ormai una realtà produttiva, capace di ridefinire strategie d...
La startup californiana PrismML, spin-off del Caltech e sostenuta da Khosla, ha compresso il modello open-source Qwen 3.6 di Alibaba da 54 GB a meno di 4 GB, facendolo funzionare su un iPhone 17 Pro con tutti i 27 miliardi di parametri attivi. Il mod...
Un'interfaccia locale per sd.cpp rende la generazione di immagini accessibile su Windows e Linux, segnando un passo verso la sovranità creativa e il controllo dell'hardware.
L'assunzione di un product manager per nuclei domestici segna l'ingresso di ChatGPT nella vita quotidiana di anziani e caregiver. Un cambio strategico che però riaccende la tensione tra comodità cloud e controllo locale dei dati sensibili, spingendo ...
Un esperimento con codice C++ e CUDA su misura porta un modello MoE da 30 miliardi di parametri a superare 50 token al secondo su una GPU consumer con 16 GB di VRAM. Il motore garlic-inference supera llama.cpp del 50%, mostrando margini di ottimizzaz...
