La maturazione dei modelli linguistici open source, unita a strumenti come llama.cpp e tecniche di quantization spinta, sta abilitando un’IA locale economica, privata e performante, allontanando le aziende dalla dipendenza esclusiva dal cloud.
La versione a 2 bit di GLM-5.2, ridotta da 1,51 TB a 238 GB, conserva circa l’82% dell’accuratezza. Ora eseguibile localmente su Mac con 256 GB di memoria unificata o sistemi con RAM/VRAM equivalenti, grazie al supporto in llama.cpp e Unsloth Studio....
GLM-5.2 ha ottenuto il riconoscimento come il miglior modello Large Language Model (LLM) "open weight" per la scrittura creativa, secondo il benchmark di Sam Paech su EQ Bench. Questo risultato evidenzia il potenziale dei modelli accessibili per scen...
Un approccio innovativo dimostra come sia possibile abbandonare il cloud per l'inference di Large Language Models (LLM), sfruttando la potenza di due mini PC. Questa strategia permette di elaborare milioni di token al giorno, generando significativi ...
Un recente aggiornamento di llama.cpp introduce la gestione completa dei modelli tramite API, consentendo il caricamento, lo scaricamento e la gestione del ciclo di vita degli LLM direttamente da un'interfaccia programmatica. Questa novità semplifica...
Il nuovo laboratorio guidato da Lin Junyang, figura chiave dietro la linea di modelli Qwen, ha chiuso un round di finanziamento con una valutazione di 2 miliardi di dollari. Questo sviluppo è visto come un segnale positivo per l'ecosistema Open Sourc...
Il rilascio di GLM 5.2, un Large Language Model da 744 miliardi di parametri con licenza MIT, segna un'importante evoluzione per l'AI on-premise. Sebbene il modello completo richieda cluster di livello enterprise, il suo potenziale di distillazione e...
In meno di un anno, i Large Language Models (LLM) eseguibili localmente sono passati da soluzioni di nicchia a strumenti concretamente utili per aziende e sviluppatori. Questa trasformazione, evidenziata da esperti del settore, ha aperto nuove possib...
Mistral AI si prepara a rilasciare una nuova famiglia di Large Language Models con pesi aperti a luglio, come anticipato dal co-fondatore Arthur Mensch. Questa mossa rafforza la tendenza verso soluzioni LLM che favoriscono il controllo aziendale, la ...
Mentre l'attenzione si concentra spesso su LLM di grandi dimensioni o assistenti alla programmazione, emerge un dibattito sul potenziale inespresso dei modelli più piccoli ed efficienti (da 1 a 4 miliardi di parametri). Questi LLM, integrabili dirett...
Un utente ha completato l'assemblaggio di un sistema quad-GPU basato su NVIDIA RTX 5060Ti da 16GB, configurato per l'inference di Large Language Models (LLM) in un ambiente on-premise. La configurazione sfrutta una scheda madre MSI con supporto PCIe ...
Un recente dibattito online ha sollevato interrogativi sull'opportunità di utilizzare Ollama per il deployment di Large Language Models in ambienti on-premise. L'articolo esplora le considerazioni tecniche e operative che le aziende devono valutare, ...
La crescente adozione di Large Language Models (LLM) on-premise sta evidenziando la necessità di strumenti di orchestrazione, i cosiddetti 'harnesses'. La comunità tecnica, tramite piattaforme come Reddit e Discord, chiede spazi dedicati per discuter...
Nuove ottimizzazioni per il modello Qwen 27B hanno raddoppiato la velocità di generazione dei token e ridotto il consumo di VRAM da 21GB a 17.5GB, mantenendo l'accuratezza del contesto. Questi progressi, ottenuti sulla stessa configurazione hardware,...
L'integrazione del supporto EAGLE nel progetto open source `llama.cpp` rappresenta un'evoluzione significativa per l'esecuzione efficiente di Large Language Models in ambienti locali. Questa mossa rafforza la capacità del Framework di offrire soluzio...
Un utente si interroga sull'impatto della quantization nella scelta tra Qwen 3.6 35B-A3B in Q4 e Gemma 4 12B in Q8, su una configurazione con 32GB di memoria unificata. La discussione evidenzia come la riduzione della precisione dei modelli sia cruci...
L'interesse per l'intelligenza artificiale eseguita in locale sta crescendo esponenzialmente. Di fronte a questa tendenza, emerge la necessità di risorse chiare per chi si avvicina al deployment on-premise di Large Language Models. Una nuova guida si...
Un utente ha condiviso la sua esperienza con "Pi", un setup basato su LLM locali come Qwen3.6-27B. Questa configurazione ha quasi completamente sostituito soluzioni cloud come Claude Code per le sue esigenze quotidiane. Il sistema offre supporto per ...
Il modello Qwen 3.7 67B, disponibile su Hugging Face in formato GGUF con livelli di Quantization q6/q7, rappresenta una soluzione interessante per le aziende che cercano LLM personalizzati e controllati. Questa opzione favorisce deployment on-premise...
Unsloth ha reso disponibile su Hugging Face il modello MiniMax M3 nel formato GGUF. Questa mossa sottolinea l'importanza crescente delle soluzioni ottimizzate per l'inference locale di Large Language Models, fornendo agli architetti di infrastrutture...
Sono stati rilasciati i pesi del modello MiniMax-M3 su Hugging Face, un Large Language Model che vanta circa 428 miliardi di parametri totali, di cui 23 miliardi attivati. Questa disponibilità offre nuove opportunità e sfide per le aziende che consid...
