La comunità open-source accelera lo sviluppo di LLM leggeri, quantizzati e raffinati, rendendo l’IA potente accessibile per l’inference locale e riducendo la dipendenza da API cloud proprietarie.
La versione a 2 bit di GLM-5.2, ridotta da 1,51 TB a 238 GB, conserva circa l’82% dell’accuratezza. Ora eseguibile localmente su Mac con 256 GB di memoria unificata o sistemi con RAM/VRAM equivalenti, grazie al supporto in llama.cpp e Unsloth Studio....
Il team di North Mini Code rilascia una versione a 4 bit del modello su Hugging Face. Con circa 20 GB di memoria richiesta, il modello può girare su hardware locale tramite Ollama e runtime llama.cpp, oltre a essere accessibile via API OpenRouter. Un...
Z.ai ha reso disponibile in Open Source il suo modello GLM 5.2, generando entusiasmo nella community. Gli sviluppatori e le aziende attendono con interesse un successore della serie "Flash", con un range di parametri tra 27 e 120 miliardi, per ottimi...
Un recente aggiornamento di llama.cpp introduce la gestione completa dei modelli tramite API, consentendo il caricamento, lo scaricamento e la gestione del ciclo di vita degli LLM direttamente da un'interfaccia programmatica. Questa novità semplifica...
Il rilascio di GLM 5.2, un Large Language Model da 744 miliardi di parametri con licenza MIT, segna un'importante evoluzione per l'AI on-premise. Sebbene il modello completo richieda cluster di livello enterprise, il suo potenziale di distillazione e...
Il panorama dei Large Language Models (LLM) si arricchisce con l'arrivo di GLM-5.2, un nuovo modello rilasciato da zai-org. Questa novità si inserisce in un contesto dove le aziende valutano attentamente le opzioni di deployment, bilanciando performa...
Un nuovo LLM open-weights, Qwable-v1, è stato rilasciato, derivato dal controverso Claude Fable-5 di Anthropic. Distillato su una singola GPU H200, offre capacità di coding agentico e tool-use, con GGUF disponibili per deployment on-premise, sollevan...
Il framework `llama.cpp` ha recentemente integrato il supporto per i Large Language Models Command A Plus e North Mini Code. Grazie al contributo della community, sono stati resi disponibili i file GGUF per Command A Plus, facilitando l'esecuzione ef...
L'integrazione del supporto EAGLE nel progetto open source `llama.cpp` rappresenta un'evoluzione significativa per l'esecuzione efficiente di Large Language Models in ambienti locali. Questa mossa rafforza la capacità del Framework di offrire soluzio...
Un recente sondaggio su X, condotto da z.ai, rivela un calo di supporto per i Large Language Models con pesi aperti distribuiti sotto licenza MIT. Con 1.800 voti e poche ore alla chiusura, il risultato preliminare suggerisce una potenziale evoluzione...
L'affermazione che l'AI open source debba prevalere riflette una crescente esigenza delle aziende di mantenere controllo, sovranità dei dati e trasparenza sui propri carichi di lavoro di intelligenza artificiale. Questo approccio è cruciale per chi v...
L'aumento vertiginoso dei costi legati all'intelligenza artificiale sta spingendo le aziende a riconsiderare le proprie strategie di deployment. Con le sottoscrizioni ai servizi LLM basati su cloud che raggiungono un "muro dei prezzi", un numero cres...
