Aziende e appassionati abbandonano le API cloud per il deployment locale, spinti da modelli linguistici ridotti, hardware edge e progressi nella quantization che garantiscono sovranità dei dati, minore latenza e indipendenza dal vendor lock-in.
Un utente acquista una RTX 5090 per addestrare modelli in locale e liberarsi dalle API cloud. Passa a due RTX 6000 Pro per gestire modelli da 100B parametri, salvo poi accorgersi che la maggior parte dei compiti quotidiani girava già sulla sola 5090....
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
OpenAI smette di permettere a ChatGPT di imitare esplicitamente lo stile di autori famosi, vivi o morti. Segnale di pressioni legali crescenti: per chi cerca controllo creativo senza filtri, il self-hosted diventa un'alternativa sempre più concreta.
La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...
La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...
Una domanda su Reddit apre un dibattito pratico: chi utilizza modelli di linguaggio di piccole dimensioni e per quali scopi? La discussione svela un ecosistema in rapida maturazione, dove l'efficienza computazionale e la sovranità dei dati contano pi...
Geekbench 7 arriva con una revisione radicale di punteggi e test. L’impatto sugli acquisti hardware per inference e training LLM potrebbe essere più profondo del previsto, specie in ambienti dove si valuta ogni watt e ogni gigabyte di banda memoria.
Un nuovo paper introduce la quantization “statisticamente senza perdita” (SLQ), che garantisce la qualità dell’output in termini probabilistici senza sacrificare la velocità. Definisce tre livelli di fedeltà e mostra che già sotto i 4 bit si preserva...
Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...
La patch per il driver DRM di Imagination Technologies rende la GPU BXM-4-64 MC1 compatibile con il kernel Linux 7.3. Un passo tecnico che segnala una tendenza più ampia: hardware diversificato ottiene supporto nativo, abbassando le barriere per cari...
Uno studio su DeepSeek mostra che i LLM valutano la scrittura premiando struttura e voce, non il lessico. Questo ha implicazioni profonde per chi fa inference locale: quantization aggressiva, scelta dell'hardware e fine-tuning devono tenere conto del...
Uno studio su DeepSeek e Qwen QwQ estrae la teoria implicita di qualità letteraria dei modelli: contano struttura e voce, non il lessico. Accuratezza del 79,3% nella classificazione, con potenziali distorsioni da riconoscimento della fonte. Per i car...
Un tool gratuito su GitHub aggira il blocco che impedisce ai clienti ChatGPT Business ed Enterprise di esportare le conversazioni di workspace. Il caso mette a nudo un attrito strutturale: il controllo sui dati è negoziato, non garantito, quando l'LL...
Geekbench 7 introduce benchmark AI, carichi multimediali realistici e supporto CUDA. Non più solo numeri sintetici, ma metriche che contano per chi esegue LLM in locale. Un segnale che il benchmarking evolve verso l’era dell’inference on-premise.
Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.
