Un movimento crescente per eseguire modelli linguistici di grandi dimensioni su hardware locale consumer e aziendale, spinto da preoccupazioni di sovranità dati, privacy e costi. Nuove tecniche come l'inference su SSD, il compositing multi-GPU e la quantization rendono i modelli di frontiera accessibili in self-hosting.
Una ricerca su GMM e LLM per il clustering su dati sbilanciati mostra che la generazione di documenti sintetici non è più solo per l’addestramento nel cloud. Quando i dati sono sensibili (sanità, finanza, legale), l’augmentation deve restare on-premi...
Un nuovo metodo combina modelli di mistura gaussiana e LLM per arricchire i cluster sottorappresentati nei testi. Funziona senza supervisione e migliora l’interpretabilità, segnando un passo avanti per chi gestisce dati sensibili on-premise.
Un nuovo orchestratore sfrutta le differenze di banda tra NVLink, InfiniBand e TCP, più la memoria condivisa CXL 3.0, per ridurre la latenza di trasferimento della cache KV fino a 18x. Un segnale strutturale per chi costruisce cluster on-premise.
Un utente mostra un sistema con 12 NVMe da 3,2 TB, 256 GB di RAM e CPU Threadripper per ospitare modelli enormi come l’ipotetico Le Chaton FAT. Una configurazione che riapre il dibattito sull’inference locale senza GPU di fascia alta, puntando tutto ...
Il runtime che alimenta milioni di LLM locali aggiunge il supporto alla predizione multi-token per il modello MoE di DeepSeek, azzerando la latenza e rafforzando la tesi del self-hosted come alternativa matura al cloud.
Il successore di Kreuzberg gestisce oltre 100 formati e 367 tipi di codice, con OCR multimotore e pipeline di estrazione layout-aware. I benchmark mostrano un vantaggio netto sui PDF nativi e un’architettura che sposta tutto on-premise: dai PDF agli ...
Una segnalazione su Reddit mette in guardia gli utenti di DeepSeek-V4-Flash: il template di chat non supporta messaggi di sistema inframezzati. Ogni messaggio viene issato in cima, invalidando la cache del prefisso e aumentando costi e latenza, anche...
Le ottimizzazioni di KWin sulla gestione di più GPU in KDE Plasma 6.8 non sono una semplice miglioria grafica: abbattono la frizione tra rendering desktop e carichi di inference locali, rendendo le workstation Linux un ambiente più efficiente e diret...
Gli sviluppi di KWin per Plasma 6.8 promettono maggiore efficienza nella gestione di più GPU ed eGPU. Un miglioramento che, oltre il desktop, riduce la contesa di risorse e rende più fluide le pipeline di inference e training LLM su Linux. Ecco perch...
Unsloth ha rilasciato i file GGUF per Deepseek V4, abilitando l’inference self-hosted su hardware consumer via llama.cpp e Ollama. La mossa ribalta il calcolo del TCO e la sovranità dei dati: l’AI on-premise diventa una scelta di design. AI-Radar ana...
La disponibilità dei file GGUF per Deepseek V4 0731 tramite Unsloth segna un passo avanti per chi vuole eseguire modelli di frontiera su hardware proprio, aggirando il cloud. Una mossa che ridefinisce gli equilibri tra potenza computazionale e sovran...
Un nuovo modello di MiniMax è atteso nei prossimi giorni. Dietro la frenesia dei lanci cinesi si legge un disegno preciso: spingere gli LLM verso deployment on-premise, dove sovranità dei dati e hardware domestico dettano le regole del gioco.
thinkingmachines ha rilasciato Inkling-Small, un LLM a mistura di esperti con 276 miliardi di parametri e soli 12 miliardi attivi, finestra di contesto da 1 milione di token e quantizzazioni NVFP4 e GGUF. L'analisi AI-RADAR mette a fuoco il nodo nasc...
Un paper valuta architetture transformer ricorsive per simulazioni termo-meccaniche nei semiconduttori. Risultato: condividere i pesi in profondità riduce overfitting e FLOPs, un vantaggio diretto per chi esegue modelli su hardware limitato e vuole m...
Thinkingmachines ha rilasciato Inkling-Small, un LLM con 276 miliardi di parametri totali ma appena 12 miliardi attivi e una finestra di contesto di 1 milione di token. Grazie alla quantization NVFP4 e ai file GGUF di Unsloth, il modello si presta al...
In piena corsa all’intelligenza artificiale, LinkedIn decide di non espandere i propri data center nel prossimo anno, puntando invece sull’ottimizzazione delle risorse di calcolo esistenti. Gli ingegneri dovranno far fruttare ogni GPU al massimo dell...
Un utente acquista una RTX 5090 per addestrare modelli in locale e liberarsi dalle API cloud. Passa a due RTX 6000 Pro per gestire modelli da 100B parametri, salvo poi accorgersi che la maggior parte dei compiti quotidiani girava già sulla sola 5090....
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
La PyTorch Foundation invita la community a disegnare la spilla per la conferenza 2026. Dietro un'iniziativa apparentemente leggera si nasconde un tassello strategico: il branding e la partecipazione attiva cementano la comunità open source che rende...
CORVUS è una nuova architettura per le traiettorie degli agenti di coding basati su LLM che separa le azioni di lettura dei file dai loro snapshot, mantenendo un registro sincronizzato. In questo modo elimina copie ridondanti e dati obsoleti, riducen...
OpenAI smette di permettere a ChatGPT di imitare esplicitamente lo stile di autori famosi, vivi o morti. Segnale di pressioni legali crescenti: per chi cerca controllo creativo senza filtri, il self-hosted diventa un'alternativa sempre più concreta.
Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...
La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...
