Lo stack di inference locale si sta consolidando attorno a llama.cpp, Unsloth e Ollama, con nuove ottimizzazioni e strumenti che rendono il deployment self-hosted di LLM accessibile e performante.
Una pull request elimina il round-trip CPU-GPU per il sampling MTP in llama.cpp. Su una RTX 5090 il guadagno sfiora l’8%, su una Tesla P40 è del 4% a causa della banda memoria ridotta. Un miglioramento netto senza costi aggiuntivi per chi fa inferenc...
Una domanda su Reddit sul passaggio a llama.cpp rivela molto più di un cambio di interfaccia: è il momento in cui l’inference locale passa dall’esplorazione individuale a stack pronti per l’azienda, con controllo, riproducibilità e automazione.
L'app self-hosted che ha costruito la reputazione di LM Studio viene oscurata dal nuovo agente Bionic. Dietro il silenzio degli sviluppatori e gli aggiornamenti scarsi, si intravede una tensione strutturale tra strumenti locali gratis e monetizzazion...
Microsoft Research ha rilasciato Orchard, un framework open source basato su Kubernetes che permette a modelli compatti (3 miliardi di parametri attivi) di ottenere performance quasi-frontier su compiti di ingegneria del software, navigazione web e a...
Il runtime che alimenta milioni di LLM locali aggiunge il supporto alla predizione multi-token per il modello MoE di DeepSeek, azzerando la latenza e rafforzando la tesi del self-hosted come alternativa matura al cloud.
Il successore di Kreuzberg gestisce oltre 100 formati e 367 tipi di codice, con OCR multimotore e pipeline di estrazione layout-aware. I benchmark mostrano un vantaggio netto sui PDF nativi e un’architettura che sposta tutto on-premise: dai PDF agli ...
Unsloth ha rilasciato i file GGUF per Deepseek V4, abilitando l’inference self-hosted su hardware consumer via llama.cpp e Ollama. La mossa ribalta il calcolo del TCO e la sovranità dei dati: l’AI on-premise diventa una scelta di design. AI-Radar ana...
La disponibilità dei file GGUF per Deepseek V4 0731 tramite Unsloth segna un passo avanti per chi vuole eseguire modelli di frontiera su hardware proprio, aggirando il cloud. Una mossa che ridefinisce gli equilibri tra potenza computazionale e sovran...
