Topic / Trend Rising

Il Boom dell’AI On-Premise: Strumenti di Self-Hosting e Ottimizzazioni per LLM

Un’ondata di nuovi framework e tecniche di quantization (llama.cpp, Unsloth, Xberg, Orchard) consente di eseguire LLM avanzati su hardware locale, spingendo il passaggio dalle API cloud all’inference self-hosted per sovranità dei dati e controllo dei costi.

Detected: 2026-08-04 · Updated: 2026-08-04

Orchard: il framework open dove l’infrastruttura fa la differenza (e i modelli da 3B sfiorano i big)

Microsoft Research ha rilasciato Orchard, un framework open source basato su Kubernetes che permette a modelli compatti (3 miliardi di parametri attivi) di ottenere performance quasi-frontier su compiti di ingegneria del software, navigazione web e a...

#Hardware #Fine-Tuning #DevOps

2026-08-02 • LocalLLaMA

llama.cpp abbraccia MTP/DSpark: l’inference on-premise accelera su DeepSeek V4 Flash

Il runtime che alimenta milioni di LLM locali aggiunge il supporto alla predizione multi-token per il modello MoE di DeepSeek, azzerando la latenza e rafforzando la tesi del self-hosted come alternativa matura al cloud.

#Hardware #LLM On-Premise #Fine-Tuning

2026-08-02 • LocalLLaMA

Xberg v1: il framework Rust per un’intelligence documentale davvero locale

Il successore di Kreuzberg gestisce oltre 100 formati e 367 tipi di codice, con OCR multimotore e pipeline di estrazione layout-aware. I benchmark mostrano un vantaggio netto sui PDF nativi e un’architettura che sposta tutto on-premise: dai PDF agli ...

#LLM On-Premise #DevOps #RAG

2026-08-01 • LocalLLaMA

Unsloth porta Deepseek V4 in locale: il segnale che mancava per l’AI on-premise

Unsloth ha rilasciato i file GGUF per Deepseek V4, abilitando l’inference self-hosted su hardware consumer via llama.cpp e Ollama. La mossa ribalta il calcolo del TCO e la sovranità dei dati: l’AI on-premise diventa una scelta di design. AI-Radar ana...

2026-07-30 • LocalLLaMA

Inkling-Small: 1M token locali con 276B parametri, solo 12B attivi

Thinkingmachines ha rilasciato Inkling-Small, un LLM con 276 miliardi di parametri totali ma appena 12 miliardi attivi e una finestra di contesto di 1 milione di token. Grazie alla quantization NVFP4 e ai file GGUF di Unsloth, il modello si presta al...

#Hardware #LLM On-Premise #DevOps

2026-07-29 • LocalLLaMA

Kimi K3 on-prem: 4 t/s su 768GB DDR5 e 2x5090, e un decode che accelera da solo

L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...