📖 AI-Radar · 2026-W37

llama.cpp, MCP e FreeCAD: un LLM locale che progetta geometrie

Una guida mostra come collegare llama.cpp, il protocollo MCP e FreeCAD per generare solidi con un modello locale. Il flusso usa Qwen3.8-27B quantizzato Q4_K_M e un proiettore visivo mmproj-F16: il modello può avviare tool, leggere screenshot e verificare la geometria. Tutto resta sulla macchina. Per il CAD on-premise, il loop agente-strumento interamente locale diventa uno scenario concreto, con i file che non lasciano il perimetro aziendale.

07 Sep #Hardware #LLM On-Premise

Rustls 0.23.44 attiva i certificati post-quantum ML-DSA di default

La versione 0.23.44 di Rustls abilita di default i certificati ML-DSA, portando l'autenticazione post-quantum da opzione a impostazione standard. Per chi gestisce endpoint TLS self-hosted davanti a servizi LLM, il cambiamento riduce la necessità di configurazioni manuali, ma sposta la pressione su tooling per CA private, HSM e client legacy. Un segnale strutturale: la migrazione post-quantum entra nel ciclo di vita ordinario delle librerie.

07 Sep #LLM On-Premise #DevOps

A Bengaluru la sfida è passare da utenti a costruttori di sistemi ML

Oltre 170 tra studenti, ingegneri e ricercatori hanno partecipato all'evento Red Hat-Hugging Face a Bengaluru. Al centro profiling, inference, ambienti RL, training distribuito e comunicazione GPU. Il messaggio: l'India non deve restare solo un mercato di consumo AI, ma entrare nel core stack open source.

07 Sep #Hardware #LLM On-Premise #Fine-Tuning

Astra e LLM open source: il divario vero è nell’orchestrazione

Un post su Reddit chiede quando i LLM open source raggiungeranno Astra. Il segnale non riguarda i pesi del modello, ma l'infrastruttura: pipeline multimodale, runtime di inference, memoria e orchestrazione. Per chi valuta stack on-premise, il divario si traduce in trade-off tra controllo, latenza e TCO. L'open source può competere su compiti specifici, ma l'esperienza integrata richiede investimenti coordinati. AI-Radar analizza le implicazioni per deployment locali e sovranità dei dati.

07 Sep

Un benchmark su 25 pasti mostra che per le calorie non vince il modello più grande

Un test su 25 pasti tratti da Nutrition5k mette a confronto sette LLM multimodali nella stima calorica, con soglia di errore al 20%. Muse Spark 1.3, con pesi aperti, raggiunge il 48%, mentre Qwen 3.8 27B si ferma al 16%. La classifica non segue la taglia dei modelli: un segnale utile per chi valuta hardware consumer e deployment ibrido.

07 Sep #Hardware #LLM On-Premise #Fine-Tuning

Open source LLM e Astra: il divario che la community osserva

Una domanda comparsa su Reddit riapre il confronto tra assistenti proprietari multimodali e LLM open source. Senza benchmark, resta la percezione di un ritmo AI difficile da seguire. Per chi valuta stack locali, il nodo non è solo il modello, ma integrazione, latenza e infrastruttura on-premise.

07 Sep #Hardware #LLM On-Premise #DevOps