L'open source diventa operativo più che retorico: driver NPU Mesa, supporto vendor per llama.cpp, policy del kernel Linux per le patch AI e obiettivi di migrazione pubblici portano l'AI sovrana dai titoli alla pratica.
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restan...
Cohere ha annunciato l'integrazione dell'encoder visivo di North Micro Vision Instruct in llama.cpp. Tutte le architetture recenti dell'azienda diventano così compatibili con il runtime locale, mentre Cohere Transcribe arriva in Unsloth per il fine-t...
Il thread bisettimanale di r/LocalLLaMA chiede ai creatori di presentare progetti open source e ospitabili in locale, spiegando perché dovrebbero interessare, come si confrontano con le alternative e come sono stati testati. Più che una vetrina, è un...
Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più ...
Al Summit Europe l'attenzione va a GPU e AI, ma la parte più concreta viene dai piani di conformità CRA, metriche OSPO e obiettivi di migrazione come il 70% open source di Berlino entro il 2032. La burocrazia diventa infrastruttura.
Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar l...
Lo stack open source Mesa estende il supporto NPU: il lavoro di Tomeu Vizoso introduce YOLOX via PyTorch, portando modelli di object detection su acceleratori neurali senza SDK proprietari. Il segnale strutturale è un driver condiviso che riduce lock...
Gli sviluppatori del kernel Linux stanno valutando di eliminare il tag Assisted-by per le patch che usano LLM. La motivazione è l'uso ormai pervasivo dell'AI nel codice. La mossa semplifica il lavoro dei contributori ma sposta il peso della verifica ...
