La nuova versione di PyTorch, la 2.10, continua a migliorare il supporto per le GPU Intel e per lo stack di calcolo AMD ROCm. Ulteriori ottimizzazioni sono state implementate anche per le GPU NVIDIA CUDA. Questo aggiornamento si concentra sull'ottimizzazione delle prestazioni e sull'ampliamento della compatibilità hardware per la libreria di deep learning.
È disponibile per i test XDG-Desktop-Portal 1.21, l'ultima versione di questo servizio frontend per Flatpak. Tra le nuove funzionalità spiccano il supporto per le applicazioni Linyaps e un'impostazione per la riduzione del movimento, pensata per migliorare l'esperienza utente e l'accessibilità.
Una correzione per un problema relativo a GLM 4.7 Flash è stata integrata in llama.cpp. Parallelamente, è in corso lo sviluppo del supporto FA (Fused Attention) per CUDA, con l'obiettivo di migliorare ulteriormente le prestazioni e l'efficienza nell'utilizzo delle GPU NVIDIA per l'inferenza di modelli linguistici.
Il manutentore del popolare tool open-source Curl ha interrotto il programma di ricompense per bug, in seguito all'aumento di segnalazioni generate dall'intelligenza artificiale. L'iniziativa era diventata ingestibile a causa della difficoltà di valutare i contributi automatizzati. Il manutentore spera comunque in segnalazioni utili e promette di continuare a stigmatizzare quelle "sciocche".
È stata rilasciata la versione 0.14.0 di vLLM, un framework progettato per ottimizzare l'inferenza dei modelli linguistici di grandi dimensioni (LLM). Questa nuova versione promette miglioramenti nelle prestazioni e nell'efficienza, rendendo più agevole l'implementazione e l'utilizzo di questi modelli.
AMD ha introdotto un metodo più semplice per installare vLLM su hardware Radeon/Instinct tramite ROCm. Un nuovo wheel Python facilita l'installazione senza ricorrere a Docker, migliorando l'esperienza per gli sviluppatori che utilizzano GPU AMD per l'inferenza di modelli linguistici di grandi dimensioni (LLM).
Il progetto open-source LLVM ha definito una policy per l'integrazione di codice generato tramite intelligenza artificiale. I contributi sviluppati con l'ausilio di strumenti AI saranno accettati, a condizione che un umano esamini e approvi il codice prima della sua integrazione. L'obiettivo è garantire la qualità e la sicurezza del codice.
Il framework open-source Chainlit presenta due vulnerabilità che potrebbero compromettere seriamente gli ambienti cloud aziendali. Secondo Zafran, le falle sono facilmente sfruttabili e potrebbero portare alla perdita di dati o al controllo completo dei sistemi. Si raccomanda di aggiornare Chainlit all'ultima versione il prima possibile per mitigare i rischi.
Il supporto ufficiale per GLM 4.7 Flash è stato integrato in llama.cpp. Questa integrazione, segnalata su Reddit, permette agli sviluppatori di sfruttare al meglio le capacità di GLM 4.7 Flash all'interno dell'ambiente llama.cpp, aprendo nuove possibilità per l'inferenza e altre applicazioni di modelli linguistici.
La libreria llama.cpp ha integrato la Messages API di Anthropic, aprendo nuove possibilità per l'interazione con i modelli linguistici. Questa integrazione, annunciata su Reddit e Hugging Face, permette agli sviluppatori di sfruttare al meglio le capacità di llama.cpp per applicazioni avanzate di intelligenza artificiale generativa.
Intel ha rilasciato un aggiornamento per LLM Scaler Omni, focalizzato sulla generazione di immagini, audio e video tramite Omni Studio e Omni Serving. Questa release segue l'aggiornamento della scorsa settimana di Intel LLM-Scaler-vLLM, progettato per migliorare l'utilizzo di vLLM sulle schede grafiche Intel Arc, offrendo nuove opportunità per gli sviluppatori nel campo dell'intelligenza artificiale generativa.
Una serie di patch proposte per il kernel Linux introduce un tool di generazione SPDX SBOM. L'obiettivo è aumentare la trasparenza dei componenti software, migliorare la gestione delle vulnerabilità, garantire la conformità delle licenze e proteggere la supply chain del software.
Un nuovo studio introduce UOWQ, un framework teorico per il transfer learning multi-source. UOWQ ottimizza congiuntamente i pesi delle sorgenti e le quantità di trasferimento, affrontando il problema del trasferimento negativo. L'analisi dimostra che l'uso di tutti i campioni sorgente è ottimale con pesi adeguati e fornisce soluzioni per determinare i pesi ottimali. Gli esperimenti su benchmark reali confermano l'efficacia del framework.
È stato presentato cuda-nn, un motore di inferenza MoE (Mixture of Experts) sviluppato in Rust, Go e CUDA. Questo progetto open source si distingue per la sua capacità di gestire modelli con 6,9 miliardi di parametri senza l'ausilio di PyTorch, grazie a kernel CUDA ottimizzati e sviluppati manualmente. Supporta architetture MoE e MQA, offrendo binding Python per una maggiore flessibilità.
Un utente segnala un problema di consumo eccessivo di memoria con Chatterbox-TTS-Server durante la conversione di un PDF in audiolibro. Il processo, basato su una fast API wrapper, incrementa l'utilizzo della memoria da 3GB a oltre 8GB elaborando piccoli segmenti del libro.
Rilasciata la versione beta 26.01 di Shotcut, l'editor video cross-platform basato su Qt6. L'aggiornamento introduce nuove opzioni di decodifica hardware accelerate via GPU, con l'obiettivo di migliorare le prestazioni di questo software di video editing gratuito. I tecnici puntano a una maggiore velocità nell'elaborazione video.
Intel ha aggiornato LLM-Scaler-vLLM, un'iniziativa open source nata dal Project Battlematrix. Questo strumento, basato su Docker, facilita la distribuzione di carichi di lavoro di intelligenza artificiale generativa (GenAI) su schede grafiche Intel Battlemage. I miglioramenti continui ampliano il supporto a un numero sempre maggiore di modelli linguistici di grandi dimensioni (LLM).
È disponibile la versione 0.3.31 di OpenBLAS, una libreria open-source ottimizzata per Basic Linear Algebra Subprograms (BLAS). Questa release introduce nuove estensioni e miglioramenti significativi per architetture RISC-V e ARM64, offrendo prestazioni superiori per applicazioni che richiedono calcoli matematici intensivi. OpenBLAS continua a essere una scelta popolare per chi cerca una libreria BLAS ad alte prestazioni.
Un nuovo studio introduce un framework differenziabile che incorpora la struttura assiomatica dei modelli di utilità casuale (RUM) direttamente nelle reti neurali profonde. Il sistema utilizza un solutore Tree-Preconditioned Conjugate Gradient per una convergenza superlineare, superando i limiti dei metodi basati su penalità e consentendo modelli addestrabili, razionali e generalizzabili.
Anthropic ha presentato Cowork, una nuova funzionalità integrata nell'app desktop di Claude. Cowork permette agli utenti di designare cartelle specifiche dove Claude può leggere o modificare file, ricevendo istruzioni tramite la consueta interfaccia di chat. L'obiettivo è semplificare lo sviluppo di codice, rendendolo accessibile anche a chi non ha competenze di programmazione.