📁 Frameworks

Un utente segnala difficoltà di configurazione e usabilità con Open WebUI, in particolare nella gestione dei tool. La discussione si concentra sulla ricerca di alternative che offrano un'esperienza utente più intuitiva e meno complessa per l'interazione con modelli LLM.

L'integrazione del supporto per il modello linguistico Qwen3.5 in llama.cpp è stata completata. Questa aggiunta permette di eseguire e sperimentare con Qwen3.5 direttamente su hardware locale, aprendo nuove possibilità per sviluppatori e ricercatori interessati all'inference on-premise.

Un appassionato ha sviluppato uno strumento per visualizzare l'architettura interna dei modelli linguistici di grandi dimensioni (LLM) salvati in formato .gguf. L'obiettivo è rendere più trasparente la struttura di questi modelli, tradizionalmente considerati "scatole nere". Il tool permette di esplorare layer, neuroni e connessioni interne.

Un utente ha segnalato su Reddit un'attività in corso su GitHub relativa a miglioramenti per llama.cpp, un framework per l'inference di modelli linguistici di grandi dimensioni. I dettagli specifici dei miglioramenti non sono forniti, ma l'attività suggerisce uno sviluppo attivo del progetto.

Llama3pure offre agli sviluppatori motori di inference machine learning leggeri e senza dipendenze, utilizzabili in C, Node.js e JavaScript. Ideale per chi vuole comprendere meglio l'inference su hardware locale, il progetto mira a fornire un'alternativa semplice e diretta.

Un utente ha riscontrato miglioramenti significativi nelle prestazioni di Qwen3-Coder-Next utilizzando l'opzione "--fit" in Llama.cpp su una configurazione dual RTX 3090. I risultati indicano un potenziale incremento di velocità rispetto all'opzione "--ot". L'analisi è stata effettuata con il modello UD_Q4_K_XL di Unsloth e la versione b7941 di Llama.cpp.

Un ingegnere di Microsoft sta sviluppando un meccanismo di ripristino KMS per i driver video Linux. L'obiettivo è migliorare la stabilità del sistema grafico, permettendo ai driver di recuperare automaticamente in caso di errori. Il lavoro è guidato da Hamza Mahfooz, ex AMD.

Sono state rilasciate le versioni di Kimi-Linear-48B-A3B e Step3.5-Flash compatibili con llama.cpp. Al momento non sono ancora disponibili i file GGUF ufficiali, ma la community sta già lavorando alla loro creazione. La disponibilità di questi modelli amplia le opzioni per l'inference locale.

Geodesic Attention Engine (GAE) è un kernel open-source che promette di ridurre drasticamente il consumo di memoria per modelli di linguaggio di grandi dimensioni. Con GAE, è possibile gestire 1 milione di token con solo 1GB di VRAM, ottenendo un risparmio energetico significativo e mantenendo la precisione.

È disponibile la versione 25.3.5 di Mesa, che include correzioni per il driver Vulkan e altri miglioramenti minori. Questa release rappresenta l'ultima versione stabile prima dell'arrivo imminente di Mesa 26.0.

DeepRead è un nuovo agente che sfrutta la struttura dei documenti per migliorare la ricerca e il question answering. Utilizza un modello OCR basato su LLM per convertire i PDF in Markdown strutturato, preservando intestazioni e paragrafi. L'agente è dotato di strumenti di recupero e lettura che operano a livello di paragrafo, migliorando significativamente le prestazioni rispetto agli approcci tradizionali.

Un ricercatore di 1Password ha scoperto che una skill OpenClaw molto scaricata era in realtà una catena di consegne di malware. La skill, che prometteva l'integrazione con Twitter, guidava gli utenti a eseguire comandi offuscati che installavano malware per macOS in grado di rubare credenziali e dati sensibili. Si raccomanda cautela nell'utilizzo di OpenClaw e di trattare gli utilizzi precedenti come potenziali incidenti di sicurezza.

Gli utenti di WordPress possono ora utilizzare Claude per analizzare il traffico web e ottenere informazioni dettagliate sulle metriche interne del sito. Questa nuova integrazione semplifica l'accesso ai dati e l'ottimizzazione delle prestazioni.

Un ingegnere di IBM ha proposto una libreria di machine learning (ML-LIB) per il kernel Linux. L'obiettivo è integrare modelli di ML direttamente nel kernel per ottimizzare le performance del sistema e abilitare nuove funzionalità. La proposta è attualmente in fase di richiesta di commenti (RFC).

Hugging Face introduce repository di benchmark per valutazioni di modelli LLM basate sulla comunità. L'iniziativa mira a risolvere le incongruenze nei risultati dei benchmark, consentendo agli utenti di contribuire con valutazioni e collegare direttamente i modelli alle leaderboard. I risultati verificati tramite job automatizzati aumentano la trasparenza.

La libreria llama.cpp ha integrato il supporto per Kimi-Linear, una tecnica che promette di migliorare le prestazioni dei modelli linguistici. L'integrazione è stata resa possibile grazie a una pull request su GitHub, aprendo nuove possibilità per l'inference efficiente.

Un nuovo framework, ENCOMPASS, separa la logica di flusso di lavoro degli agenti AI dalle strategie di inference. Questo approccio, sviluppato da Asari AI, MIT CSAIL e Caltech, mira a ridurre il debito tecnico e migliorare le prestazioni, consentendo una gestione più efficiente dell'imprevedibilità dei modelli LLM e una maggiore scalabilità.

Gli sviluppatori del toolkit GTK si sono incontrati a Bruxelles durante la settimana del FOSDEM per il loro annuale hackfest. Tra i principali obiettivi di quest'anno figurano il miglioramento del supporto per il salvataggio delle sessioni e l'accessibilità.

Apple ha annunciato l'integrazione di agenti di intelligenza artificiale direttamente in Xcode, il suo ambiente di sviluppo integrato (IDE). L'obiettivo è quello di migliorare la produttività degli sviluppatori, automatizzando alcune fasi del processo di sviluppo e fornendo assistenza contestuale durante la scrittura del codice.

Un utente condivide un'immagine relativa all'ottimizzazione dell'inference di modelli linguistici di grandi dimensioni (LLM) tramite DeepSpeed. L'immagine suggerisce un'analisi delle prestazioni e delle configurazioni per migliorare la velocità e l'efficienza nell'esecuzione di questi modelli.