📁 Frameworks

Nvidia ha incrementato di tre volte le consegne di codice internamente, grazie all'adozione di una versione specializzata di Cursor. Oltre 30.000 tecnici Nvidia utilizzano questo strumento per migliorare la loro produttività nello sviluppo di software.

L'integrazione di GLM-5 nel framework Transformers di Hugging Face suggerisce un imminente rilascio del modello. Indizi puntano a una possibile implementazione sotto copertura di GLM-5, denominata Pony Alpha, sulla piattaforma OpenRouter. Questo sviluppo potrebbe ampliare le opzioni per chi cerca soluzioni LLM self-hosted.

Indiscrezioni sul prossimo modello linguistico GLM-5 emergono da una pull request relativa a vLLM, un framework per l'inference di LLM. La notizia, diffusa inizialmente su Reddit, suggerisce che il nuovo modello potrebbe presto essere integrato e disponibile per la comunità open source.

Un nuovo metodo di decodifica, RMCD, migliora i Large Vision Language Models (LVLM) integrando contesti multipli da knowledge base esterne. RMCD pesa i contesti in base alla loro rilevanza, aggregando informazioni utili ed attenuando gli effetti negativi di contesti irrilevanti. RMCD surclassa altri metodi di decodifica su benchmark di visual question answering.

Un nuovo framework, EVE, affronta i limiti degli LLM nel fornire risposte complete e fedeli basate su un singolo documento. EVE utilizza un approccio strutturato che migliora significativamente il richiamo, la precisione e l'F1-score, superando il compromesso tra copertura e accuratezza tipico della generazione LLM standard.

Un nuovo studio introduce NanoNet, un framework per il text mining che mira a ridurre i costi computazionali e i requisiti di supervisione tramite l'apprendimento con parametri efficienti e la distillazione della conoscenza online. L'obiettivo è ottenere modelli leggeri ad inference rapida, adatti a scenari con risorse limitate.

Ricercatori propongono Jackpot, un framework per il reinforcement learning (RL) con LLM. Jackpot utilizza un campionamento di reiezione con budget ottimale (OBRS) per ridurre la discrepanza tra il modello di rollout e la policy in evoluzione, migliorando la stabilità e l'efficienza dell'addestramento. I risultati mostrano prestazioni paragonabili all'RL on-policy con Qwen3-8B-Base.

Un utente segnala difficoltà di configurazione e usabilità con Open WebUI, in particolare nella gestione dei tool. La discussione si concentra sulla ricerca di alternative che offrano un'esperienza utente più intuitiva e meno complessa per l'interazione con modelli LLM.

L'integrazione del supporto per il modello linguistico Qwen3.5 in llama.cpp è stata completata. Questa aggiunta permette di eseguire e sperimentare con Qwen3.5 direttamente su hardware locale, aprendo nuove possibilità per sviluppatori e ricercatori interessati all'inference on-premise.

Un appassionato ha sviluppato uno strumento per visualizzare l'architettura interna dei modelli linguistici di grandi dimensioni (LLM) salvati in formato .gguf. L'obiettivo è rendere più trasparente la struttura di questi modelli, tradizionalmente considerati "scatole nere". Il tool permette di esplorare layer, neuroni e connessioni interne.

Un utente ha segnalato su Reddit un'attività in corso su GitHub relativa a miglioramenti per llama.cpp, un framework per l'inference di modelli linguistici di grandi dimensioni. I dettagli specifici dei miglioramenti non sono forniti, ma l'attività suggerisce uno sviluppo attivo del progetto.

Llama3pure offre agli sviluppatori motori di inference machine learning leggeri e senza dipendenze, utilizzabili in C, Node.js e JavaScript. Ideale per chi vuole comprendere meglio l'inference su hardware locale, il progetto mira a fornire un'alternativa semplice e diretta.

Un utente ha riscontrato miglioramenti significativi nelle prestazioni di Qwen3-Coder-Next utilizzando l'opzione "--fit" in Llama.cpp su una configurazione dual RTX 3090. I risultati indicano un potenziale incremento di velocità rispetto all'opzione "--ot". L'analisi è stata effettuata con il modello UD_Q4_K_XL di Unsloth e la versione b7941 di Llama.cpp.

Un ingegnere di Microsoft sta sviluppando un meccanismo di ripristino KMS per i driver video Linux. L'obiettivo è migliorare la stabilità del sistema grafico, permettendo ai driver di recuperare automaticamente in caso di errori. Il lavoro è guidato da Hamza Mahfooz, ex AMD.

Sono state rilasciate le versioni di Kimi-Linear-48B-A3B e Step3.5-Flash compatibili con llama.cpp. Al momento non sono ancora disponibili i file GGUF ufficiali, ma la community sta già lavorando alla loro creazione. La disponibilità di questi modelli amplia le opzioni per l'inference locale.

Geodesic Attention Engine (GAE) è un kernel open-source che promette di ridurre drasticamente il consumo di memoria per modelli di linguaggio di grandi dimensioni. Con GAE, è possibile gestire 1 milione di token con solo 1GB di VRAM, ottenendo un risparmio energetico significativo e mantenendo la precisione.

È disponibile la versione 25.3.5 di Mesa, che include correzioni per il driver Vulkan e altri miglioramenti minori. Questa release rappresenta l'ultima versione stabile prima dell'arrivo imminente di Mesa 26.0.

DeepRead è un nuovo agente che sfrutta la struttura dei documenti per migliorare la ricerca e il question answering. Utilizza un modello OCR basato su LLM per convertire i PDF in Markdown strutturato, preservando intestazioni e paragrafi. L'agente è dotato di strumenti di recupero e lettura che operano a livello di paragrafo, migliorando significativamente le prestazioni rispetto agli approcci tradizionali.

Un ricercatore di 1Password ha scoperto che una skill OpenClaw molto scaricata era in realtà una catena di consegne di malware. La skill, che prometteva l'integrazione con Twitter, guidava gli utenti a eseguire comandi offuscati che installavano malware per macOS in grado di rubare credenziali e dati sensibili. Si raccomanda cautela nell'utilizzo di OpenClaw e di trattare gli utilizzi precedenti come potenziali incidenti di sicurezza.

Gli utenti di WordPress possono ora utilizzare Claude per analizzare il traffico web e ottenere informazioni dettagliate sulle metriche interne del sito. Questa nuova integrazione semplifica l'accesso ai dati e l'ottimizzazione delle prestazioni.