Un numero crescente di aziende e sviluppatori sta spostando l'inference AI su hardware locale, sfruttando modelli open source, tecniche di quantization e dispositivi edge per ottenere controllo su dati, latenza e costi.
Un utente racconta che il modello Qwen 3.6 35B A3B, usato per coding e pianificazione tecnica, funziona senza intoppi se c'è una disciplina di lavoro solida. È il segnale che i LLM on-premise sono maturi e la vera partita ora si gioca sul processo, n...
Il round Serie A guidato da BGF segna una scommessa sull’AI adattiva per il controllo in tempo reale di macchine fisiche. Neuroplasticità ed esecuzione locale spostano il baricentro dal cloud all’edge, con ricadute su latenza, sovranità dei dati e re...
Il round Series A guidato da BGF punta su reti neurali sparse che si adattano al volo nei motori industriali, con un occhio a droni e robotica. Un segnale per chi progetta AI fisica on-premise: meno dipendenza dal cloud, più controllo sui dati.
Un utente segnala un balzo prestazionale usando Multi-Token Prediction con Qwen 27B. La tecnica, che prevede più token a passo, promette di cambiare l'economia dell'inference on-premise, rendendo fruibili modelli di fascia media senza hardware aggiun...
Dallo scanner farmaceutico che gira su uno smartphone alle reti neurali su Arduino a 3 watt: i piccoli modelli AI stanno portando capacità di inference ovunque, senza dipendere da datacenter. Il World Bank spinge questa tendenza, ma dietro c’è un cam...
AMD inizia a spedire il Ryzen AI Halo, un mini PC basato su Strix Halo con stack software completamente open source. Un passo concreto per chi cerca deployment on-premise di LLM senza vincoli proprietari.
L’esperimento di un utente dimostra che un LLM da 27B quantizzato a Q8 può servire contesti fino a 115.000 token su una GPU consumer con 32 GB di VRAM, grazie alla quantization selettiva della cache chiave-valore. I compromessi tra memoria, velocità ...
Un ricercatore indipendente ha costruito un modello linguistico custom con architettura Transformer ottimizzata per l'esecuzione in locale. Rotary Positional Embeddings, RMSNorm, SwiGLU e grouped query attention compongono un decoder autoregressivo c...
Test sul campo con una RTX 6000 Pro 96 GB mostrano che la quantization FP8 offre il miglior equilibrio tra velocità di generazione e stabilità. L'NVFP4 spinge i token al massimo ma introduce instabilità in modalità agente, mentre BF16 è più lento. vL...
Un utente mostra come spingere la finestra di contesto di Qwen3.6-27B a 8 bit fino a 115.000 token su una singola GPU con 32 GB di VRAM, quantizzando la cache KV a diversi livelli. I benchmark su speculative decoding rivelano trade-off tra lunghezza ...
La community dei maker AI celebra la potenza della NVIDIA RTX 3090: un utente condivide la sua esperienza nell’eseguire il modello Qwen 27B con una finestra di contesto di 200.000 token, utilizzando la configurazione ‘club 3090’ disponibile su GitHub...
Meituan ha rilasciato i pesi di Longcat 2 nelle varianti INT8 e FP8. Per chi gestisce LLM in locale, la disponibilità di modelli già quantizzati riduce la barriera hardware e i costi di inference, mantenendo un buon equilibrio fra prestazioni e consu...
Un benchmark indipendente mostra che DeepSeek V4 Flash eseguito in locale su due GPU RTX PRO 6000 con vLLM completa task di coding in circa 2 minuti, contro i 6 minuti di Sonnet 5 via API, con qualità paragonabile. Opus e Fable restano superiori per ...
Uno sviluppatore ha creato una patch CUDA per llama.cpp che permette a DeepSeek V4 Flash di operare con un contesto di un milione di token su una singola RTX 5090, riducendo la VRAM necessaria da circa 256 GB a soli 31 GB e raggiungendo velocità di p...
Un weekend di sviluppo su Galaxy S25 Ultra con Snapdragon ha mostrato applicazioni che sfruttano ExecuTorch per girare in locale. SafeScreen AI, SixthSense e Toddle AI dimostrano che latenza, privacy e autonomia sono il vero vantaggio competitivo del...
Un post di gratitudine su Reddit svela un progresso tecnico: le ultime release di vLLM eliminano i bug di allocazione memoria, permettendo a Qwen2.5 7B di operare con 240.000 token su una RTX 5090, contro i 120.000 precedenti. Un esempio di come l’op...
Un utente in migrazione verso Linux chiede se Ubuntu garantisca la massima compatibilità con stack di AI locale come vLLM, llama.cpp e ComfyUI. AI-RADAR esplora i fattori che contano davvero: driver GPU, supporto CUDA/ROCm, gestione dei pacchetti e a...
Il nuovo SenseNova-U1-8b-MoT-Infographic-V2 eccelle nella generazione e modifica di infografiche. Rilasciato con licenza Apache 2.0, supera l’unico rivale Ideogram 4 grazie alla libertà di deployment. Richiede fino a 36 GB di VRAM, ma versioni quanti...
Un utente mostra come ha installato due RTX 3090 in un case aperto stampando in 3D un supporto per il radiatore. L’assemblaggio, oltre all’effetto scenico, permette di eseguire in locale modelli come Qwen 27B. Per chi valuta deployment on-premise, è ...
Un utente valuta l'acquisto di quattro GPU Ascend GX10 per eseguire modelli open-source con finestre di contesto a 128k token. I test con GLM5.2 mostrano circa 15 tok/s in output, sufficienti con quantization, e consumo di 1000W. Una scelta che riacc...
Il Giappone intensifica gli sforzi per blindare la catena di fornitura dei chip legacy. Questa mossa strategica è cruciale non solo per l'industria tradizionale, ma anche per garantire stabilità e prevedibilità nei deployment AI on-premise, dove la d...
Una recente implementazione ha introdotto la Multi-Token Prediction (MTP) per i modelli Qwen su LLaMA.cpp, integrando TurboQuant. Questo sviluppo ha portato a un aumento del 40% nelle performance di inference, raggiungendo 34 token/s su un MacBook Pr...
Un utente ha dimostrato la crescente fattibilità dei Large Language Models (LLM) eseguiti localmente, ottenendo prestazioni notevoli con un setup "budget" basato su due GPU Nvidia RTX 3090 e 48 GB di VRAM. Il progetto "club-3090" ha permesso di super...
Taiwan sta pianificando l'introduzione di un mercato spot per l'energia verde entro il 2027. L'obiettivo è gestire l'eccesso di produzione da fonti rinnovabili. Questa iniziativa, sebbene focalizzata sul settore energetico, può avere implicazioni sig...
Un recente benchmark dimostra come le GPU AMD MI50s del 2018 possano gestire l'Inference del modello Qwen 3.6 27B con prestazioni notevoli. I test, condotti senza Quantization e con Tensor Parallelism, evidenziano un throughput di 52.8 token al secon...
Nuove immagini Docker per llama.cpp semplificano il deployment di modelli Multi-Token Prediction (MTP) su infrastrutture locali. La community ha rilasciato versioni compatibili con diverse architetture hardware, da CUDA a ROCm, affrontando le sfide d...
TextGen, un'alternativa open source a LM Studio, si evolve in un'applicazione desktop nativa e portatile per Windows, Linux e macOS. Il progetto, sviluppato da oobabooga, enfatizza la privacy con zero richieste esterne e offre supporto per diverse ar...
AIDC-AI presenta Ovis2.6-80B-A3B, un MLLM con architettura Mixture-of-Experts (MoE) che combina 80 miliardi di parametri totali con soli ~3 miliardi attivi in inference. Questa configurazione promette prestazioni multimodali superiori, costi di servi...
Un recente aggiornamento per `llama.cpp` introduce il supporto per la generazione continua di testo sui Large Language Models (LLM) tramite le sue interfacce server e Web UI. Questa funzionalità migliora l'interazione con i modelli di ragionamento, o...
Un'analisi approfondita rivela come i Large Language Models (LLM) self-hosted stiano trovando applicazioni concrete e di valore in contesti aziendali. Dalla gestione della memoria semantica con modelli di embedding a complessi workflow di automazione...
L'espansione da 250 milioni di dollari di Tesla per la produzione di batterie a Berlino evidenzia la crescita degli investimenti nel settore manifatturiero. Questo scenario solleva interrogativi cruciali sul deployment di soluzioni AI per l'ottimizza...
Il panorama dei Large Language Models (LLM) sta assistendo a un crescente interesse per i deployment on-premise. Le aziende cercano maggiore controllo sui dati e ottimizzazione del Total Cost of Ownership (TCO), spingendo verso soluzioni locali che b...
Le recenti performance positive delle telecomunicazioni a Taiwan, trainate dalla migrazione al 5G e dallo slancio dell'ICT aziendale, evidenziano trend globali che influenzano profondamente le strategie di deployment per i Large Language Models. Ques...
L'adozione di Large Language Models (LLM) in ambienti self-hosted pone interrogativi sulla scelta del framework di inference. Un utente con GPU AMD si interroga sull'effettiva convenienza di vLLM, noto per il suo throughput elevato in scenari multi-u...
La tecnica LoRA (Low-Rank Adaptation) si afferma come soluzione chiave per il fine-tuning efficiente dei Large Language Models (LLM), specialmente in contesti on-premise. Riducendo i requisiti di VRAM e accelerando il processo di adattamento, LoRA pe...
Un utente ha condiviso un progetto open source, denominato "nanoclaude", che mira a replicare l'architettura di un Large Language Model come Claude per l'esecuzione in ambienti locali. L'iniziativa, presentata su r/LocalLLaMA, offre risorse video e c...
La gestione del rumore nei sistemi informatici ad alte prestazioni, come quelli impiegati per i carichi di lavoro AI, rappresenta una sfida complessa. Componenti quali case, ventole e sistemi di raffreddamento a liquido All-in-One (AIO) sono cruciali...
ExecuTorch estende l'ecosistema PyTorch per l'inference AI su dispositivi edge con risorse limitate. Arm ha rilasciato laboratori pratici Jupyter che esplorano il deployment su CPU e NPU Arm (Cortex-A, Cortex-M, Ethos-U), evidenziando i benefici in t...
MagicQuant v2.0 introduce una pipeline innovativa per la creazione di modelli GGUF ibridi e quantizzati, ottimizzati per l'inference su hardware locale. Il progetto analizza le configurazioni di quantization esistenti per identificare i migliori comp...
Un caso studio su Reddit dimostra come sia possibile ridurre il consumo energetico di una GPU RTX 4090 fino al 40% del suo limite massimo durante l'Inference di LLM con `llama.cpp`, senza sacrificare le performance. Questa ottimizzazione, ottenuta tr...
Il modello Gemma 4 E4B si distingue per l'efficienza e l'affidabilità nella trascrizione di brevi frammenti audio, anche in lingue diverse dall'inglese. Sebbene non sia la soluzione ideale per contenuti di lunga durata, dove strumenti come Whisper ma...
BTL Group sta accelerando i test sui propri server dedicati all'intelligenza artificiale, in risposta a un volume di ordini che si estende fino a settembre. Questa attività evidenzia la crescente domanda di infrastrutture AI robuste e self-hosted, co...
Una recente analisi su `llama.cpp` ha rivelato come l'aumento del micro-batch size (`ubatch`) possa migliorare drasticamente la velocità di prefill dei prompt per Large Language Models parzialmente offloadati su GPU consumer come la RTX 3090. Questo ...
Una ricerca approfondita su 288 chiamate a LLM rivela le sette principali modalità di fallimento nella generazione di output JSON, comuni sia ai modelli open source che proprietari. Le soluzioni convenzionali spesso non bastano per i deployment on-pr...
La comunità tech, in particolare quella focalizzata sui Large Language Models (LLM) da eseguire in locale, si interroga sul futuro della serie Qwen3.6. L'assenza di annunci riguardo a versioni più grandi, come Qwen3.6-122B, o specializzate, come Qwen...
MiniCPM 4.6 si presenta come un Large Language Model progettato per l'efficienza, aprendo nuove possibilità per il deployment in ambienti self-hosted. Questo modello compatto è particolarmente rilevante per le organizzazioni che cercano di mantenere ...
La crescente adozione degli agenti AI di Claude, in particolare per attività di coding e agentic workflow, sta generando un'impennata nella domanda di Mac mini. Questo trend evidenzia un interesse per soluzioni di elaborazione AI locali e self-hosted...
Unsloth ha reso disponibili versioni ottimizzate dei Large Language Models Qwen 3.6-27B e 3.6-35B nel formato GGUF. Questa iniziativa, emersa dalla comunità LocalLLaMA, facilita il deployment di LLM su infrastrutture self-hosted, offrendo ai decision...
L'industria tecnicica, in particolare nel settore dell'intelligenza artificiale, evolve a ritmi senza precedenti. Per CTO e architetti infrastrutturali, mantenere il passo significa comprendere le implicazioni dei nuovi sviluppi hardware e delle stra...
Un recente avviso evidenzia un'insidiosa problematica di parsing in `llama-server` che influisce sulla configurazione dei Large Language Models come Qwen3.6. Spazi extra nelle stringhe JSON per `chat-template-kwargs` nel file `models.ini` possono imp...
La prossima versione del kernel Linux, la 7.2, integrerà nuove funzionalità di controllo della gestione energetica per i driver AMD Ryzen AI e Intel NPU. Queste ottimizzazioni, parte del `drm-misc-next` pull request, mirano a migliorare l'efficienza ...
Una potenziale interruzione di 18 giorni nella produzione di memoria di Samsung, a causa di uno sciopero imminente, solleva preoccupazioni significative per la catena di approvvigionamento globale. Questo scenario potrebbe avere ripercussioni dirette...
Il rilascio del modello MiMo-V2.5 in formato GGUF su Hugging Face, segnalato dalla community LocalLLaMA, solleva interrogativi cruciali sulle capacità hardware necessarie per l'inference di Large Language Models in ambienti self-hosted. Questo format...
L'ecosistema dell'intelligenza artificiale è in rapida evoluzione, con progetti che emergono e scompaiono con frequenza. La notizia del declino di Openclaw evidenzia i rischi associati alla dipendenza da iniziative Open Source con supporto incerto. P...
L'esplosione dei carichi di lavoro per l'inference di intelligenza artificiale sta alimentando una "corsa alla memoria" tra i principali produttori. Samsung è in prima linea in questa competizione, sviluppando soluzioni che rispondono alla crescente ...
La scelta del framework giusto per i Large Language Models (LLM) in ambienti on-premise è cruciale per performance e stabilità. Un utente ha condiviso la sua transizione da OpenCode a Pi, motivata da lentezza e blocchi, trovando in Pi maggiore veloci...
L'adozione di Large Language Models in ambienti locali sta crescendo, spinta da esigenze di sovranità dei dati e controllo sui costi. Tuttavia, l'inference on-premise pone sfide significative all'hardware, come evidenziato dall'esperienza di utenti c...
Un esperimento condotto da un utente ha messo in luce le notevoli capacità del modello `gemma-4-26b-a4b` nella generazione di codice `three.js` da prompt singoli. Un'applicazione Python personalizzata ha automatizzato il testing, dimostrando come i L...
Salvatore Sanfilippo, il creatore di Redis, ha lanciato DS4, un nuovo progetto su GitHub. L'iniziativa mira a eseguire DeepSeek V4 Flash con una finestra di contesto di 1 milione di token su hardware Mac Metal, sfruttando tecniche innovative. Il prog...
Un utente ha testato Qwen 3.6 35B-A3B su una NVIDIA 5060 Ti (16GB VRAM) per un agente di coding locale. Sebbene le performance iniziali siano discrete, il modello rallenta significativamente con un contesto elevato, raggiungendo solo 9 token/sec. Que...
Un imprenditore si trova di fronte alla sfida di configurare un server LLM on-premise con un budget di 100.000 dollari. L'obiettivo primario è supportare modelli di coding agentico self-hosted, garantendo la sovranità dei dati e riducendo i costi ope...
Un utente esprime confusione e frustrazione riguardo agli agenti basati su LLM, evidenziando la difficoltà di distinguere soluzioni valide dalla mera hype. La mancanza di una GPU impedisce test locali, mentre l'interesse si concentra su applicazioni ...
La versione b9095 del framework `llama.cpp` introduce il supporto per il Tensor Parallelism senza la necessità di NCCL, specificamente per configurazioni con due GPU Blackwell PCIe di fascia consumer. Questa novità rappresenta un passo significativo ...
Un utente ha dimostrato la capacità di eseguire il modello DeepSeek V4 Pro, nella sua versione quantizzata Q4_K_M, su una workstation Epyc dotata di una singola GPU NVIDIA RTX PRO 6000 Blackwell Max-Q con quasi 97 GB di VRAM. Questo caso evidenzia la...
La disputa legale tra Bambu Lab e uno sviluppatore di OrcaSlicer, con l'intervento di Louis Rossmann, solleva questioni cruciali sul controllo tecnicico e l'Open Source. Questo scenario offre spunti di riflessione per i decision-maker che valutano de...
Un ingegnoso progetto ha trasformato una GPU Nvidia Tesla V100 SMX, basata sul chip GV100, in una scheda PCIe da server con un costo di circa 200 dollari. Questa soluzione modificata, dotata di PCB personalizzato e raffreddamento stampato in 3D, dimo...
L'interesse per le GPU modificate, come la NVIDIA RTX 3080 con 20GB di VRAM, evidenzia la crescente domanda di soluzioni hardware economiche per l'esecuzione di Large Language Models (LLM) in locale. Gli utenti cercano alternative alle schede standar...
La proliferazione di strumenti per la gestione di Large Language Models in ambienti self-hosted, in particolare per `llama.cpp`, presenta una complessità crescente. Gli specialisti IT si trovano a dover bilanciare funzionalità, stabilità e compatibil...
Kconfirm è un nuovo strumento in fase di sviluppo per il kernel Linux, progettato per identificare e correggere configurazioni errate all'interno di Kconfig. La sua potenziale inclusione nel mainline kernel promette di rafforzare la stabilità e l'aff...
Nonostante Samsung aumenti la produzione di modelli come Galaxy S26 Ultra e A17, il mercato tech globale si prepara a un rallentamento nel secondo trimestre. Questa dinamica, sebbene focalizzata sui dispositivi consumer, solleva interrogativi sulla s...
Apple ha rimosso il modello Mac Studio M3 Ultra da 256GB dal suo store online, alimentando preoccupazioni tra gli sviluppatori e gli architetti infrastrutturali che puntano a deployment di Large Language Models (LLM) in locale. Questa mossa, che segu...
Un recente test ha dimostrato significativi miglioramenti nelle prestazioni di inference per il modello Qwen3.6-27B, quantizzato in Q4_1, eseguito su una configurazione duale di GPU AMD Radeon Instinct Mi50. L'applicazione combinata delle tecniche Mu...
Un recente test dimostra come sia possibile ottenere prestazioni significative per l'inference di Large Language Models (LLM) su hardware consumer. Utilizzando il modello Qwen3.6 35B A3B e il framework llama.cpp con Multi-Token Prediction (MTP), un u...
Un utente ha sperimentato l'uso di un agente LLM, il "pi coding agent", in combinazione con Qwen3.6 27B su hardware locale per configurare un sistema Archlinux. L'approccio ha permesso di gestire complesse impostazioni di sistema, come Bluetooth e ri...
È stato rilasciato Qwen3.6-35B-A3B, un Large Language Model da 35 miliardi di parametri caratterizzato da una configurazione "uncensored" e dalla piena preservazione dei suoi 19 MTP. Disponibile in formati ottimizzati come Safetensors, GGUF, NVFP4 e ...
Il mese di aprile 2026 ha segnato un punto di svolta significativo per i Large Language Models (LLM) destinati a deployment locali. Questa evoluzione apre nuove opportunità per le aziende che cercano maggiore controllo sui dati, sovranità e ottimizza...
Un recente esperimento ha dimostrato la capacità di eseguire il Large Language Model Qwen3.6-27B su una singola GPU NVIDIA RTX 4090, raggiungendo performance di 80-87 token al secondo con una finestra di contesto di ben 262K token. L'ottimizzazione è...
Un'analisi tecnica rivela che 12GB di VRAM, come quelli offerti da una RTX 3060, rappresentano un punto di equilibrio ideale per l'esecuzione locale del modello LLM Qwen 35B-A3B. Questa configurazione permette di mantenere un numero sufficiente di bl...
Lemonade, una piattaforma per l'esecuzione locale di Large Language Models, ha annunciato l'integrazione sperimentale di vLLM con supporto ROCm. Questa novità permette di eseguire LLM in formato `.safetensors` direttamente su hardware AMD, offrendo a...
z-lab ha introdotto DFlash, una nuova tecnicia per l'inference di Large Language Models come Gemma 4 26B. Promettendo miglioramenti significativi nella gestione del contesto e nella velocità rispetto ad alternative come MTP, DFlash si propone come so...
Transformer Lab, una piattaforma open source per la ricerca in machine learning, ha presentato una demo che illustra il processo di fine-tuning del modello Orpheus 3B per applicazioni text-to-speech. La soluzione permette agli utenti di eseguire l'ad...
Un'analisi approfondita dell'implementazione di Qwen3.6-27B con llama.cpp MTP rivela sfide significative nella gestione di contesti estesi per i Large Language Models self-hosted. I dati mostrano un calo delle prestazioni di generazione oltre gli 85....
Un utente ha segnalato un consumo di memoria progressivamente crescente durante l'esecuzione di un LLM da 105GB con un contesto di 150K token su un sistema locale da 128GB, utilizzando `llama.cpp` e LM Studio. Nonostante i tentativi di liberare la me...
HP ha aggiornato la sua workstation Z6 G5 A, ora equipaggiata con i processori AMD Ryzen Threadripper PRO 9000 e le GPU NVIDIA RTX PRO Blackwell. Questo sistema, già noto per la sua compatibilità con Linux, offre prestazioni elevate per carichi di la...
Il progetto DS4 introduce un motore di inference specifico per il modello DeepSeek 4, progettato per operare in modo efficiente sui MacBook dotati di 128GB di RAM. Questa iniziativa, guidata da antirez, si concentra sull'ottimizzazione per la memoria...
Il prossimo kernel Linux 7.2 integrerà `dm-inlinecrypt`, una nuova funzionalità del DeviceMapper che abilita la crittografia inline dei dispositivi a blocchi. Questa innovazione è cruciale per le aziende che gestiscono carichi di lavoro sensibili, in...
L'aumento dei ricavi di TSMC sottolinea il ruolo cruciale dell'Asia nella fornitura di chip per l'intelligenza artificiale. Questo scenario ha implicazioni significative per le aziende che pianificano deployment di Large Language Models (LLM) on-prem...
Il ruolo cruciale dell'industria taiwanese dei semiconduttori emerge come fattore chiave nelle dinamiche geopolitiche globali, con implicazioni dirette per le strategie di deployment di Large Language Models (LLM). Le tensioni internazionali evidenzi...
LLMSearchIndex è una nuova libreria Python open source che offre una soluzione di ricerca web completamente locale, progettata per i sistemi RAG basati su LLM. Con un indice altamente compresso di circa 2 GB, che include oltre 200 milioni di pagine w...
Un'implementazione di Multi-Token Prediction (MTP) per LLaMA.cpp ha dimostrato un aumento del 40% nella velocità di generazione di token per il modello Gemma 26B, quantizzato in formato GGUF. I test, condotti su un MacBook Pro M5Max, evidenziano il p...
La scarsità di hardware con elevata memoria unificata, come i chip M3 di Apple da 512GB o 256GB, sta creando difficoltà per chi intende eseguire Large Language Models (LLM) in locale. Questa situazione spinge sviluppatori e aziende a riconsiderare le...
Un utente ha testato il modello Qwen 3.6 27B, in formato GGUF e con Quantization Q4.0, su una iGPU AMD dotata di 64GB di memoria unificata, utilizzando il Framework LLAMA CPP. I risultati indicano una performance sorprendente, paragonabile a quella d...
La richiesta del presidente di Pegatron di preordinare combustibile nucleare evidenzia le crescenti preoccupazioni per la stabilità energetica a Taiwan. Questo scenario ha implicazioni dirette per l'industria tecnicica globale e, in particolare, per ...
Google Chrome ha iniziato a scaricare silenziosamente un modello Large Language Model (LLM) da 4GB sui PC degli utenti, senza alcun consenso esplicito. Questa pratica solleva interrogativi significativi sulla privacy dei dati, il controllo delle riso...
AMD si prepara a introdurre una nuova GPU con fattore di forma PCIe, potenzialmente ampliando le opzioni hardware per le implementazioni di Large Language Models (LLM) in ambienti self-hosted. L'attenzione del mercato si concentra sul posizionamento ...
Zyphra ha introdotto ZAYA1-8B, un Large Language Model da 8 miliardi di parametri. Il modello è progettato per offrire un'elevata 'densità di intelligenza', rendendolo particolarmente adatto per deployment on-premise e in ambienti con risorse hardwar...
La scadenza per le candidature a Startup Battlefield 200 si avvicina, offrendo a fondatori pre-Series A l'accesso a capitali, visibilità globale e un premio di 100.000 dollari. Per le startup che operano nel settore dell'intelligenza artificiale, in ...
L'integrazione del modello MiMo v2.5 in `llama.cpp` segna un passo significativo per l'inference di Large Language Models multimodali su hardware locale. Con un'architettura Sparse MoE da 310 miliardi di parametri totali (di cui 15 miliardi attivati)...
La serie Qwen 3.6 ha visto recenti rilasci di modelli da 27B e 35B parametri, alimentando l'attesa per versioni da 9B e 122B. Questa diversità di scale pone interrogativi cruciali per le strategie di deployment on-premise, influenzando direttamente i...
La community di `llama.cpp` si interroga sulla possibilità di combinare diverse metodologie di decodifica speculativa, come "mtp speculative decode" e `ngram`. L'impossibilità attuale di utilizzarle simultaneamente, nonostante i benefici specifici di...
