Ghost Engine: Llama-3-8B in soli 3GB di VRAM grazie alla generazione dinamica

Approfondisci su LLM On-Premise

Guida completa per eseguire modelli AI in locale: hardware, stack e privacy.

Valutazione LLM on-premise: Qwen3.5-122B-A10B su 96GB VRAM

Un'analisi comparativa su configurazioni on-premise con 96GB di VRAM ha messo a confronto i Large Language Models MiniMax-M2.7 e Qwen3.5-122B-A10B. I test, cond

Strutture latenti gerarchiche: un modello unificato per i LLM

Una nuova ricerca esplora come le strutture gerarchiche nei dati di addestramento influenzino i fenomeni meccanicistici nei modelli linguistici di grandi dimens

LLM in locale: prestazioni in crescita con hardware compatto

L'articolo analizza i progressi compiuti nell'esecuzione di modelli linguistici di grandi dimensioni (LLM) in locale, evidenziando come le prestazioni siano mig

Benchmark di LLM: Qwen MoE supera LLaMA-70B in neuroscienze

Un nuovo benchmark nel campo delle neuroscienze e delle interfacce cervello-computer (BCI) rivela che il modello Qwen3 235B MoE supera le prestazioni di LLaMA-3

FlashLM v4: modello ternario da 4.3M addestrato su CPU in 2 ore

FlashLM v4 è un modello linguistico con 4.3 milioni di parametri, pesi ternari (-1, 0, +1) e addestramento su CPU in sole due ore. Genera storie coerenti, dimos

Longcat 2: quantization INT8 e FP8 per il deployment on-premise

Perché l’AI ha bisogno di un glossario (e cosa c’entra il deployment on-premise)

Smartschool e l’AI per i test d’ammissione: perché insegnare è più difficile che rispondere

Mistral rilascia Leanstral 1.5: verifica formale con 6 miliardi di parametri attivi

DeepSeek annuncia DSpark: un salto di velocità per l’inference degli LLM

Zuckerberg: gli agenti AI di Meta procedono più lentamente del previsto