L'AI edge diventa pratica: LLM su telefoni, single-board computer e TinyGPU

Modelli LLM leggeri come LFM2.5-2.6B e il prototipo TinyGPU v2.0 dimostrano l'inference su dispositivo praticabile, aprendo nuove possibilità per l'edge computing che preserva la privacy su smartphone e Raspberry Pi.

Detected: 2026-08-08 · Updated: 2026-08-08

2026-08-07 • LocalLLaMA

LFM2.5-2.6B su Raspberry Pi: le insidie dei quant e la scelta giusta per l’edge

Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...

#Hardware #LLM On-Premise #DevOps

2026-08-05 • LocalLLaMA

LLM on-device: LFM2.5-2.6B a 17 tok/s su OnePlus 13, inference solo CPU

Un developer ha eseguito LFM2.5-2.6B, un LLM da 2,69 miliardi di parametri con finestra di contesto di 128K, su uno smartphone OnePlus 13 usando solo CPU e quantization Q4_K_M. L'inference engine custom, di appena 450 KB, raggiunge 17 tok/s e support...

#Hardware #LLM On-Premise #DevOps

2026-08-03 • Tom's Hardware

La GPU più piccola del mondo supera i test: TinyGPU v2.0 e il conto salato per il cloud

Con 240mila transistor e un rendering 3D a 15 FPS, il TinyGPU v2.0 dimostra che l'elaborazione locale estrema è pronta a riscrivere i vantaggi di chi sceglie deployment on-premise ed edge, mettendo in discussione il predominio dei megawatt cloud.

#Hardware #LLM On-Premise #DevOps

L'AI edge diventa pratica: LLM su telefoni, single-board computer e TinyGPU

Articoli Correlati

LFM2.5-2.6B su Raspberry Pi: le insidie dei quant e la scelta giusta per l’edge

LLM on-device: LFM2.5-2.6B a 17 tok/s su OnePlus 13, inference solo CPU

La GPU più piccola del mondo supera i test: TinyGPU v2.0 e il conto salato per il cloud