Kimi da 2,8 trilioni di parametri in un homelab: il segnale oltre i 3 token/s
Un homelab con due RTX 3090 e Intel Optane esegue un LLM da 2,8 trilioni di parametri a 3,11 token/s. Non è throughput da produzione, ma segnala che la soglia per l'inference self-hosted non dipende più solo dalla VRAM: la gerarchia di memoria e i compromessi di latenza ridefiniscono sperimentazione, sovranità e TCO.