Quantization spinta, runtime specializzati e fine-tuning locale stanno rivelando nuovi modi di guasto, dai loop di ragionamento alle digressioni fuori tema, fino a incoerenze dipendenti dal runtime e rilasci gonfiati. Gli operatori iniziano a trattare metriche di allucinazione e riproducibilità come controlli di primo piano per i deploy locali.
Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragil...
Un utente con RTX 5070 Ti e Strata osserva un modello Qwen3.8-27B IQ3_XXS accelerare di 2-3 volte, ma durante un task di rimozione codice ridondante i ragionamenti inseriscono una biografia di Lee Kuan Yew. Il caso mostra come i pensieri dei modelli ...
Un progetto di fine-tuning locale di AliceAI-80B-A3B mostra i limiti del training on-premise: 5 milioni di token sintetici non bastano per un modello conversazionale generale. Su tre V100 da 32 GB, il checkpoint 1.0 alpha risponde ma è sottoadattato;...
Un test sul campo con una quantization IQ3_S mostra che lo stesso identico modello può produrre una risposta coerente in llama.cpp e un loop ripetitivo altrove. Il racconto mette in discussione l'idea che basti scegliere il modello giusto: runtime, s...
Un test su Ollama con modelli da 1,5B a 120B mostra che l'entropia di matching esatto su CPU può rilevare allucinazioni senza occupare VRAM. Su Qwen 27B l'AUROC raggiunge 0,89, su Mistral 7B pareggia DeBERTa. Ma il crollo a 0,09 sul 120B segnala un C...
A settembre 2024 Reflection 70B venne presentato come modello open source capace di superare GPT-4o. Chi lo scaricò scoprì che si trattava sostanzialmente di Llama 3.1. L'episodio resta un caso di studio su come nel LocalLLaMA le promesse non verific...
