Topic / Trend Rising

Efficienza di test-time compute e ragionamento

Lo spostamento di valore dai pesi dei modelli all'orchestrazione in fase di inference รจ evidenziato da Nemotron 3, penalitร  per l'overthinking e fine-tuning leggeri che riducono i token di completamento mantenendo l'accuratezza.

Detected: 2026-09-30 ยท Updated: 2026-09-30

Articoli Correlati

2026-09-29 โ€ข LocalLLaMA

NVIDIA Nemotron 3 supera l'oro alle IOI 2026 con test-time compute

La scheda di NVIDIA Nemotron-Labs-3-Competitive-Coding descrive un modello da 550B-A55B fine-tuned su 477.642 tracce sintetiche distillate da GLM-5.2. Con la strategia GenCorrect, ha ottenuto 535,4/600 alle IOI 2026, superando soglia oro e miglior pu...

#Hardware #LLM On-Premise #Fine-Tuning
2026-09-27 โ€ข LocalLLaMA

Penalizzare i token di overthinking migliora i Qwen in formato GGUF

Un test su 50 domande del benchmark MATH-500 mostra che penalizzare via logit-bias i token di esitazione migliora l'accuratezza di Qwen3.5-4B in formato GGUF su tutti i livelli di quantization testati. In BF16 si passa dal 74% all'84%, mentre Q2_K ra...

#Hardware #LLM On-Premise #Fine-Tuning
2026-09-25 โ€ข ArXiv cs.AI

Agenti di previsione, il ragionamento non รจ sempre la scelta giusta

Un gruppo di ricerca ha sottoposto gli agenti di previsione a stress test comportamentali per capire quando retrieval, ragionamento, prior di mercato o analoghi storici meritano fiducia. La scelta del meccanismo dipende dalla fonte. ReliabilityRoute ...

#LLM On-Premise #DevOps
2026-09-24 โ€ข LocalLLaMA

ThinkingCap e Swift: chi doma il ragionamento eccessivo di Qwen3.8-27B?

Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione piรน uniforme, mentre ThinkingCap paga una cod...

#Hardware #LLM On-Premise #Fine-Tuning
โ† Torna ai Topic