ร stata rilasciata una versione non censurata di Qwen3.5-122B-A10B, denominata "Aggressive", che mira a fornire risposte senza filtri e senza modifiche alla personalitร del modello.
Caratteristiche principali
- Assenza di censure: La versione "Aggressive" รจ progettata per non rifiutare alcuna richiesta, offrendo una risposta completa senza limitazioni.
- Quantization K_P: Introduce nuove quantizzazioni K_P che, tramite un'analisi specifica del modello, preservano la qualitร dove รจ piรน importante, offrendo prestazioni superiori rispetto alle quantizzazioni standard con un incremento di dimensioni limitato (5-15%).
- Supporto multimodale: Il modello supporta input di testo, immagini e video.
- Contesto esteso: Finestra di contesto di 262K token.
Dettagli tecnici
- Il modello ha un totale di 122 miliardi di parametri, con circa 10 miliardi attivi (MoE).
- Architettura ibrida di attenzione: Gated DeltaNet + softmax (rapporto 3:1).
- 48 livelli.
- Sono disponibili diverse quantizzazioni, tra cui Q8_K_P, Q6_K_P, Q6_K, Q5_K_M, Q4_K_P, Q4_K_M, IQ4_XS, Q3_K_M, Q3_K_P, IQ3_M, IQ3_XXS, IQ2_M.
Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.
๐ฌ Commenti (0)
๐ Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!