La seconda generazione di Inkling arriva con un dato che va letto più per la strategia di rilascio che per la singola scheda tecnica. Inkling 2 Small è un Mixture-of-Experts da 594 miliardi di parametri totali e 17 miliardi attivi, capace di accettare input immagini e di modulare lo sforzo di calcolo. Sul piano delle performance, supera nettamente i modelli precedenti nell'Artificial Analysis Intelligence Index con un punteggio di 31, con progressi su coding agentico, visione, lavoro di conoscenza e ragionamento. Ma il dettaglio che conta per chi guarda ai deployment on-premise è un altro: il modello parte con pesi chiusi su Tinker e solo in un secondo momento, dopo test di sicurezza esterni e red-teaming, verranno pubblicati i pesi completi con licenza Apache 2.0.

Questa architettura ha implicazioni precise. Nei modelli MoE non tutti i 594 miliardi di parametri vengono eseguiti per ogni token: il routing attiva un sottoinsieme, in questo caso 17 miliardi. Questo riduce il costo computazionale per singola inference rispetto a un modello denso di dimensioni comparabili, ma non cancella il costo di memoria: per servire il modello in locale bisogna comunque ospitare l'intero set di esperti, a meno di tecniche di distribuzione o quantization non specificate nella nota. Il checkpoint scaricabile, promesso in coincidenza con il rilascio dei pesi, diventa quindi un oggetto rilevante per chi progetta infrastrutture self-hosted, perché il peso dei parametri archiviati - non il numero di parametri attivi - determina i requisiti di storage e, in parte, di banda di memoria.

Il percorso a due velocità scelto da Inkling segnala un cambiamento più ampio. La sequenza 'prima API con pesi chiusi, poi apertura dopo verifica' non è una concessione ideologica all'open source, ma un tentativo di ridurre il rischio di usi immediati e non controllati. Per le organizzazioni che devono rispettare vincoli di sovranità dei dati o che operano in ambienti air-gapped, il passaggio alla disponibilità dei pesi è il momento in cui il modello passa da oggetto di test a componente integrabile. Fino ad allora, l'unico accesso è mediato da Tinker, con i relativi vincoli di invio dati e latenza. Il fatto che i checkpoint saranno scaricabili con il rilascio dei pesi rafforza la tesi: il fine-tuning locale non è un ripensamento ma una possibilità prevista.

C'è un secondo segnale strutturale. Il salto dalla generazione precedente - 276 miliardi totali e 12 miliardi attivi secondo il commento riportato nella fonte - mostra che la competizione sui modelli aperti o semi-aperti non si gioca più sul solo numero di parametri attivi. Si gioca sulla combinazione tra dimensione totale, efficienza del routing e calendario di apertura. Chi pianifica capacità hardware per l'inference deve ragionare su entrambi i numeri: 17 miliardi attivi rendono il calcolo per token più gestibile, ma 594 miliardi totali impongono un parco di acceleratori e memoria che pochi deploy on-premise possono ignorare. Non è un dettaglio: modelli di questa classe, anche con quantization aggressiva, possono richiedere una quantità di memoria che dipende dalla precisione e dalla distribuzione scelta, un nodo che la nota non scioglie.

Il supporto al variable effort è un'altra leva interessante: consente di modulare l'intensità di calcolo in base al compito, il che nel contesto on-premise significa poter contenere i costi di inference senza cambiare modello. Tuttavia la fonte non fornisce dettagli su come questo si traduca in latenza o throughput.

La prossima settimana, quando i pesi saranno effettivamente disponibili, si potrà verificare se le promesse di apertura reggono il confronto con i vincoli reali delle infrastrutture locali. Per ora Inkling 2 Small è soprattutto un test di coerenza: la corsa ai modelli sempre più grandi non è incompatibile con un percorso di apertura graduale, ma il costo di ingresso per chi vuole portarselo in casa resta legato a un numero che la sintesi ufficiale mette in secondo piano: 594B.