Chi lavora con LLM in ambienti self-hosted conosce la tensione fra contesto lungo e memoria video. Aumentare la finestra di attenzione esplode il costo quadratico del self-attention, rendendo proibitiva l'inference su GPU con VRAM limitata. La risposta arriva spesso dai meccanismi di attenzione sparsa, che selezionano solo una porzione dei token da processare. Ma finora la selezione era spesso euristica, calcolata a valle di prodotti QK completi, con un overhead che ne limitava i benefici reali.

HiLS-Attention, presentata da Tencent in un paper su arXiv e ora disponibile come checkpoint da 7 miliardi di parametri su Hugging Face, propone una strada diversa: la selezione dei chunk non è un post-processing ma viene appresa direttamente durante il training, usando una loss di language modeling. Il modello impara end-to-end quali blocchi di token sono davvero rilevanti per la predizione successiva, grazie a una stima surrogata della "massa" di ogni chunk — ottenuta tramite chiavi compresse anziché il calcolo completo di query e key. L'attenzione viene poi fattorizzata in due softmax: una tra i chunk (inter-chunk) e una all'interno del chunk (intra-chunk).

Il checkpoint reso pubblico è stato continuato su un backbone in stile OLMo3 e conta circa 7 miliardi di parametri. È un modello base pretrained, senza allineamento o safety tuning: una scelta che, per gli scenari on-premise, può tradursi in vantaggio perché lascia nelle mani di chi lo dispiega il pieno controllo sul fine-tuning successivo e sulle politiche di sicurezza, senza introdurre bias di allineamento indesiderati.

Dal punto di vista dell'infrastruttura, l'impatto è concreto. Addestrare nativamente un'attenzione sparsa significa ottenere un modello che, a parità di parametri, scala meglio con l'aumentare della lunghezza del contesto. Ciò apre la porta a finestre di contesto più ampie su hardware che altrimenti non le reggerebbero, riducendo il TCO per chi gestisce cluster locali. Non servono GPU di ultima generazione: se un'architettura come questa consente di gestire sequenze molto lunghe mantenendo il consumo di VRAM entro limiti gestibili, anche infrastrutture esistenti possono allungare il proprio ciclo di vita utile.

Certo, il deployment on-premise dovrà valutare con attenzione il framework di serving, perché non tutte le librerie supportano nativamente l'attenzione sparsa fattorizzata. Ma il codice pubblicato su GitHub offre una base di partenza, e il repository Hugging Face facilita test immediati. La mossa di Tencent ricorda che l'efficienza dei meccanismi di attenzione non è solo un tema da laboratorio: è uno degli snodi che decidono quali modelli possano davvero funzionare in un'ottica di sovranità dei dati, lontano dalle API cloud. Per chi costruisce stack locali, HiLS-Attention rappresenta un segnale: il training nativo di pattern sparsi sta uscendo dalla fase sperimentale.