Nick Frosst non ne fa solo una questione di compatibilità tecnica. L'annuncio di Cohere sul supporto a llama.cpp per North Micro Vision Instruct chiude un cerchio atteso da mesi dalla comunità local-first e sposta il baricentro competitivo dell'azienda verso il self-hosting. Il team ha integrato l'encoder visivo di North Micro Vision Instruct nel runtime, un passaggio che rende compatibili con llama.cpp tutte le architetture recenti dell'azienda. Poiché il LLM condivide l'architettura con North Mini Code e Command A+, già supportati grazie al lavoro della comunità, il collo di bottiglia era proprio il modulo visivo. Ora è rimosso.

In parallelo, Cohere Transcribe arriva in Unsloth e Unsloth Studio per il fine-tuning. È un dettaglio che completa il framework: non si tratta solo di eseguire modelli in locale, ma anche di adattarli su dati propri senza passare da API cloud.

La tesi di fondo è che llama.cpp è diventato lo standard de facto per l'inference locale e quantizzata su CPU e GPU consumer. La sua adozione da parte di Cohere segnala che un vendor storicamente API-first riconosce la distribuzione come un problema da affrontare anche fuori dal cloud. Per le aziende con vincoli di residenza dei dati, la possibilità di eseguire North Micro Vision in self-hosted cambia il calcolo del TCO: l'inference su hardware proprio, anche con quantization spinta, può competere con i costi variabili delle API quando i volumi crescono. Non servono benchmark per capire che il costo marginale di un server dedicato tende a scendere con l'utilizzo, mentre il costo per token di una API tende a restare lineare.

Il secondo effetto è sulla concorrenza. Chi perde, almeno marginalmente, sono i servizi di inference cloud-only che non offrono un equivalente locale. La mossa di Cohere alza la pressione su altri vendor proprietari: la compatibilità con llama.cpp non è più un extra pensato per la community, ma una condizione per entrare nella valutazione di chi ha requisiti di sovranità o ambienti air-gapped.

Il terzo effetto riguarda i dati sensibili. Cohere Transcribe è un modello speech-to-text, e audio e trascrizioni sollevano spesso problemi di privacy e conformità. Renderlo disponibile per il fine-tuning in Unsloth significa che un'organizzazione può addestrare il modello su conversazioni interne senza spostare le registrazioni fuori dal perimetro aziendale. È un incentivo concreto per settori regolamentati, anche se l'annuncio non entra nei dettagli operativi.

Resta un limite evidente: non ci sono benchmark, requisiti di VRAM o livelli di quantization consigliati. Per chi deve dimensionare un server, mancano ancora i dati operativi. Ma il segnale strategico è già leggibile: per i modelli di Cohere, il self-hosting non è più un ripiego.