Un utente mostra come spingere la finestra di contesto di Qwen3.6-27B a 8 bit fino a 115.000 token su una singola GPU con 32 GB di VRAM, quantizzando la cache KV a diversi livelli. I benchmark su speculative decoding rivelano trade-off tra lunghezza del contesto, velocità d'inference e precisione. Un caso concreto per deployment on-premise su hardware consumer di fascia alta.
La domanda di interfacce di test per chip destinati a carichi AI e HPC ha fatto segnare a Chunghwa Precision Test Tech (CHPT) il fatturato mensile più alto di sempre a giugno. Il dato riflette la pressione sulla filiera dei semiconduttori avanzati, con possibili effetti per chi pianifica deployment on-premise di GPU e acceleratori.
La triade AI PC, occhiali per realtà aumentata e robotica sta ridisegnando le tecnicie di visualizzazione, spostando carichi di inference su dispositivi edge e impattando le scelte hardware per deployment on-premise. Latenza, costi e sovranità dei dati guidano l’evoluzione.
Un utente Reddit ha condiviso una soluzione per prevenire i blocchi del DGX Spark durante le ondate di calore: underclock della GPU via nvidia-smi. Le temperature crollano da 85°C a 60°C, ripristinando la stabilità. L’episodio accende un riflettore su una sfida spesso trascurata del deployment on-premise: la gestione termica in ambienti non professionali.
L’azienda avvia l’espansione da 1.500 miliardi di yen per produrre HBM, la memoria impilata che accelera i carichi AI. L’investimento segnala una domanda che plasmerà la disponibilità di GPU e i calcoli del TCO per chi valuta deployment on-premise.
Un appassionato ha montato un motore Stirling da 40 dollari su un sistema AMD Threadripper 3970X, usando il calore di scarto della CPU per azionare il volano e ottenere raffreddamento ausiliario senza consumare elettricità. Un ritorno a una tecnicia del 1816 che solleva interrogativi sulla gestione termica nei PC ad alte prestazioni.
Il ramo drm-xe-next del kernel Linux 7.3 inizia a includere gli identificatori PCI per le future GPU Intel Nova Lake S. L’enablement prosegue mentre cresce l’interesse verso soluzioni grafiche Intel per carichi di lavoro on-premise, anche se la strada per una maturità software competitiva è ancora lunga.
Una modifica nel kernel Linux, pronta per la prossima release candidate, innalza il tetto predefinito di core supportati per l’architettura RISC-V a 64 bit. Il nuovo valore di 256 core indica l’arrivo imminente di processori many-core pensati per server e carichi di lavoro paralleli.
Il nuovo portatile HP con Snapdragon promette prestazioni brillanti e lunga durata, ma il posizionamento di prezzo solleva interrogativi. Per chi valuta l’esecuzione locale di LLM, il passaggio ad ARM modifica i vincoli tradizionali.
La recensione dell'OmniBook Ultra 14 conferma potenza Snapdragon e autonomia eccellente, ma il prezzo resta alto. Per chi valuta esecuzione di LLM in locale, il SoC ARM con NPU integrata apre scenari di edge inference a basso consumo, preservando la sovranità dei dati.
Le prime patch per il kernel Linux 7.3 concentrano gli sforzi sulla grafica integrata della futura architettura Nova Lake e sul motore Xe3P. L’abilitazione open source del driver diventa un tassello cruciale per chi valuta l’inference LLM on-premise su piattaforme Intel, dove il controllo dei dati e l’efficienza hardware contano più della potenza bruta.
Il colosso avvia l'upstreaming del Device Tree per il BMC della piattaforma Vera Rubin VR-NVL, segnando un passo importante verso il supporto a OpenBMC. Un'apertura che promette maggiore controllo infrastrutturale per chi fa deployment on-premise di LLM.
Secondo un report, Intel avrebbe superato i colli di bottiglia nella resa wafer-to-wafer del nodo 18A, portando la produzione a 15.000 wafer mensili in due stabilimenti. Un passo decisivo per la catena di fornitura di chip per server e acceleratori IA.
Sotheby’s mette all’asta la giacca di pelle firmata indossata dal CEO NVIDIA al Foxconn Tech Day 2023. Un cimelio che riflette l’ascesa della domanda di infrastrutture per LLM on-premise e la centralità della catena produttiva taiwanese.
La filiale cinese di Infineon reagisce dopo che i suoi prodotti al nitruro di gallio sono stati tolti da un evento a Shanghai. La vicenda getta luce sul ruolo cruciale del GaN nell’efficienza energetica dei data center e sulle tensioni crescenti nelle filiere dei semiconduttori per l’AI.
La taiwanese Turvo conferma il pieno controllo manageriale e rilancia i piani di espansione nella robotica. Un segnale che rafforza la convergenza tra automazione e AI on-premise, spingendo verso hardware specializzato per l’inference locale.
Il progettista taiwanese di SoC Sonix Technology segna una ripresa delle consegne spinta dalla domanda di dispositivi medicali e multimediali, mentre la strategia sui droni guadagna trazione. Un segnale chiaro: l’inference AI si sposta sempre più all’edge, dove contano latenza, privacy e costo energetico.
Il governo sudcoreano spinge per un mega-polo di semiconduttori nella regione sud-occidentale, ma tra carenza di talenti, costi infrastrutturali e tensioni geopolitiche il progetto deve ancora superare scogli decisivi. Per chi distribuisce LLM on-premise, la posta in gioco è la futura disponibilità di hardware accelerato.
La nuova tecnicia di interconnessione di Intel punta a scalfire il dominio di CoWoS nel packaging per chip ad alte prestazioni, con possibili ripercussioni sugli acceleratori per LLM on-premise.
BOE, gigante cinese dei display, esplora il packaging per chip AI con interconnessioni ottiche Micro LED e co-packaged optics su vetro. L’obiettivo: densità, efficienza e scalabilità per data center, con possibili ricadute sul deployment on-premise.