Google ha recentemente pubblicato un documento che illustra il supercomputer utilizzato per addestrare i modelli di intelligenza artificiale. Questo supercomputer utilizza la TPU (Tensor Processing Unit) di quarta generazione che offre prestazioni elevate e consuma molto meno rispetto al chip NVIDIA A100.
Il supercomputer è dotato di 4.096 TPU v4
L’addestramento dei modelli IA richiede una quantità enorme di potenza di calcolo. Per questo motivo, Google ha adottato un supercomputer con 4.096 TPU v4 per addestrare questi modelli. Gli LLM (Large Language Model) sono diventati sempre più grandi, con miliardi di parametri, e il nuovo supercomputer è stato uno step importante per sopperire alle loro esigenze di calcolo.
Distribuzione dei calcoli tra i vari nodi
Poiché i modelli IA da addestrare sono estremamente grandi, come il Google LaMDA con 137 miliardi di parametri, è necessario distribuire i calcoli tra migliaia di chip che lavorano in parallelo. Nel caso di supercomputer con un grande numero di chip, il training può durare anche 50 giorni, come nel caso del modello PaLM di Google.
Efficienza di una singola TPU v4
Una TPU v4 fornisce una potenza di picco pari a 275 TFLOPS e consuma al massimo 192 watt. Rispetto al chip NVIDIA A100, la TPU v4 è fino a 1,7 volte più veloce e fino a 1,9 volte più efficiente. Google non ha confrontato la TPU v4 con il successore del chip NVIDIA A100, l’H100, poiché appartiene a una generazione successiva.
Minore emissione di CO2
La TPU v4 richiede meno energia, quindi produce meno emissioni di CO2. Il supercomputer di Google che viene utilizzato per addestrare i modelli IA si trova nel data center di Mayes County in Oklahoma. Questo sistema di calcolo è stato utilizzato anche da Midjourney per addestrare il suo modello che è in grado di generare immagini a partire da una descrizione testuale.