Le strade verso la scala Zetta e l’informatica quantistica sono lunghe e tortuose

Negli Stati Uniti, il primo passo verso i sistemi HPC exascale è iniziato con una serie di workshop nel 2007. Fu solo un decennio e mezzo dopo che il sistema "Frontier" da 1.686 petaflop dell'Oak Ridge National Laboratory fu messo online . Quest'anno, l'Argonne National Laboratory si sta preparando per l'attivazione di "Aurora", che sarà la seconda o la terza macchina exascale negli Stati Uniti, a seconda dei tempi del sistema "El Capitan" a Lawrence Laboratorio nazionale di Livermore.

Ci sono stati ritardi e battute d’arresto sulla strada verso l’exascale per tutte queste macchine, così come i cambiamenti tecnologici, la concorrenza continua con la Cina e altre sfide. Ma non aspettatevi che il prossimo salto verso la scala zetta – o anche verso l’informatica quantistica – sia più rapido, secondo Rick Stevens, direttore associato del laboratorio di informatica per l’ambiente e le scienze della vita all’Argonne. Entrambi potrebbero richiedere altri 15-20 anni o più.

Questa è la natura dell’HPC.

"Questo è un gioco a lungo termine", ha affermato Stevens in un recente webinar sul futuro prossimo e più lontano dell'informatica nell'HPC. "Se sei interessato a ciò che accadrà l'anno prossimo, l'HPC non è il gioco che fa per te. Se vuoi pensare in termini di dieci o due decenni, l'HPC è il gioco che fa per te perché siamo su una traiettoria millenaria per raggiungere altri sistemi stellari o altro. Siamo solo all'inizio. Sì, abbiamo seguito un ottimo percorso della Legge di Moore. L'umanità non finirà domani. Abbiamo molta strada da fare, quindi dobbiamo essere pensandoci, cosa significa il calcolo ad alte prestazioni tra dieci anni? Cosa significa tra vent'anni? Non significa la stessa cosa. In questo momento significherà qualcosa di diverso."

Quella parte "proprio ora" che è stata centrale nel discorso di Stevens è l'intelligenza artificiale. Non solo le applicazioni HPC potenziate dall’intelligenza artificiale e le aree di ricerca che trarrebbero vantaggio dalla tecnologia, ma anche simulazioni e surrogati gestiti dall’intelligenza artificiale, acceleratori di intelligenza artificiale dedicati e il ruolo che l’intelligenza artificiale svolgerà nello sviluppo di grandi sistemi. Ha notato l’esplosione di eventi nel campo dell’intelligenza artificiale tra il 2019 e il 2022, la maggior parte del tempo trascorso nella pandemia di COVID-19.

Con il decollo dei modelli linguistici di grandi dimensioni – che sono al centro di strumenti come il popolarissimo ChatGPT e altri chatbot di intelligenza artificiale generativa – e del deep learning da testo a immagine con diffusione stabile, le tecniche di intelligenza artificiale sono state utilizzate per piegare un miliardo di proteine ​​e migliorare la matematica aperta problemi e c’è stata un’adozione massiccia dell’intelligenza artificiale tra gli sviluppatori HPC. L’intelligenza artificiale è stata utilizzata per accelerare le applicazioni HPC. Oltre a tutto ciò, iniziarono ad arrivare i sistemi exascale.

"Questa esplosione continua in termini di sempre più gruppi che costruiscono modelli su larga scala e quasi tutti questi modelli appartengono al settore privato", ha affermato Stevens. "Ce ne sono solo una manciata che vengono realizzati da organizzazioni no-profit, e molti di loro sono closed source, incluso GPT-4, che è il migliore attualmente disponibile. Questo ci dice che la tendenza non è verso milioni di piccoli modelli , si tratta di un numero relativamente piccolo di modelli molto potenti. Questo è un tipo di meta importante che sta accadendo."

Tutto questo – simulazioni e surrogati, applicazioni IA emergenti e casi di utilizzo dell’IA – richiederà molta più potenza di calcolo nei prossimi anni. L'Argonne Leadership Computing Facility (ALCF) nell'Illinois sta iniziando a riflettere su questo mentre progetta la sua macchina post-Aurora e quelle successive. Stevens e i suoi collaboratori stanno immaginando un sistema otto volte più potente di Aurora, con una richiesta di proposte nell'autunno del 2024 e un'installazione entro il 2028 o 2029. "Dovrebbe essere possibile costruire macchine a bassa precisione per l'apprendimento automatico che si stanno avvicinando a mezzo zettaflop per le operazioni a bassa precisione. Due o tre spin-off da adesso," ha detto Stevens.

Una domanda riguarderà gli acceleratori in tali sistemi. Saranno versioni più recenti delle GPU generiche utilizzate ora, GPU potenziate da qualcosa di più specifico per le simulazioni AI o un motore completamente nuovo ottimizzato per l'IA?