Cos'è il Pathways Language Model (PaLM)?

Il Pathways Language Model è il nome di una famiglia di grandi modelli linguistici di intelligenza artificiale sviluppati da Google. Lo sforzo prende il nome da un’iniziativa di Google Research per creare ciò che i ricercatori hanno soprannominato percorsi, in un approccio progettato per costruire un unico potente modello che potrebbe servire da base per molteplici casi d’uso.

Esistono più versioni del Pathways Language Model (PaLM). Tra le versioni di PaLM 2 ci sono Med-PaLM 2, ottimizzato per le scienze della vita e le informazioni mediche; e Sec-PaLM, che è focalizzato sull’uso nelle implementazioni di sicurezza informatica per accelerare l’analisi delle minacce.

Nel maggio 2023, Google ha dichiarato pubblicamente che la sua tecnologia di intelligenza artificiale conversazionale Bard è basata su PaLM 2. Il modello LLM (Large Language Model) di PaLM 2 consente inoltre funzionalità di intelligenza artificiale generativa nella suite di applicazioni Google Workspace, tra cui Gmail e Documenti, nonché come Google Cloud con una tecnologia nota come Duet AI.

PaLM - e più specificamente PaLM 2 - può fornire molte funzioni, tra cui:

PaLM utilizza un modello basato su rete neurale del trasformatore comunemente denominato trasformatore. A livello base, PaLM è simile ai modelli rivali basati su trasformatore, inclusi i modelli GPT-3 e GPT-4 di OpenAI.

PaLM utilizza il sistema di machine learning Pathways sviluppato da Google per addestrare un modello su più pod di unità di elaborazione tensore. Il modello utilizza una tecnica nota come apprendimento a pochi scatti che gli consente di apprendere da un numero limitato di esempi etichettati (o scatti) per aiutarlo ad adattare e generalizzare rapidamente nuove attività o classi con un'etichettatura minima dei dati.

In quanto rete di trasformazione, PaLM comprende e crea modelli tra i contenuti, inclusi testo e codice. Il modello del trasformatore viene sottoposto a un processo di apprendimento completo, scoprendo modelli statistici e connessioni esistenti tra parole e frasi all'interno del contenuto. Questa conoscenza acquisita consente a PaLM di generare risposte coerenti e pertinenti in vari contesti.

Sebbene PaLM sia potente, presenta le seguenti limitazioni sull'uso e sulle funzionalità, oltre ad altri elementi preoccupanti.

"I sistemi di dialogo guidato costruiti a partire da PaLM 2 continuano a produrre danni linguistici tossici e a mostrare modelli di pregiudizi nel modo in cui tali danni variano in base alla lingua e alle domande relative ai termini di identità", hanno scritto i ricercatori di Google nel "Rapporto tecnico PaLM 2".

Esistono molte somiglianze e differenze tra PaLM e GPT-3 di OpenAI (e il più recente GPT-4) LLM. Entrambi i gruppi di tecnologie sono generalmente indicati come intelligenza artificiale generativa ed entrambi beneficiano dell’uso di un modello di trasformazione per il deep learning. Entrambe le tecnologie possono anche creare, riassumere e comprendere il testo.

Sviluppatore

Google DeepMind

OpenAI

Interfaccia chatbot

Bardo

ChatGPT

Generazione del codice

Modello completamente integrato

Si basa sui dati del Codex LLM di OpenAI

Funzionalità multilingue

PaLM 2 attualmente supporta più di 40 lingue

GPT-4 attualmente supporta 26 lingue

Google ha annunciato PaLM nell’aprile 2022, con la versione iniziale del modello linguistico che fornisce 540 miliardi di parametri.

I ricercatori di Google hanno fornito i primi parametri sulle prestazioni del PaLM in un documento di ricerca intitolato "PaLM: Scaling Language Modeling with Pathways", inclusi i dettagli completi che spiegano le innovazioni introdotte dal modello. Il modello è rimasto privato fino al 17 marzo 2023, quando Google ha fornito un set iniziale di API pubbliche per consentire agli sviluppatori di provare il modello. Il 10 maggio 2023, PaLM 2 è stato annunciato pubblicamente alla conferenza Google I/O.

Al momento del lancio del PaLM 2, Google non ha rivelato pubblicamente le dimensioni del modello in termini di parametri, anche se ha fatto molte affermazioni sul fatto che il modello fosse più grande, più capace e che nel complesso fornisse prestazioni migliori rispetto al modello iniziale.

Google ha rivelato che PaLM 2 viene utilizzato come intelligenza artificiale fondamentale dietro molti dei suoi sforzi di intelligenza artificiale generativa, incluso Bard.

Guardando al futuro, non è chiaro se ci sarà un modello PaLM 3. All'evento Google I/O 2023, i dirigenti dell'azienda hanno affermato che il LLM di prossima generazione sviluppato dall'organizzazione si chiama Gemini. Non è chiaro quale sia, se esiste, la relazione che Gemini ha con l’approccio basato su PaLM.