Martedì, OpenAI ha annunciato GPT-4 , un grande modello multimodale in grado di accettare input di testo e immagini restituendo un output di testo che “mostra prestazioni a livello umano su vari benchmark professionali e accademici”, secondo OpenAI. Sempre martedì, Microsoft ha annunciato che Bing Chat ha sempre funzionato su GPT-4.
Se funziona come affermato, GPT-4 rappresenta potenzialmente l’apertura di una nuova era nell’intelligenza artificiale. “Supera un esame di abilitazione simulato con un punteggio intorno al 10% più alto dei partecipanti al test”, scrive OpenAI nel suo annuncio. “Al contrario, il punteggio di GPT-3.5 era intorno al 10% inferiore.”
OpenAI prevede di rilasciare la funzionalità di testo di GPT-4 tramite ChatGPT e la sua API commerciale, ma inizialmente con una lista d’attesa . GPT-4 è attualmente disponibile per gli abbonati di ChatGPT Plus. Inoltre, l’azienda sta testando la capacità di input di immagini di GPT-4 con un unico partner, Be My Eyes , un’imminente app per smartphone in grado di riconoscere una scena e descriverla.
Insieme al sito Web introduttivo, OpenAI ha anche rilasciato un documento tecnico che descrive le capacità di GPT-4 e una scheda del modello di sistema che descrive in dettaglio i suoi limiti.
GPT sta per “trasformatore generativo pre-addestrato” e GPT-4 fa parte di una serie di modelli linguistici fondamentali che risalgono al GPT originale nel 2018. Dopo il rilascio originale, OpenAI ha annunciato GPT-2 nel 2019 e GPT-3 in 2020. Un ulteriore perfezionamento chiamato GPT-3.5 è arrivato nel 2022. A novembre, OpenAI ha rilasciato ChatGPT , che a quel tempo era un modello di conversazione perfezionato basato su GPT-3.5.
I modelli di intelligenza artificiale della serie GPT sono stati addestrati per prevedere il token successivo (un frammento di una parola) in una sequenza di token utilizzando un ampio corpo di testo estratto in gran parte da Internet. Durante l’addestramento, la rete neurale costruisce un modello statistico che rappresenta le relazioni tra parole e concetti. Nel corso del tempo, OpenAI ha aumentato le dimensioni e la complessità di ciascun modello GPT, il che ha portato a prestazioni generalmente migliori, modello su modello, rispetto a come un essere umano completerebbe il testo nello stesso scenario, anche se varia in base all’attività.
Per quanto riguarda le attività, le prestazioni di GPT-4 sono notevoli. Come con i suoi predecessori, può seguire istruzioni complesse in linguaggio naturale e generare lavori tecnici o creativi, ma può farlo in modo più approfondito: supporta la generazione e l’elaborazione fino a 32.768 token ( circa 25.000 parole di testo), il che consente molte creazione di contenuti o analisi di documenti più lunghi rispetto ai modelli precedenti.
Durante l’analisi delle capacità di GPT-4, OpenAI ha fatto eseguire al modello test come l’ Uniform Bar Exam , il Law School Admission Test (LSAT) , il Graduate Record Examination (GRE) Quantitative e vari test per soggetti AP. In molti dei compiti, ha segnato a livello umano. Ciò significa che se GPT-4 fosse una persona giudicata esclusivamente in base alla capacità di sostenere i test, potrebbe entrare nella facoltà di giurisprudenza e probabilmente anche in molte università.
Per quanto riguarda le sue capacità multimodali (che sono ancora limitate a un’anteprima di ricerca), GPT-4 può analizzare il contenuto di più immagini e dar loro un senso, come comprendere una barzelletta di sequenza multi-immagine o estrarre informazioni da un diagramma. Microsoft e Google hanno recentemente sperimentato capacità multimodali simili. In particolare, Microsoft ritiene che sarà necessario un approccio multimodale per ottenere ciò che i ricercatori di intelligenza artificiale chiamano “intelligenza generale artificiale” o intelligenza artificiale che svolge compiti generali a livello di un essere umano.
Riley Goodside, ingegnere del prompt dello staff presso Scale AI, ha fatto riferimento ad “AGI” in un tweet mentre esaminava le capacità multimodali di GPT-4, e il dipendente di OpenAI Andrej Karpathy ha espresso sorpresa che GPT-4 potesse risolvere un test che ha proposto nel 2012 sulla comprensione di un modello di visione AI perché un’immagine è divertente
OpenAI ha dichiarato che il suo obiettivo è sviluppare AGI in grado di sostituire gli esseri umani in qualsiasi attività intellettuale, sebbene GPT-4 non sia ancora disponibile. Poco dopo l’annuncio di GPT-4, il CEO di OpenAI Sam Altman ha twittato : ” È ancora difettoso, ancora limitato e sembra ancora più impressionante al primo utilizzo di quanto non faccia dopo che ci passi più tempo”.
Ed è vero: GPT-4 è tutt’altro che perfetto. Riflette ancora pregiudizi nel suo set di dati di addestramento, allucinazioni (inventa falsità dal suono plausibile) e potrebbe potenzialmente generare disinformazione o consigli dannosi.
L’asso nella manica di Microsoft
L’annuncio GPT-4 simultaneo di Microsoft significa che OpenAI è presente su GPT-4 almeno da novembre 2022, quando Microsoft ha testato per la prima volta Bing Chat in India.
“Siamo felici di confermare che il nuovo Bing è in esecuzione su GPT-4, personalizzato per la ricerca”, scrive Microsoft in un post sul blog. “Se hai utilizzato il nuovo Bing in anteprima in qualsiasi momento nelle ultime sei settimane, hai già dato un’occhiata in anticipo alla potenza dell’ultimo modello di OpenAI. Poiché OpenAI aggiorna GPT-4 e oltre, Bing beneficia di questi miglioramenti per garantire ai nostri utenti le funzionalità di copilota più complete disponibili”.
La timeline di Bing Chat corrisponde a un suggerimento anonimo Ars Technica ha sentito lo scorso autunno che OpenAI aveva GPT-4 pronto internamente ma era reticente a rilasciarlo fino a quando non fosse stato implementato un migliore guard rail. Sebbene la natura dell’allineamento di Bing Chat fosse discutibile , i guard rail di GPT-4 ora si presentano sotto forma di un ulteriore addestramento all’allineamento. Utilizzando una tecnica chiamata apprendimento per rinforzo dal feedback umano ( RLHF ), OpenAI ha utilizzato il feedback umano dai risultati di GPT-4 per addestrare la rete neurale a rifiutarsi di discutere argomenti che OpenAI ritiene sensibili o potenzialmente dannosi.
“Abbiamo passato 6 mesi ad allineare in modo iterativo GPT-4 utilizzando le lezioni del nostro programma di test contraddittorio e ChatGPT”, scrive OpenAI sul suo sito Web, “risultando nei nostri migliori risultati in assoluto (anche se tutt’altro che perfetti) su fattualità, guidabilità, e rifiutando di uscire dai guardrail”.