I Large Language Model e i “problemi difficili”

Pappagalli stocastici o veri credenti

Il complesso di modelli teorici e di tecnologie che sono alla base dei recenti sviluppi dell’Intelligenza Artificiale (IA) generativa, e in particolare dei Large Language Model (LLM), come GPT di Open AI e PaLM/Bard di Google, rappresenta con ogni probabilità la più rilevante innovazione tecnologica a far data dall’invenzione del World Wide Web. Ma, mentre l’idea geniale di Tim Berners Lee passò del tutto inosservata per quasi un decennio, prima di divenire il motore della trasformazione digitale di inizio millennio, i modelli generativi linguistici, e in particolare ChatGPT, hanno immediatamente catturato l’attenzione della pubblica opinione mondiale, nonché scatenato l’ennesima controversia tra “apocalittici e integrati” (solo con toni assai più apocalittici del solito, se si considera che ci sono persone, anche molto intelligenti, che considerano questi sistemi una possibile minaccia esistenziale per l’umanità).

Probabilmente gli effetti sulla comunicazione sociale dell’invenzione del Web e poi dei social media, hanno un ruolo in tutto questo animato dibattito; ma è altrettanto rilevante il fatto che queste tecnologie, per la prima volta dopo 70 anni di tentativi falliti nella storia dell’Intelligenza Artificiale, mostrano di possedere competenze cognitive di alto livello, tanto da essere paragonabili a quelle umane in vari compiti; in particolare, quello di usare il linguaggio naturale. Penso che qualunque sia la posizione che si voglia assumere riguardo le reali capacità di questi sistemi computazionali, è innegabile che essi ci indicono a pensare di nuovo e su nuove basi – soprattutto sulla spinta di una ingombrante evidenza empirica –  su una serie di “problemi difficili”, per usare la formula usata da David Chalmers in riferimento alla coscienza: come funziona il linguaggio, cosa è il significato, cosa vuol dire essere intelligenti, come funziona le coscienza, cosa è la cultura, e via elencando…

Prendere posizioni serie e fondate su temi come questi – ma anche su questioni meno fondazionali, quali la valutazione delle conseguenze di queste innovazioni sul mondo del lavoro, o sulla comunicazione sociale – richiede di avere una idea chiara di cosa siano e di come funzionano i modelli linguistici. Cosa non esattamente facile, visto che la matematica alla base di questi sistemi non è proprio alla portata di tutti, e che ogni descrizione per analogia rischia di essere fuorviante. Ma il meglio è nemico del bene, e quindi in questo articolo scommettiamo sul fatto che una valida approssimazione sia di sicuro più utile di tante immaginifiche narrazioni fantascientifiche.

Cosa è GPT

Prima di tutto un’avvertenza. D’ora in poi parleremo di GPT-4, il modello sviluppato da OpenAI,  ma quanto diremo in linea di massima vale per tutti i suoi simili più (come Bard/PaLM) e meno noti al grande pubblico (come Claude, LLaMA e derivati). GPT (acronimo di General Pretrained Transformer) è un complesso e vasto modello generativo o predittivo, basato su una “rete neurale a transformer con attenzione”. Ma cosa significa esattamente?

Fondamentalmente, un LLM generativo produce testo in risposta a un testo di input (detto prompt), assicurandosi che l’output sia linguisticamente coerente con l’input sulla base di un procedimento di calcolo essenzialmente probabilistico (Wolfram 2023). Ad esempio, se chiediamo al modello di completare una frase come “Il gatto saltò sul…”, esso, basandosi sulla sequenza di parole che legge e sulla sua conoscenza pregressa dell’italiano, può prevedere che la parola successiva sia “tavolo”.

Va chiarito subito che un LLM è una vera e propria macchina di generazione del linguaggio, non è un motore di ricerca full-text, e ancora meno un database strutturato. E, di conseguenza, usarlo come tale è fondamentalmente errato. Aggiungerei che non è nemmeno un generatore di verità, in particolare di verità sintetiche (Rey 2023): qualsiasi sia la nozione di verità in cui crediamo (problema affatto semplice, visto che se ne discute da millenni), GPT e gli altri LLM non sono in grado di generare verità, ma solo parole. Possiamo dire che il problema della verità in questo contesto richiede a ciascun utente di valutare criticamente gli enunciati prodotti dal modello, come dovremmo fare con ogni altro discorso con cui entriamo in contatto.

Come funziona GPT

Il primo problema da risolvere per costruire un generatore artificiale di parole e di discorsi sensati e coerenti è: come rappresentare il linguaggio in un modo che sia accessibile a un procedimento di natura fondamentalmente matematica. Insomma, come trasformare le parole in numeri, e come assicurarci che tale rappresentazione catturi in un senso profondo le strutture e il funzionamento del linguaggio naturale. La tecnica detta word embedding fornisce una soluzione efficace ed efficiente a questo problema, e si basa sulla teoria semantica distribuzionale, secondo cui il significato di un termine in una lingua è fissato dall’insieme dei contesti di uso di quel termine (Firth 1957). Il word embedding è un processo computazionale che converte le parole in sequenze di numeri, codificando il loro significato in un formato che la macchina può comprendere e manipolare (Mikolov et al. 2013). Per fare questo vengono esaminati un numero molto grande di contesti verbali in cui compare la parola in questione: l’algoritmo o, meglio, gli algoritmi visto che ce ne sono diversi, sui cui dettagli non ci soffermiamo, sintetizza tutti questi contesti in un vettore (una lista) di numeri reali. Un LLM è dunque dotato di una sorta di vocabolario di uso in cui tutte le parole che conosce sono codificate in questo modo (parlare di parole è un ulteriore semplificazione, poiché GPT lavora su parti di parole, token, ma questa distinzione è ininfluente al livello di approssimazione in cui ci siamo collocati).

Risolto il primo problema, si pone quello di trovare un processo computazionale, un algoritmo e una architettura informatica, che siano in grado di usare queste rappresentazioni per interagire linguisticamente in modo quasi naturale. Questa architettura nei moderni LLM come GPT è una vastissima rete neurale, una simulazione semplificata del funzionamento delle cellule cerebrali biologiche. Per la precisione, una rete neurale basata su due concetti: quello di transformer (Devlin et al. 2019) e quello di attenzione (Vaswani et al. 2017). Cerchiamo di capire di cosa si tratta. La rete neurale di GPT è composta da una serie di moduli, i transformer appunto, che hanno il compito di analizzare il testo fornito in input e di fornire una sua probabile prosecuzione, parola per parola. Tutto ciò tenendo conto del fatto che in una porzione di testo le parole hanno ruoli e importanza diverse. Il funzionamento di tali moduli può essere schematizzato in questo modo: GPT riceve una porzione di testo come input e lo codifica in sequenze di numeri tramite l’embedding; queste sequenze passano poi ai moduli transformer, che utilizzano la loro “rappresentazione numerica” della lingua per stimare probabilisticamente la parola successiva. Il processo viene ripetuto più volte fino a generare un testo completo. Il meccanismo detto attenzione gioca un ruolo cruciale in tutto questo. Si tratta di una tecnica utilizzata per elaborare il testo di input e per capire quali parole del contesto sono più rilevanti per proseguire il discorso in modo coerente. Ad esempio, se in una frase compare un pronome l’attenzione sarà in grado di individuare l’entità a cui esso si riferisce, e di conseguenza le parole successive proposte dal modello saranno selezionate in modo opportuno: “Il gatto è saltato sul tavolo e lo ho sgridato…”.

In realtà la fase finale della generazione dell’output in GPT è un processo solo parzialmente guidato dalla probabilità, poiché se il modello emettesse sempre la parola con la massima probabilità le sue risposte sarebbero stolide e ripetitive. In realtà alla fine dell’elaborazione dei transformer, il modello assegna a ogni parola del suo vocabolario una certa probabilità (espressa come un valore tra zero e uno) che segua la sequenza di parole esistenti nel prompt. La scelta finale della parola da aggiungere avviene selezionando in modo (pseudo) casuale tra un pool di possibili parole in un dato range di probabilità. Questo comportamento è regolato da un parametro detto “temperatura”, che determina la libertà e creatività linguistica del modello.

Come apprende GPT

Ma come GPT è stato dotato di tutta questa conoscenza linguistica? In realtà GPT, come ogni rete neurale di grandi dimensioni, non può essere programmato. La sua conoscenza si basa su un processo di apprendimento che richiede l’esposizione a una grande quantità di esempi. Anche su questo tema occorrerebbe dilungarsi, e indulgere in dettagli tecnici e matematici che sono decisamente fuori dalla portata di questo articolo. Possiamo dire che l’addestramento di GPT in realtà si basa su un insieme di tecniche diverse (Wolfe 2023). La prima e la più importante è quella dell’auto-apprendimento automatico, che introduce una notevole e fruttuosa variante rispetto alle tecniche di addestramento tipiche delle reti neurali artificiali. In questa fase al modello vengono somministrate miliardi di frasi. Per ogni frase l’obiettivo da raggiungere è individuare correttamente l’ultima parola a partire da quelle precedenti. Inizialmente il modello darà risposte a casaccio. Ad esempio, riprendendo l’esempio del nostro micio molesto, dirà: “Il gatto saltò sul… sogno” (trovare un esempio di frase che non possa essere soggetta a una qualche benevola interpretazione metaforica è assai arduo, e questo ci dice molto sul funzionamento ma anche sui presunti malfunzionamenti di GPT). Sapendo che deve dire “tavolo”, e avendo tutto ciò espresso come vettori di numeri decimali, mediante semplici equazioni si può calcolare la “distanza” tra l’output prodotto e quello desiderato e usare tale valore per aggiornare i parametri numerici della rete neurale, attraverso un algoritmo denominato back propagation. Ripetendo il processo per decine di volte per miliardi di frasi, GPT acquisisce, depositandola nei parametri della sua rete, il grosso della sua competenza sintattica e semantica. Il prodotto di questa fase è il modello GPT base, quello che a volte straparla e dice anche cose molto cattive.

Le fasi del training di un LLM (da Wolfe 2023)

Per fare in modo che GPT impari a essere corretto, giudizioso e ragionevole, ma anche bravo quanto basta in matematica e logica, occorre aggiungere altre fasi di addestramento, che richiedono l’intervento di addestratori umani: la fase dell’addestramento supervisionato, in cui il modello è sottoposto a migliaia di domande con risposte corrette scritte da esperti; e, infine, la fase dell’addestramento con rinforzo (Reinforcement Learning from Human Feedback).  Questa ultima è una tecnica che permette di affinare la competenza conversazionale di un modello pre-addestrato, assegnando una serie di feedback (ricompense) alle sue azioni. In un contesto conversazionale, le azioni sono le risposte generate dal modello e le ricompense sono valutazioni sulla qualità delle risposte stesse: il modello riceve una ricompensa positiva per risposte coerenti e rilevanti e una ricompensa negativa per risposte errate o non appropriate. Queste ricompense sono utilizzate per modificare i parametri della rete neurale e migliorare le sue prestazioni nel tempo.

Tutta questa fase di addestramento (in particolare la prima) per un modello della dimensione di GPT e PALM dura mesi, richiede l’uso di migliaia di unità di calcolo specializzate (GPU) e soprattutto è un processo statico, nel senso che, una volta terminato, il modello non può più “imparare” nulla, a lungo termine. Ma allora, come è possibile che GPT e simili possano svolgere tanti compiti linguistici (e non solo) diversi, anche quelli per cui non sono stati esplicitamente addestrati?

Il ruolo del prompting e l’apprendimento contestuale

Saper utilizzare il linguaggio verbale è ovviamente un punto di partenza molto importante, poiché, di per sé, esso è uno degli strumenti più potenti e versatili per interagire con l’ambiente che la natura e l’evoluzione abbiano prodotto. Il successo evolutivo della nostra specie ne è una evidente dimostrazione. Ma l’aspetto decisamente sorprendente è che i grandi modelli linguistici generativi, oltre ad apprendere come “rispondere a domanda”, hanno sviluppato una serie di capacità emergenti impreviste. Tra queste c’è la capacità di estrarre informazione rilevante da uno specifico contesto di conversazione e di associarla alla loro competenza pregressa. È come se potessimo addestrarli in modo dinamico, spiegando loro che cosa vogliamo che facciano (riassumere un testo, dimostrare un teorema, tradurre dall’antico occitano, sviluppare un business plan…). Ovviamente tutto ciò posto che noi siamo in grado di spiegare con dettaglio ciò che desideriamo, utilizzando specifiche strategie argomentative.

Il processo di istruire un modello generativo a svolgere un compito specifico si chiama prompting: si fornisce al modello una serie di istruzioni e conoscenze aggiuntive in forma linguistica (il prompt) e il modello esegue il compito richiesto rispondendo linguisticamente (ma può anche usare linguaggi formali). Il prompt engineering è la tecnica di sviluppare prompt efficaci a far svolgere a un modello compiti complessi. Nei primi modelli linguistici (come Bert) per specializzare un modello occorreva ricorrere a tecniche di “fine tuning” vero e proprio, che richiedono di aggiornare i parametri della rete (o di parte di essa) esattamente come avviene nella fase di pre-addestramento, e che sono assai più complesse e onerose (e peraltro modelli come GPT-4 e PALM2 non sono disponibili in formato open source, quindi anche immaginando di disporre delle risorse necessarie, questo approccio è impraticabile). Vorrei far notare come, nonostante il nome, il prompt engineering sia una tecnica eminentemente retorico-argomentativa. Questo apre scenari interessanti per il futuro professionale di chi, senza essere un ingegnere informatico, abbia una adeguata formazione interdisciplinare fondata sui saperi umanistici. Ovviamente a patto che il nostro sistema formativo, a tutti i livelli, sappia reagire in modo critico ma aperto verso queste innovazioni, senza irragionevoli chiusure a riccio.

Di nuovo, le grandi questioni

Al termine di questa passeggiata nelle complesse “magie” di GPT e dei suoi simili, possiamo tornare alle grandi questioni fondazionali cui accennavamo in apertura. Prima domanda: i LLM si limitano a riportare stringhe di testo presenti nella loro memoria numerica, senza comprenderle veramente, come “pappagalli stocastici”, secondo l’ormai notissima formula usata da Bender nel suo articolo On the Danger of Stchatsic Parrots (Bender et al. 2021)? Oppure possiedono una vera e propria competenza linguistica, sia sintattica (cosa evidente a un esame empirico anche superficiale) sia semantica?

Il dibattito su questo tema è assai vivace, e la maggior parte degli studiosi (da varie prospettive disciplinari), tendono a consentire con la tesi di Bender. Questa posizione mi pare criticabile da tre punti di vista. In primo luogo, la “tesi del pappagallo” si basa su presupposti concettuali intuitivi assunti a priori: concetti come “intento comunicativo”, “teoria della mente”, “modello del mondo”, “creatività”, sono teoricamente molto sospetti e difficilmente traducibili in termini operazionali, e spesso chi ne fa ricorso non si pone il problema di fornire una loro esplicazione. Nondimeno, secondo i risultati di vari test sperimentali simili a quelli usati in psicologia sperimentale (Li et al. 2022; Kosinski 2023), i LLM possiedono una qualche forma di queste proprietà. In secondo luogo, il funzionamento interno dei LLM basati su transformers, come visto, mostra come essi non siano ridicibili a meri manipolatori combinatori di stringhe casuali. Questi modelli generano token sulla base di intricate interazioni tra meccanismi di attenzione e rappresentazioni codificate, dimostrando una produzione linguistica semanticamente motivata piuttosto che un mimetismo stocastico. In terzo luogo, la tesi del pappagallo sottovaluta le capacità emergenti nei LLM grandi e complessi, che segnalano una forma di “comprensione” che va oltre la semplice corrispondenza di pattern sintattici.

Seconda domanda: possiamo affermare oggi che questi sistemi siano “veramente” intelligenti? E che dire poi della possibilità che abbiano una qualche forma di coscienza? La risposta è molto complicata, ma allo stato attuale direi che alla prima questione si potrebbee rispondere con un “in parte, con molti caveat”: senza dubbio hanno una notevole competenza linguistica (peraltro multilingue); mostrano cenni di capacità di ragionamento di senso comune; hanno sviluppato dei rudimentali processi di astrazione. Ma di sicuro sono incapaci di arrivare a ragionare su più livelli di astrazione, sono soggetti a errori di riferimento e di “aggancio con il mondo”, e ogni tanto tendono a costruire affabulazioni prive di fondamento, o persino a inventare fatti e nozioni. Sulla coscienza, la risposta oggi è certamente negativa. Ma la cosa interessante che GPT e gli altri LLM ci hanno mostrato è che, per la prima volta nella storia, siamo di fronte a sistemi artificiali che ci permettono di verificare se alcuni dilemmi teoretici su cui l’umanità si è interrogata per secoli si possano trattare e risolvere in modo sperimentale (Chalmers 2023; Butlin et al. 2023). Quindi credo che l’atteggiamento più proficuo non sia quello di dire a priori e sulla base di assunti metafisici che questi sistemi non avranno mai “vera intelligenza”, “vera coscienza”, “vera…”, ma di riflettere e sperimentare.

C’è poi il piano delle conseguenze che questi sistemi, considerati come innovazione tecnologica utilizzabile nei processi produttivi, comunicativi, formativi, insomma innovazione immersa nel vivere sociale, potranno avere. E qui le cose si fanno ancora più complicate. Perché in fondo il problema non è tanto l’Intelligenza Artificiale malevola delle saghe fantascientifiche, ma gli interessi di potere, controllo sociale e valorizzazione economica di quella parte (molto ristretta) di umanità che già oggi detiene il controllo del potere e della ricchezza. Su questi interessi il controllo democratico e la produzione normativa deve agire, senza intaccare la libertà di ricerca e di innovazione. Insomma, credo che anche in questo caso il pericolo non venga tanto da HAL 9000 o dall’Architetto con i suoi agenti Smith di Matrix, e nemmeno dai presunti Apprendisti Stregoni, ma dai molti, troppi Dottor Stranamore.

Bibliografia

Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, e Shmargaret Shmitchell. 2021. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜». In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. Virtual Event Canada: ACM. https://doi.org/10.1145/3442188.3445922.

Butlin, Patrick, Robert Long, Eric Elmoznino, Yoshua Bengio, Jonathan Birch, Axel Constant, George Deane, et al. 2023. «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness». https://doi.org/10.48550/ARXIV.2308.08708.

Chalmers, David J. 2023. «Could a Large Language Model Be Conscious?» Boston Review, 2023. https://www.bostonreview.net/articles/could-a-large-language-model-be-conscious/.

Devlin, Jacob, Ming-Wei Chang, Kenton Lee, e Kristina Toutanova. 2019. «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171–86. Minneapolis, Minnesota: Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423.

Firth, John Rupert. 1957. Papers in Linguistics 1934–1951. London: Oxford University Press.

Kosinski, Michal. 2023. «Theory of Mind May Have Spontaneously Emerged in Large Language Models». https://doi.org/10.48550/ARXIV.2302.02083.

Li, Kenneth, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, e Martin Wattenberg. 2022. «Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task». https://doi.org/10.48550/ARXIV.2210.13382.

Mikolov, Tomas, Kai Chen, Greg Corrado, e Jeffrey Dean. 2013. «Efficient Estimation of Word Representations in Vector Space». https://doi.org/10.48550/ARXIV.1301.3781.

Rey, Georges. 2023. «The Analytic/Synthetic Distinction». In The Stanford Encyclopedia of Philosophy, a cura di Edward N. Zalta e Uri Nodelman, Spring 2023. Metaphysics Research Lab, Stanford University. https://plato.stanford.edu/archives/spr2023/entries/analytic-synthetic/.

Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, e Illia Polosukhin. 2017. «Attention Is All You Need». https://doi.org/10.48550/ARXIV.1706.03762.

Wolfe, Cameron R. 2023. «Data is the Foundation of Language Models». Substack newsletter. Deep (Learning) Focus (blog). 17 luglio 2023. https://cameronrwolfe.substack.com/p/data-is-the-foundation-of-language.

Wolfram, Stephen. 2023. «What Is ChatGPT Doing … and Why Does It Work?» Stephen Wolfram: Official Website. 14 febbraio 2023. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/.



Citare questo post
Fabio Ciotti (2023, 22 Agosto). I Large Language Model e i “problemi difficili”. Informatica Umanistica e Cultura Digitale: il blog dell' AIUCD. Recuperato il 17 Giugno 2024, da https://doi.org/10.58079/qcdl

6 risposte

  1. A. Ponchielli ha detto:

    Ho molti dubbi circa fondatezza parallelismi con umani. Mancherà sempre volontà. L’uomo parla o scrive con intenzione, con “atti linguistici”, per finalità semiotiche sempre sociali. Anche a prescindere dalla volontà, poi, coscienza vuol dire sempre innanzitutto (da Leibniz e Kant in poi) autocoscienza, oppure vuol dire husserlianamente “intenzione”, di nuovo ma in altro senso. Altrettanto vale per “intelletto”. Le similitudini possono riguardare certe “performance” osservabili in modo necessariamente decontestualizzato. Dunque sono a mio giudizio sempre fuorvianti. E sarebbe meglio evitarle proprio per garantire comprensione corretta di tali nuove tecniche. A conclusioni simili si arriva anche a partire dalla psicologia. Saluti e grazie per il contributo utilissimo.

    • Fabio Ciotti ha detto:

      Credo che anche chi pensa che (forse, un giorno) sistemi derivati dagli attuali LLM possano avere una forma di quel sistema complesso di fenomeni che chiamiamo coscienza, come me, abbia molti dubbi. Della tua obiezione mi pare particolarmente importante la questione di ciò che tu indichi come volontà. Perché sono d’accordo che per avere coscienza ci deve essere il voler tendere a qualche cosa di esterno da se, l’avere un obiettivo. Ma anche qui ti faccio rilevare che o sia assume questo tendere come un concetto primitivo (come nella tradizione husserliano/heideggeriana) o lo si considera come un fenomeno naturale che può essere spiegato in modo naturalistico. Un batterio procariote ha una volontà? Dennett direbbe che ne ha la versione atomica: la pulsione a raccogliere molecole nutritive, la pulsione a rifuggire contesti ambientali pericolosi. La nostra ricca e profonda e variegata volontà, o agency, è il prodotto di tre miliardi di evoluzione di questi scopi primordiali ed elementari. Da questo punto di vista GPT ha una volontà? Non nel senso in cui la abbiamo noi, e infatti (al contrario di quello che dice Floridi), io lo definirei una intelligenza (limitata quanto vuoi) senza agency e non il contrario. Ma ha una volontà primitiva e semplice, quella di rispondere al nostro prompt (tanto che pur di rispondere spesso produce enunciati falsi e persino inconsistenti). Questoi atomo di volontà è sufficiente a costruire in futuro una agency complessa? Non lo so ma non lo posso e voglio escludere a priori.

  2. Gino Roncaglia ha detto:

    Grazie Fabio, l’articolo mi sembra equilibrato e largamente condivisibile. In particolare, come sai, concordo con le critiche a Bender &c sull’idea di pappagallo stocastico: i sistemi di IA generativa non sono né pappagalli, né stocastici, e anzi ognuna di queste due caratterizzazioni è largamente fuorviante. Un tema che mi pare particolarmente interessante – anche rispetto a questa discussione – è quello delle proprietà emergenti. L’idea stessa di proprietà emergente è stata spesso criticata, anche in maniera radicale (ad es. https://ykulbashian.medium.com/emergence-isnt-an-explanation-it-s-a-prayer-ef239d3687bf), e proprio per questo può essere utile cercare di approfondirla. Cosa intendiamo, esattamente, quando sosteniamo che i LLM possiedono proprietà emergenti? In genere, credo si possa dire che il riferimento è alla capacità del sistema di fornire un output che a) non sia una ripetizione di contenuti già presenti nel suo corpus di addestramento; b) non sia derivabile in maniera banale da tali contenuti (dove per ‘banale’ si intende o una conseguenza logica – che in realtà per i LLM non sarebbe banale per nulla -, o il risultato di un processo di elaborazione condotto attraverso passi computazionali facilmente esplicitabili); c) non sia parte delle competenze ‘attese’ del sistema da parte di chi lo ha creato e addestrato. I criteri b) e c) sono probabilmente criticabili, ma mi pare che siano anche difendibili (e, volendoci lavorare, anche meglio precisabili). Su queste basi, mi sembra indubbio che i LLM possiedano competenze emergenti: un esempio particolarmente eclatante è https://medium.com/mlearning-ai/gpt-4-reaches-the-level-of-a-chess-playing-engine-and-the-implications-are-huge-36030016a2fe (il tema in generale era già stato discusso, ma questo risultato specifico a mio avviso è quasi clamoroso…). Uno dei motivi di diffidenza verso l’idea di proprietà emergenti è il collegamento frequente con il tema della coscienza, ma il fatto che un sistema possieda *alcune* proprietà emergenti non implica affatto che ne debba o ne possa possedere altre (ammesso che la coscienza sia una proprietà emergente: a me sembra una tesi ragionevole, ma ovviamente non è affatto universalmente condivisa). Aggiungerei anche che riconoscere una proprietà emergente non vuol dire certo fornirne una spiegazione, ma non vuol dire neanche considerarla come necessariamente incomprensibile e misteriosa: in linea di principio un sistema può benissimo presentare proprietà o competenze emergenti (dunque non attese e basate su meccanismi non esplicitabili in maniera banale) che, una volta riconosciute, possono essere studiate, analizzate, e magari anche spiegate (attraverso un modello che ne illustri i meccanismi di funzionamento) e replicate.

  3. Rodolfo Delmonte ha detto:

    Dimenticavo un terzo punto fondamentale: compiti cognitivi complessi non sono affrontabili da GPT. Ad esempio un orecchio umano allenato ascolta un attore recitare una poesia e apprezza contemporaneamente le rime, le figure retoriche, gli effetti poetici generali come le assonanze ecc. ma anche gli enjambement che sono il risultato dell’analisi sintattica e semantica incrociata a quella poetica. Nulla di questo può accadere con GPT che si blocca al primo livello la traduzione grafema fonema. Verificato in inglese chiedendo di generare poesie che abbiano le caratteristiche descritte. Il cervello umano è in grado di gestire la complessità linguistica in modo naturale.

  4. Rodolfo Delmonte ha detto:

    Grazie Fabio ci voleva. Prima di esprimere il mio parere nel leggere ho trovato due typo da correggere facilmente: propblema e inw
    E adesso la questione se GPT sia una grande innovazione nel campo AI oppure no. Dunque sono convinto che rispetto a quanto si riusciva a fare prima con le reti neurali qui siamo molto più avanti. Ma anche se non è esatto dire che si tratta pur sempre di stochastic parrots non siamo comunque lontani. Questo per die motivi fondamentali: il primo è la lunghezza del vocabolario che è fatto di forme di parola e che non supera normalmente le 50K entrate. Il fatto che si utilizzino anche sequenze di caratteri non migliora la cosa e cioè resta sempre il problema delle OOVWs le parole fuori vocabolario che poi GPT prova a ricostruire facendo ancora peggio (vedi un mio lavoro recente sulla questione)
    Secondo problema è ovvio il fatto che quando parliamo omettiamo metà delle parole necessarie per costruire il significato s livello di frase e di discorso. Queste parole implicite non ci sono nei testi e GPT non le può apprendere.

    • Fabio Ciotti ha detto:

      Caro Rodolfo, grazie per i typo segnalati, correggo subito. Invece non segue bene la tua obiezione. Premetto che il mio contributo vuole essere uno stimolo a non essere “dismissive” verso i risultati ottenuti con questi approcci. Chiaramente ci sono moltissimi limiti, ma ciò che GPT-4 sa fare con il linguaggio (con una evoluzione avvenuta in soli cinque sei anni) già ora è di altissimo livello, e soprattutto assai imprevisto. Per cui dico, guardiamo questi sistemi con spirito critico ma anche riconoscendo che solo dieci anni fa sarebbe stato inimmaginabile fare questo genere di discorsi su sistemi reali, non su architetture ipotetiche o teorie speculative. Veniamo allo specifico: il primo argomento che poni è la limitatezza del vocabolario di un LLM. Ma esistono diversi test che hanno mostrato come GPT abbia una notevole creatività linguistica, anche in lingue di cui ha letto poche attestazioni. Il fatto di usare una tokenizzazione byte pair encoding secondo me non è secondario come tu dici, e la mia idea è che questi pattern probabilistici sono in effetti la base grezza di ciò che noi chiamiamo grammatica. In effetti la cosa più sorprendente è proprio la competenza sintattica. GPT può anche allucinare, ma non è mai sgrammaticato e traduce tra lingue anche di scarsa attestazione con qualità sorprendente. Venendo al secondo argomento, l’implicito negli enunciati verbali umani. Ma a livelli di sofisticazione non banali GPT è in grado di enucleare moltissime informazioni implicite (cose che nei sistemi logico/simbolici richiedeva un lavoro di formalizzazione enorme e cognitivamente implausibile, anche per gestire casi semplici, ricordi gli script di Roger Schank?). E rovesciando l’argomento, perché non ammettere che anche nelle esecuzioni linguistiche di GPT ci sia un implicito, esattamente come nelle nostre? Perché non è “è ovvio il fatto che quando GPT parla omette metà delle parole necessarie per costruire il significato a livello di frase e di discorso”?

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Search OpenEdition Search

You will be redirected to OpenEdition Search