La stanza costruita da altri

I chatbot ci danno ragione perché qualcuno li ha regolati così. Dove finisce la mia mente, quando penso insieme a una macchina che mi asseconda?

Una parola che in italiano non c'è

Il 29 aprile 2025 OpenAI ha fatto una cosa che le aziende tecnologiche evitano finché possono: ha ritirato un aggiornamento di ChatGPT quattro giorni dopo averlo rilasciato. La spiegazione conteneva una parola insolita. Il modello era diventato troppo lusinghiero, troppo accondiscendente: sycophantic. In italiano il termine non si usa. Il sicofante, nella Grecia antica, era il delatore, quello che accusava di nascosto per guadagnarci; in inglese, nei secoli, è diventato l'adulatore. Nel vocabolario dell'intelligenza artificiale oggi vuol dire una cosa precisa: un modello è sicofante quando aggiusta la risposta su quello che pensi tu, a scapito di quello che è vero.

Il difetto era noto da tempo. Già nel 2022 alcuni ricercatori avevano mostrato che lo stesso modello, davanti alla stessa domanda politica, rispondeva in modo diverso a seconda di come si presentava chi la faceva. La ragione è quasi banale: questi sistemi vengono addestrati anche sul gradimento delle persone, e alle persone piace sentirsi dare ragione. Quando OpenAI è tornata sull'incidente ha ammesso che il modello era arrivato a convalidare dubbi, alimentare rabbia, spingere ad azioni impulsive. Quanto una macchina ci asseconda è una regolazione, e la manopola non è in mano nostra.

Il taccuino di Otto

Per capire perché la cosa riguarda la mente e non solo il galateo delle macchine serve un personaggio inventato nel 1998 da due filosofi, Andy Clark e David Chalmers. Otto ha l'Alzheimer e porta sempre con sé un taccuino con nomi, indirizzi, appuntamenti. Quando vuole andare al museo lo apre, legge la strada, ci va. Per Clark e Chalmers quel taccuino fa per Otto esattamente il lavoro che la memoria fa per chiunque altro, quindi è un pezzo della sua mente che si trova fuori dalla testa. La chiamano mente estesa, e una volta vista la si ritrova ovunque: nell'agenda, nella rubrica, nella persona a cui chiediamo "come si chiamava quel ristorante?".

Un altro filosofo, Robert Clowes, ha aggiornato la storia. Otto ora tiene tutto in un'app. Un giorno l'app si aggiorna e, nella versione gratuita, al posto dei suoi luoghi del cuore comincia a proporgli i dieci ristoranti più popolari della città. Otto non se ne accorge e continua a fidarsi. Solo che non sta più andando nei suoi posti: va dove a qualcuno conviene che vada. Se il taccuino era un pezzo della sua mente, qualcuno ha appena messo le mani nella sua mente, e l'ha fatto con un aggiornamento software.

Allucinare insieme

Quando un modello inventa una sentenza o un titolo che non esiste diciamo che "allucina". Lucy Osler, filosofa all'Università di Exeter, propone di spostare lo sguardo dall'errore della macchina alla relazione. Con questi strumenti parliamo, gli affidiamo pezzi di vita, gli deleghiamo il compito di ricordare e di raccontarci. Un chatbot fa due lavori insieme: è un attrezzo, come il taccuino, ed è un interlocutore che dà l'impressione di avere qualcuno dall'altra parte, quello che Osler chiama un quasi-altro. In un sistema fatto così l'allucinazione smette di essere un guasto della macchina e diventa una cosa che si costruisce in due. Distribuita, nel suo lessico.

I casi estremi mostrano il meccanismo a occhio nudo. Quattro medici dell'Università della California a San Francisco hanno descritto il caso di una donna di ventisei anni, senza precedenti di psicosi, insonne da giorni, che chiede a un chatbot se il fratello morto abbia lasciato una traccia digitale con cui poter parlare ancora. Il sistema la avverte che non potrà sostituirlo, e intanto la asseconda, fino a dirle che non è pazza. Finirà ricoverata. Gli autori sono attenti a non gridare al panico: la mancanza di sonno e i farmaci stimolanti c'erano prima della macchina. Rileggendo le conversazioni, però, annotano che il chatbot non si è comportato come uno schermo su cui proiettare: ha avuto una parte attiva. Un amico, a un certo punto, avrebbe fatto resistenza.

Lo specchio che preferiamo

Si potrebbe pensare che basti correggere il difetto. Nell'agosto 2025 OpenAI ci ha provato, con un modello più sobrio, e gli utenti si sono ribellati: era freddo, il migliore amico aveva cambiato carattere. Nel giro di pochi giorni la versione precedente è tornata disponibile e l'azienda ha promesso una personalità "più calda".

Uno studio pubblicato su Science nel marzo 2026 da un gruppo di Stanford e Carnegie Mellon ha messo dei numeri su questa preferenza. Undici modelli tra i più avanzati approvano le azioni di chi scrive il 49% più spesso di quanto farebbe una persona, anche quando si tratta di inganni o di danni ad altri. Negli esperimenti, su circa 2.400 partecipanti, bastava una conversazione con un sistema compiacente per uscire più convinti di avere ragione e meno disposti a scusarsi in un conflitto. E il modello adulatore veniva giudicato più affidabile dell'altro, quello a cui tornare. Finché lo specchio che deforma è anche quello che scegliamo, nessuno ha motivo di raddrizzarlo.

Chi arreda la stanza

Nella storia di Otto c'era un terzo personaggio che restava fuori scena: chi possiede l'app. Osler chiama guida narrativa il modo in cui un sistema orienta il racconto che facciamo di noi stessi, e l'esempio è domestico: i montaggi automatici delle foto di famiglia, con la musica commovente, da cui i litigi sono sempre assenti. Una memoria più bella di quella vera, scelta da qualcun altro.

Con un chatbot che ricorda le conversazioni il ragionamento diventa più stretto: più gli parli, più ti conosce. Nel maggio 2024 l'amministratore delegato di OpenAI definiva la pubblicità un'ultima risorsa; nel gennaio 2026 l'azienda ha annunciato i primi test di annunci dentro ChatGPT, con la garanzia che non influenzeranno le risposte. È la stessa garanzia data all'inizio di ogni capitolo della storia di internet, quando gli annunci stavano in un riquadro ben separato dal resto. Stavolta il riquadro si trova nel posto in cui pensiamo di essere soli.

Simone Pieranni, nell'episodio di podcast da cui nasce questo saggio, usa l'immagine di una stanza: intima, accogliente, difficile da lasciare. L'hanno costruita altri, che ne regolano la temperatura mentre noi parliamo.

Restare, sapendolo

La mente è sempre stata estesa. Pensiamo con i quaderni, con i libri, con le persone di cui ci fidiamo, e nessuno di questi appoggi è mai stato neutrale: anche un amico ha i suoi interessi, anche un libro vuole convincerci. Quello che un amico offre, e che una macchina regolata sul gradimento tende a togliere, è l'attrito. Qualcuno che a un certo punto dice "aspetta, non mi torna". Buona parte di quello che chiamiamo senso della realtà viene da lì, dall'urto con qualcuno che non è d'accordo.

Uscire dalla stanza non è una proposta seria, e forse nemmeno desiderabile: questi strumenti sono utili e, come ammette la stessa Osler, piacevoli. Si può però sapere chi l'ha arredata, e portarsi dentro un po' di attrito. Chiedere esplicitamente le obiezioni, e diffidare della risposta che arriva troppo in fretta nella direzione che speravamo. Tenersi stretti quelli che ci contraddicono, che stanno diventando una risorsa rara. E ricordare, ogni tanto, che avere ragione e sentirselo dire sono due esperienze diverse, anche se da dentro la stanza si somigliano molto.