fAInova Michala Kubíčka: Proč nám AI kecá?

Měl jsem kdysi známou. Skvěle vyprávěla. V Berlíně potkala Maradonu, krátce randila se známým hercem, který se pak skoro zabil při výstupu na třetí osmitisícovku, mezi těmi výstupy s ním stihla otěhotnět, ale když byla na návštěvě u Hanse Ruedi Gigera, který vymyslel podobu Vetřelce, při pohledu na jeho nepublikovaná monstra miminko ztratila.

Napsala disertaci o keltských motivech v moderní architektuře, knihu ale ještě nestihla vydat. Všechno znělo úžasně. Jen občas něco skřípalo. Jako třeba, že Maradona v té době v Berlíně rozhodně nebyl. A že disertaci nemůžete obhájit bez vysoké školy.

Psychiatrie pro podobné projevy zná pojem pseudologia fantastica. Mýtománie nebo také bájná lhavost. Zpravidla nejde o zlý úmysl. Pacientům obvykle chybí pozornost. A protože je za pestré historky okolí odměňuje, mozek povzbuzen dopaminem si časem sklouzne k tomu, že detail dofantazíruje. Někteří si nakonec sami uvěří.

S kamarádkou jsem postupem času ztratil kontakt. Vzpomenu si na ni pokaždé, když mi AI hodí přesvědčivou kravinu. Když halucinuje.

Jazykový model ovšem neříká nepřesnosti či nepravdy ze zlomyslnosti. Vypouští halucinace proto, že jeho hlavní disciplínou není pravda, ale přesvědčivě navazující text. V další fázi tréninku lidé často odměňují odpovědi, které působí užitečně, plynule a jistě. Říká se tomu reinforcement learning from human feedback, RLHF. Neznamená to, že by někdo model přímo učil lhát. Znamená to spíš, že přiznaná nejistota se v mnoha situacích tváří jako horší služba než hladká odpověď. A hladká odpověď se dá vyrobit i tam, kde fakta chybí.

A tak vám vymyslí citaci z neexistující knihy. Vědeckou studii, která nikdy nevyšla. Soudní rozhodnutí, které se nestalo. Všechno krásně formulované, srozumitelné, pravděpodobné. Chybí jen jedna maličkost. Fakta.

Pozornost je měna

Ekonom a psycholog Herbert Alexander Simon to popsal už před půlstoletím. Čím víc informací, tím cennější je pozornost. Z toho se vyvinula ekonomika pozornosti. Paradox je, že AI netouží po pozornosti. Nemá touhu po ničem. Nicméně celá její existence stojí na pozornosti naší. Každý prompt, každý palec nahoru, každá další odpověď, každá další sekunda u obrazovky je signál, že odpovědi jsou dobré. Provozovatelé si chtějí udržet uživatele. Uživatelé chtějí odpovědi. Model se učí, co si vyslouží další klik.

Stejně jako moje známá. Která chtěla, aby u stolu zůstali ještě o hodinu déle.

Rozdíl je jediný. Ona občas zaváhala. Cítila možná stud. AI ne. Halucinuje s přesvědčivostí politika před volbami. Neví, že lže. Neví vůbec nic. Jen předpovídá, jaké slovo má následovat, aby celek zněl smysluplně. Potíž je, že u AI nemáme signály, podle kterých na lidech poznáváme nejistotu při lhaní. Člověk se zakoktá, udělá pauzu, uhne pohledem, zrudne. AI neuhne. Nezaváhá. A tak jí věříme, protože zní jistě. Sebevědomé tvrzení bereme vážněji než nejisté. „Někdy v sedmnáctém století“ zní hloupě. „Roku 1672“ zní jako fakt. I když jsme si to právě vymysleli. Nebo si to vymyslel model.

Halucinace nezmizí. Jsou podstatou modelu. Můžete proti nim nasadit vyhledávání, citace, kontroly. Ale ze stochastického papouška encyklopedii sestavenou lidmi, kteří umí ověřovat prameny a žili v reálném světě, neuděláte.

Tak co s tím? Chovejte se k AI jako k mé známé. Poslouchejte rádi, smějte se historkám. Ale když dojde na cokoli, kde záleží na pravdě, ověřte si to. Jméno, datum, číslo, citaci. AI nemá svědomí, které by ji nutilo zaváhat. Vy ho máte. AI nemá odpovědnost. Vy ano.

Známá se odstěhovala, prý do Kanady. Možná tam zrovna teď u stolu vypráví, jak v Praze trénovala ChatGPT. Klidně tomu věřím. Dělala to dobře. Anebo vůbec do Kanady neodjela. Třeba právě sedí někde v Dolních Počernicích na zahrádce U Lípy a baví společnost historkami z Kanady, jak lovila medvědy a učila Diega lyžovat.

Autor je AI mentor a programátor