Asi ste už počuli o umelej inteligencii 🤖. Napríklad také četboty – môžete s nimi viesť konverzáciu a ony budú poslušne plniť vaše priania. Poradia vám recept na mrkvový koláč, naprogramujú stránku, preložia a zosumarizujú článok.
Spýtal som sa teda četbota ChatGPT, koľko percent mozgu využívame – je známy mýtus, že je to len 10%, aj keď v skutočnosti ho vždy využívame celý. Výsledok vidíte na obrázkoch: v jednej konverzácii četbot odpovedal pravdivo, v tej druhej nepravdivo.
Ako to, keď som v obidvoch prípadoch položil tú istú otázku?
Kostrou ChatGPT je jazykový model GPT, ktorý, rovnako ako všetky ostatné súčasné modely, vznikol optimalizáciou. Každá optimalizácia potrebuje svoj cieľ. Pre GPT je tento cieľ správne predpovedať ďalšie slovo v texte. Funguje to takto:
1.) Začnete s úplne hlúpym modelom, ktorý produkuje náhodné nezmysly.
2.) Postupne mu budete ukazovať rôzne texty a necháte ho vždy predpovedať, akým slovom pokračujú.
3.) Porovnáte pokračovania predpovedané modelom so skutočnými pokračovaniami.
4.) Ak sa model mýlil, poupravíte jeho vnútorné parametre tak, aby bola predpoveď správnejšia, ak predpovedal text správne, poupravíte jeho parametre tak, aby sa toto správanie posilnilo.
5.) Toto opakujete stále dokola s obrovským množstvom textu.
Celá táto procedúra sa volá tréning a na jej konci skončíte s modelom, ktorý dobre spĺňa svoj cieľ – vie vo väčšine textov správne predpovedať nasledujúce slovo.
Vyzerá to síce jednoducho, ale to je len ilúzia.
Za prvé, je to náročné uskutočniť, pretože si to vyžaduje obrovské množstvo dát. Súčasná verzia GPT [1] je natrénovaná na náhodnom výbere webových stránok, z ktorých bolo pomocou rôznych heuristík vybraných cca 600 GB skomprimovaného textu. Pre porovnanie, trénovací dataset je 160-krát väčší ako celá Wikipédia. Áno, aj tú obsahuje celú.
Za druhé, model vie takto získať prekvapivo komplexné schopnosti. Napríklad najlepší spôsob, ako dokončovať texty ako “23 + 57 =” je možno práve naučiť sa sčitovať. Druhý najlepší je naučiť sa všetky takéto príklady naspamäť a ChatGPT je niekde medzi tým. Čo sa ale ešte môže model naučiť, napríklad, aby vedel dokončovať básne?
Späť k mojej konverzácii s ChatGPT. Teraz by už malo byť zrejmé, prečo raz odpovedal na moju otázku pravdivo a raz nepravdivo. V prvom prípade som rozhovor začal vetou ako z nejakej popularizačnej alebo fact-chekingovej stránky, a najčastejšie pokračovanie takého textu je pravdivá odpoveď. V druhom moja časť rozhovoru začala vetou ako vystrihnutou zo stránok, ktoré šíria nepravdivé hlúposti, takže najpravdepodobnejšie pokračovanie bola nepravda, aká sa v takomto kontexte iste často na internete vyskytla.
Vyplývajú z toho hneď dve ponaučenia. Prvé je, že ChatGPT nemá za svoj cieľ odpovedať vždy pravdivo, a tak sa na jeho rady nedá vždy spoľahnúť. Druhé ponaučenie je, že ako sa človek opýta, tak mu ChatGPT odpovie. Ak sa stane rozšíreným zdrojom informácií, bude to prispievať k uzatváraniu sa do vlastných názorových bublín.
[Ján]Nabudúce sa pozrieme trochu podrobnejšie na to, ako ChatGPT funguje pod kapotou.
PS: Medzi GPT a ChatGPT je len jeden krok – doladenie na ľuďmi napísaných konverzáciách a ľudskej spätnej väzbe. Pomáha to ChatGPT byť pravdovravnejším a etickejším, ale úplne spoľahlivé to, ako vidíme, samozrejme nie je. Ak ste zachytili správy o tom, že OpenAI (firma za ChatGPT) platila v Keni tým anotátorov menej ako 2$ na deň, tak toto je pravdepodobne to, čo robili.
[1] Údaje sú pre GPT3, na ktorom je postavené GPT3.5, ktoré používa (neplatená verzia) ChatGPT, zdroj https://arxiv.org/pdf/2005.14165.pdf