Nedávno sme písali o tom, ako vznikol jazykový model ChatGPT – znelo to v princípe jednoducho, tak prečo ho teda nikto nevyrobil skôr? Za odpoveďou sa pozrime do minulosti. Pred šiestimi rokmi kraľovali jazykovým modelom rekurentné neurónové siete, ktoré získali vďaka jednoduchému triku schopnosť pamäte. Fungovalo to takto: Do rekurentnej siete vkladáte jedno slovo za druhým, v poradí v akom idú za sebou v texte. Sieť každé slovo spracuje a na výstupe vráti dve veličiny: výstup pre dané slovo a svoj vnútorný stav – svoju pamäť. Keď do siete vložíte ďalšie slovo, vložíte spolu s ním aj pamäť po predošlom…
Pamäť vs. Pozornosť
Relevance: 0% Posted on: 15. júna 2023