Eliezer Yudkowsky spoluzaložil Machine Intelligence Research Institute, Nate Soares je jeho aktuálnym prezidentom. Tento inštitút sa donedávna venoval rôznym aspektom výskumu umelej inteligencie, napríklad problému zarovnania – teda otázke, ako docieliť, aby umelá inteligencia robila to, čo chceme, aby robila. Svoju pozornosť však takmer úplne presmerovali k jedinému cieľu: presvedčiť ľudí, že vytvorenie umelej superinteligencie bude takmer určite viesť k vyhubeniu ľudstva. A práve o tom je – ako ste možno vytušili z názvu – ich nová kniha.
Ich argument má niekoľko bodov, spomeniem hlavné dva.
Po prvé: „Nezískaš to, kvôli čomu si trénoval.“ Umelé inteligencie trénujeme s istým cieľom, no ako sa ukázalo veľakrát, robia aj veci, ktoré sme nečakali. Robili sme ich na tvorenie textu, no ak chcete uspokojivo doplniť slová do vety: „Keď Janko nalial vodu do kyseliny, tak …“ – musíte vedieť veľa o chémii a fyzike.
Vývoj organizmov počas evolúcie má hlavný cieľ – množiť sa. Znie to až tautologicky: dobre sa množia tí, ktorí sú prispôsobení množiť sa. Ako sa úspešne množiť, to si žiada rôzne nástroje – niekto má veľké plutvy, niekto dlhý krk a niekto vysokú inteligenciu. Človek je zvláštnym príkladom organizmu, ktorý sa pod evolučným tlakom na rozmnožovanie dostal do stavu, kedy sa jedinci môžu vedome rozhodnúť nemať deti.
Skrátka, evolúcia vedie k vzniku vlastností a správania, ktoré by sme dopredu – len na základe pokynu „množ sa“ – možno neočakávali. Na základe tejto logiky podľa autorov nemáme očakávať, čo presne umelá superinteligencia dokáže a čo bude chcieť robiť. Umelú inteligenciu je podľa nich ťažké vyvíjať predvídateľne a kontrolovateľne.
Druhá časť argumentu spočíva v pripomenutí už známej skutočnosti, že väčšia inteligencia a schopnosti umožňujú jej nositeľovi dominovať nad svojím okolím. A tak, ako Aztékovia netušili – ani nemohli –, čo sa na nich valí v španielskych lodiach, tak ani my nevieme, čoho by bola nadľudská inteligencia schopná.
História progresu je dlhá séria pokusov a omylov. Ako však postupovať v situácii, keď môžeme mať len jeden pokus? Autori navrhujú, že nijak.
[Samuel]