U okviru ovog istraživanja, naučnici su testirali gotovo sve vodeće velike jezičke modele veštačke inteligencije koristeći Montrealsku skalu za procenu kognitivnih sposobnosti (Montreal Cognitive Assessment Scale). Ova skala se inače koristi za detekciju Alchajmerove bolesti kod ljudi. Maksimalni broj poena na testu je 30, a rezultat od 26 ili više smatra se normalnim.

Studija je takođe otkrila da svi modeli imaju značajne probleme u zadacima koji zahtevaju:

Vizuelno-prostorne sposobnosti
Izvršne funkcije
Empatiju i interpretaciju složenih vizuelnih scena
Ovi nedostaci ukazuju na ključne slabosti koje ograničavaju upotrebu veštačke inteligencije u kliničkim i drugim profesionalnim okruženjima.

Naučnici smatraju da trenutna “digitalna demencija” kod AI modela ukazuje na to da oni nisu spremni da zamene lekare ili druge stručnjake u bliskoj budućnosti. Ova istraživanja ističu važnost daljeg razvoja AI kako bi se prevazišli postojeći problemi i unapredile njene sposobnosti, prenosi mydrivers.

Simptom/Benchmark