Wykorzystanie sztucznej inteligencji sprawia, że przeceniamy nasze zdolności poznawcze?
Nowe badania przeprowadzone przez naukowców z Uniwersytetu Aalto ostrzegają, że nie powinniśmy ślepo ufać dużym modelom językowym w zakresie logicznego rozumowania – zatrzymanie się na jednym poleceniu ogranicza użyteczność ChatGPT bardziej, niż wielu użytkowników zdaje sobie sprawę.
Jeśli chodzi o ocenę własnych umiejętności, badania konsekwentnie pokazują, że mamy tendencję do postrzegania siebie jako nieco lepszych od przeciętnej. Zjawisko to jest szczególnie silne u osób, które osiągają słabe wyniki w testach poznawczych. To tzw. efekt Dunninga-Krugera (DKE) – im gorsze wyniki danej osoby, tym bardziej ma ona skłonność do przeceniania swoich kompetencji, a im jest „mądrzejsza”, tym mniej jest pewna swoich faktycznych możliwości.
Jednak badania naukowców z Uniwersytetu Aalto pokazują, że w przypadku sztucznej inteligencji – a konkretnie dużych modeli językowych (LLM) – efekt DKE nie znajduje zastosowania. Zespół odkrył, że wszyscy użytkownicy mają trudność z trafną oceną swoich wyników podczas korzystania z ChatGPT. Co więcej, wszyscy uczestnicy badania przeceniali skuteczność własnych działań. Badacze zidentyfikowali wręcz odwrócony efekt Dunninga-Krugera – tendencję osób uważających się za bardziej kompetentne w zakresie AI do jeszcze większego przeceniania swoich umiejętności.
– Odkryliśmy, że w przypadku sztucznej inteligencji efekt DKE zanika. Co zaskakujące, wyższy poziom wiedzy o AI wiąże się z większą pewnością siebie. Spodziewalibyśmy się, że osoby dobrze znające sztuczną inteligencję będą nie tylko lepiej radzić sobie z jej obsługą, ale także trafniej oceniać jej działanie – jednak tak nie jest – powiedział profesor Robin Welsch.
To odkrycie stanowi kolejny dowód na rosnącą liczbę badań wskazujących, że ślepe zaufanie do wyników generowanych przez AI wiąże się z ryzykiem – m.in. „ogłupianiem” użytkowników, utratą umiejętności krytycznej analizy informacji, a nawet obniżeniem kwalifikacji zawodowych. Choć uczestnicy osiągali lepsze wyniki, korzystając z ChatGPT, niepokojące jest to, że wszyscy przeceniali swoje rezultaty.
– Znajomość sztucznej inteligencji jest dziś naprawdę istotna, dlatego ten efekt jest tak uderzający. Wiedza o AI może mieć charakter techniczny, ale niekoniecznie pomaga ludziom w bardziej świadomej i skutecznej interakcji z systemami sztucznej inteligencji – dodał Welsch.
Artykuł został opublikowany 27 października w czasopiśmie Computers in Human Behavior.
Naukowcy zaprojektowali dwa eksperymenty z udziałem około 500 uczestników, którzy wykonywali zadania logiczne pochodzące z popularnego amerykańskiego testu wstępnego na studia prawnicze (LSAT). Połowa badanych korzystała ze wsparcia AI, a połowa rozwiązywała zadania samodzielnie. Po każdym pytaniu uczestnicy oceniali własne wyniki – a jeśli ich samoocena była trafna, otrzymywali dodatkowe wynagrodzenie.
– Zadania tego typu wymagają dużego wysiłku poznawczego. W dzisiejszych czasach, gdy ludzie coraz częściej korzystają z AI, typowe jest powierzanie jej rozwiązywania trudnych problemów logicznych – właśnie takich jak te – wyjaśnia Welsch.
Źródło: Uniwersytet Aalto
Czytaj też: Rzeczywistość wirtualna zmniejsza obojętność wobec zmian klimatu?
Grafika tytułowa: Steve Johnson / Unsplash
