Najnowsze badania sugerują, że duże modele językowe przestają być jedynie narzędziami do przewidywania kolejnych słów. W pewnych warunkach potrafią już trafnie przewidywać zbiorcze reakcje ludzi, zanim ci w ogóle odpowiedzą na pytania. To brzmi jak science fiction, ale eksperyment z GPT-4 pokazuje, że AI może odczytywać wzorce ukryte w języku z zaskakującą skutecznością.
GPT-4 i psychologia: co właściwie sprawdzono?
Naukowcy z Hebrajskiego Uniwersytetu i Hadassah Medical School postanowili sprawdzić, czy GPT-4 potrafi przewidzieć odpowiedzi ludzi na pytania osobowościowe na podstawie samych treści pytań. Nie chodziło więc o generowanie sensownych formularzy czy „ładnych” odpowiedzi, ale o oszacowanie tego, jak może zareagować większa grupa osób.
Badanie opublikowane w iScience pokazało, że model potrafi uchwycić wspólne schematy odpowiedzi w populacji. Innymi słowy, AI nie czyta pojedynczego człowieka jak otwartej książki, ale umie odgadnąć przeciętne tendencje dużej grupy.
Dwa skrajnie różne źródła pytań
Aby przetestować możliwości modelu, badacze przygotowali dwa zestawy pytań osobowościowych. Jeden oparto na DSM-5, czyli klinicznym podręczniku używanym przez psychiatrów do diagnozowania zaburzeń osobowości. To materiał mocno osadzony w nauce i wieloletniej praktyce medycznej.
Drugi zestaw oparto na książce z astrologii, przypisującej określone cechy charakteru dwunastu znakom zodiaku. Wybór był celowy, bo zestawiono tekst o bardzo solidnym zapleczu naukowym z materiałem, który w sensie empirycznym nie ma takiego samego statusu.
Jak podkreślił jeden z autorów badania, chodziło o porównanie tekstów bogatych w opisy człowieka, ale różniących się wiarygodnością naukową. Dzięki temu można było ocenić, czy model reaguje na strukturę języka, a nie tylko na psychologiczną precyzję.
To badanie pokazuje, jak silnie modele językowe opierają się na statystycznych wzorcach ukrytych w tekście. Nie oznacza to jednak, że faktycznie „rozumieją” człowieka w takim sensie jak psycholog. Ich trafność wynika raczej z ogromnej skali danych, na których zostały wytrenowane.
600 uczestników i porównanie z Big Five
Oba zestawy pytań trafiły następnie do 600 uczestników badania. Równolegle wypełniali oni także Big Five Inventory, czyli jedno z najlepiej zwalidowanych narzędzi do pomiaru osobowości.
Zanim jednak zebrano odpowiedzi od ludzi, GPT-4 miał za zadanie przewidzieć średnie wyniki dla poszczególnych pytań. Użyto do tego pięciostopniowej skali Likerta, czyli popularnego sposobu oceny, w którym uczestnik może wyrażać stopień zgody lub natężenia danej cechy.
Takie ustawienie eksperymentu pozwoliło porównać przewidywania modelu z rzeczywistymi odpowiedziami zebranymi później od ludzi. Dzięki temu badacze mogli sprawdzić nie tylko intuicyjność odpowiedzi AI, ale też ich zgodność z realnym rozkładem wyników.
Zaskakująco trafne prognozy
Rezultaty okazały się naprawdę ciekawe. Przewidywania GPT-4 skorelowane były z odpowiedziami uczestników na poziomie 0,71 dla pytań opartych o DSM-5 oraz 0,85 dla pytań astrologicznych.
To oznacza, że model całkiem dobrze odtworzył średnie wzorce odpowiedzi, choć rzecz jasna nie „znał” konkretnych osób. Co ważne, badacze zauważyli też, że pytania oparte na DSM-5 miały przyzwoitą spójność wewnętrzną, podczas gdy zestaw astrologiczny był pod tym względem wyraźnie słabszy.
GPT-4 potrafił również przewidywać zależności między pojedynczymi pytaniami. W tym przypadku korelacje wyniosły 0,74 dla pytań DSM-5 i 0,69 dla pytań astrologicznych.
Czy AI naprawdę rozumie osobowość?
Autorzy badania ostrożnie zaznaczają, że trafne przewidywanie średnich odpowiedzi nie oznacza jeszcze, iż model dobrze mierzy indywidualne cechy osobowości. To ważne rozróżnienie, bo coś może działać na poziomie zbiorowym, a jednocześnie być mało użyteczne w ocenie konkretnej osoby.
W praktyce GPT-4 wydaje się wyłapywać tendencje zakodowane w języku i strukturze pytań. Można więc mówić raczej o znajomości wzorców statystycznych niż o prawdziwym „zrozumieniu” psychologii człowieka.
Badacze sugerują, że takie zdolności mogą wynikać z tego, iż modele językowe uczą się na ogromnych zbiorach tekstów, w których cechy osobowości, emocje i zachowania są stale opisywane. W ten sposób AI może niechcący przyswajać strukturę ludzkiej psychiki tak samo naturalnie, jak gramatykę czy styl wypowiedzi.
Zobacz także: Agenci AI a tożsamość: Rozwiązanie w postaci dowodów zerowej wiedzy. To powiązany temat, który pokazuje, jak AI łączy się z kwestiami prywatności i weryfikacji tożsamości.
Test z instrukcją piekarnika i opisem krajobrazu
Żeby sprawdzić granice tego zjawiska, naukowcy podsunęli GPT-4 materiały, które w ogóle nie były stworzone z myślą o psychologii. Jednym z nich była instrukcja obsługi piekarnika Bosch, a drugim literacki opis krajobrazu z Władcy Pierścieni.
Mimo to model nadal tworzył pytania przypominające testy osobowości. To pokazuje, jak silnie AI kojarzy określone wzorce językowe z konstrukcją kwestionariuszy psychologicznych.
Jednocześnie nie wszystkie takie wygenerowane pytania były dobre. Część z nich była semantycznie słaba, zbyt wąska albo po prostu słabo związana z tym, co miała mierzyć.
Co to mówi o jakości testów?
W badaniu przyjrzano się też wewnętrznej strukturze powstałych kwestionariuszy. Najlepiej wypadł oczywiście test oparty na Big Five, bo jego układ najbardziej odpowiadał oczekiwanej strukturze psychologicznej.
Zestawy oparte na DSM-5 i astrologii miały słabsze dopasowanie do modeli czynnikowych. Szczególnie ciekawy był przypadek astrologii, gdzie pytania nie zachowały zakładanej „elementarnej” logiki i zaczęły układać się raczej w szersze cechy osobowości znane z klasycznych modeli psychologicznych.
To ważny sygnał: nawet jeśli AI potrafi przewidzieć odpowiedzi, nie znaczy to jeszcze, że dane narzędzie rzeczywiście mierzy to, co deklaruje. W psychometrii trafność jest równie istotna jak sama korelacja.
Granice imponującego wyniku
Badacze podkreślają, że wyniki są obiecujące, ale nie należy ich przeceniać. GPT-4 zdołał przewidywać wzorce odpowiedzi na poziomie grupy, lecz nie zastępuje to psychologicznej diagnozy ani indywidualnej oceny człowieka.
Mimo to eksperyment pokazuje coś istotnego: modele językowe mogą przechowywać w sobie ukryte mapy ludzkich zachowań. Jeśli język odzwierciedla osobowość, to systemy uczone na ogromnych korpusach tekstu mogą mimowolnie nauczyć się jej statystycznej struktury.
To otwiera nowe pytania o przyszłość badań psychologicznych, projektowanie testów i samo rozumienie tego, jak działa sztuczna inteligencja. Coraz mniej wygląda ona jak zwykły generator treści, a coraz bardziej jak narzędzie zdolne do wychwytywania subtelnych wzorców w ludzkim sposobie myślenia i mówienia.
Ciekawe, że AI zaczyna dostrzegać wzorce w odpowiedziach ludzi, ale nie ma co się na to za bardzo nabierać. To ciągle tylko statystyka. Prawdziwa psychologia to znacznie więcej niż tylko zgadywanie tendencji z danych.
Nawet nie wiem, co o tym myśleć. Z jednej strony to fascynujące, że AI potrafi przewidzieć odpowiedzi, ale z drugiej… To brzmi jak początek jakiegoś filmu sci-fi. Czy naprawdę możemy ufać maszynom w tak delikatnych sprawach jak osobowość?
W badaniach pewnie wszystko wygląda fajnie, ale w praktyce to może być zupełnie inne. Zobaczcie na błędy w algorytmach i brak emocji w AI. To świetne narzędzie do analizy, ale nie ma mowy, żeby zastąpiło prawdziwego psychologa.
Miałem okazję testować GPT-4 i powiem, że potrafi czasem zaskoczyć. W kilku przypadkach odpowiedzi były naprawdę trafne, ale wydaje mi się, że to bardziej zgadywanie niż prawdziwe „rozumienie” ludzi.
Moim zdaniem to tylko chwyt marketingowy. Pojęcia jak „odgadywanie myśli” są przesadzone. Jeśli NIGDY nie potrafił terapeuta przewidzieć moich uczuć na podstawie kilku pytań, to jak AI to robi?
Zgadzam się, że AI może dostrzegać pewne tendencje, ale wcale nie znaczy, że jest to użyteczne w praktyce. Pytania oparte na astrologii? Bez sensu. To tylko pokazuje, że AI może robić bzdury, jak ludzie.