L’impacte de ChatGPT en la recerca de l’ensenyament i l’aprenentatge
Recentment, un grup interdisciplinari de professors de la University of Illinois va donar una llum més completa sobre un desenvolupament de la intel·ligència artificial que ha provocat un nou debat sobre el paper de la tecnologia en l’educació i la investigació, ChatGPT. Impacte de ChatGPT a la comunitat acadèmica.
L’Oficina d’Investigació Educativa del College of Education va organitzar una taula rodona el 8 de març titulada “The Impact of ChatGPT on the Research of Teaching and Learning”. El panell va comptar amb sis professors d’Illinois amb una àmplia gamma d’experiència docent i investigadora.
En només una hora, el panelistes van cobrir una sèrie de preguntes dirigides, en primer lloc, a la seva experiència acadèmica específica i la seva intersecció amb la tecnologia emergent. Després van respondre una sèrie de preguntes generals del públic.
Una introducció de la moderadora Jessica Li, la degana associada d’investigació del College of Education i directora de l’Oficina d’Investigació Educativa, es va centrar en el ràpid augment de ChatGPT, des del seu llançament el 30 de novembre de 2022 fins al moment en què va arribar al milió d’usuaris el 4 de desembre, i després a 100 milions d’usuaris al cap de dos mesos.
La professora del Departament d’Informàtica Julia Hockenmaier, experta en lingüística computacional o processament del llenguatge natural (natural language processing, NLP), va respondre per primera vegada a una pregunta sobre l’estat actual de desenvolupament de ChatGPT i eines similars, així com els seus factors de risc en el context de la investigació.
Va explicar que els models lingüístics s’entrenen per predir quines paraules apareixen en quin context, ja sigui d’una manera d’estil d’ompliment en blanc o quan només es dóna una part d’una frase o text, i el model ha de predir la paraula següent.
Aquesta és una idea antiga, que es remunta almenys a un article de 1948 de Claude Shannon, que també va establir les bases de la teoria de la informació. Els grans models de llenguatge (large language models, LLM) contemporanis com ChatGPT utilitzen xarxes neuronals (“aprenentatge profund”) per a aquest propòsit i s’entrenen en grans quantitats de text. És important destacar que les xarxes neuronals no utilitzen símbols com a representacions internes, sinó que es basen completament en representacions numèriques com ara vectors, matrius o tensors.
Per entendre com els models neuronals de llenguatge representen les paraules com a vectors, és important un fenomen lingüístic descrit per l’anomenada “hipòtesi distributiva” (que es remunta a un article de 1954 del lingüista Zellig Harris): paraules que apareixen en contextos similars (per exemple, “cafè” i “te”, o “cafè” i “tassa”, “cafè” i “calent”, però també “calent” i “fred”) tenen significats semblants.
Com a conseqüència, aquestes paraules relacionades semànticament acaben sent representades en models neuronals per vectors molt semblants entre si.
“Això permet que aquets models es generalitzin molt millot que els models clàssics, i el tipus de xarxes neuronals que s’utilitzen als LLM actuals també són excepcionalment bones per capturar contextos molt grans. Això vol dir que generen un text molt fluid. Sembla que està escrit per parlants nadius i és coherent a l’actualitat”, va dir Hockenmaier.
També hi ha un fenomen anomenat “efecte Eliza” que es remunta a la manera com els usuaris van interactuar amb el primer xatbot, Eliza, creat a mitjans dels anys 60, tot i que Eliza es basava en una tecnologia molt més senzilla, els usuaris hi van confiar completament i van començar a “abocar-hi el cor”, per a sorpresa del seu creador, Joseph Weizenbaum.
Tot i que el públic ara té molta més experiència amb sistemes com els xatbots, que podrien mitigar l’efecte Eliza, les capacitats augmentades de la tecnologia actual la fan encara més convincent i sovint porten els usuaris a sobreestimar la “intel·ligència” o les capacitats de raonament d’aquests sistemes.
El perill d’interaccionar amb sistemes basats exclusivament en LLM com ChatGPT, va explicar Hockenmaier, prové del fet que els models encara no tenen cap mesura que garanteixi que la seva sortida sigui correcta.
“Si preguntes sobre un tema científic, els resultats podrien regurgitar parts de la Viquipèdia perquè això és el que va memoritzar”, va dir. “Els resultats podrien estar restringits a termes que són molt relacionats amb el tema perquè tots tenen vectors similars. Però els models no entenen el text en què s’han entrenat, i com que no hi ha res que els permeti realitzar cap tipus de raonament, no hauríeu de confiar mai en la seva sortida”.
“Com detectar aquests errors ficticis i com fer que aquests models siguin més precisos en els fets és un tema de recerca. Encara no sabem com fer-ho, o almenys no prou bé”.
Entre els altres panelistes hi havia Nigel Bosch del College of Education, Cynthia D’Angelo del College of Education, John Gallagher del Departament d’Anglès, Roxana Girju del Departament de Lingüística i Mike Twidale, de l’iSchool.
Com va dir Li durant la presentació de la moderadora, és difícil que els acadèmics i el públic, per igual, puguin digerir i formar una comprensió fiable del tipus d’eina que és ChatGPT i què pot o no pot fer.
En reunir panelistes d’aquestes àrees diferents però connectades a tota la UIUC Li i aquests experts van intentar simplificar el problema dins de la comunitat acadèmica.
“Hi ha moltes preguntes que s’han de respondre, i molts de nosaltres estem intentant respondre-les algunes avui”, va dir Li.