ChatGPT: com funciona i què canvia?
A la pregunta “parla’m de la revolució ChatGPT”, el model d’OpenAI respon ingènuament. ChatGPT: com funciona i què canvia?
Ho sento, però no puc fer un seguiment dels esdeveniments que es produeixen després de la data de tall de coneixement. Sóc un model de llenguatge a gran escala format per OpenAI i estic limitat als coneixements que se’m proporcionen a partir de la data de tall del 2021. No puc navegar per Internet ni actualitzar els meus coneixements, així que no sóc conscient de la revolució de ChatGPT de la qual estàs parlant. Tanmateix, puc intentar ajudar-vos amb preguntes sobre altres temes.
Es podria pensar que el model no sap gaire cosa.
I, tanmateix, sap tant de tantes coses que cap humà a la Terra mai el podrà superar.
És bo en filosofia, et pot donar consells de productivitat, ajudar-te amb els teus codis (Python, Dart, Go, el que vulguis), escriure les teves publicacions o els teus correus electrònics.
Com funciona ChatGPT?
Models de llenguatge clàssic
Els models de llenguatge són programes informàtics dissenyats per processar i generar text semblant a un humà. Estan entrenats en grans quantitats de dades de text i utilitzen aquestes dades per aprendre a predir les paraules següents en una frase o paràgraf.
Hi ha diferents tipus de models de llenguatge, com els models de processament del llenguatge natural, que estan dissenyats per entendre i processar el llenguatge humà en el seu conjunt, i els models de generació de textos, que estan dissenyats per produir text de manera autònoma.
Els models de llenguatge s’utilitzen habitualment en moltes aplicacions, com ara el reconeixement de veu, la traducció automàtica, la conversió de text a veu i la generació de contingut. Sovint es basen en xarxes neuronals, una forma d’aprenentatge automàtic que pot aprendre de les dades i realitzar tasques sense ser programades explícitament.
LLMs o grans models de llenguatge
Els grans models de llenguatge (LLM), com ChatGPT, són una subcategoria de models de llenguatge que són especialment grans i complexos.
Estan entrenats en corpus de text molt grans, de vegades formats per milions de pàgines de text, i utilitzen arquitectures de xarxes neuronals profundes per aprendre a processar el llenguatge.
ChatGPT: el gran model de llenguatge de referència
ChatGPT es va formar mitjançant l’aprenentatge de reforç a partir de comentaris humans (RLHF).
El model inicial es va construir de manera supervisada i per transferència d’aprenentatge. Els operadors humans van oferir converses en les quals interpretaven ambdós papers, l’usuari i l’agent.
Els operadors tenien accés als suggeriments escrits pel model per ajudar-los a redactar les seves respostes. Aquest nou conjunt de dades de diàleg s’ha barrejat amb la base de dades InstructGPT.
Per crear un model de recompensa per a la part d’aprenentatge de reforç, es van recollir dades de referència.
Per recollir aquestes dades, els investigadors es van basar en converses que els operadors humans tenien amb el chatbot. Es va seleccionar aleatòriament un text escrit pel model, es van generar diverses alternatives i els operadors humans les van haver de classificar per ordre de rellevància.
Mitjançant aquest sistema de recompensa, el model es perfecciona mitjançant Proximal Policy Optimization (PPO), una tècnica d’optimització per a l’aprenentatge de reforç proposada recentment per OpenAI.
Quines són les limitacions de ChatGPT?
En el seu article de presentació, OpenAI, però, recorda algunes de les possibles limitacions del seu model:
- De vegades, ChatGPT pot oferir respostes lingüísticament correctes, però incorrectes
- Una resposta donada per ChatGPT pot canviar dràsticament entre 2 trucades del mateix indicador o amb un canvi mínim. ChatGPT és molt sensible a les variacions d’entrada
- El model acostuma a utilitzar sempre els mateixos girs de frase, i sovint repeteix les mateixes coses. L’autor de l’article pren l’exemple del fet que li agrada repetir que és un model lingüístic format per OpenAI
- El model no és capaç de fer preguntes clarificadores quan la consulta no és clara, només intentarà endevinar
- Finalment OpenAI, explica que: tot i que hem fet esforços perquè el model rebutgi sol·licituds inadequades, de vegades respondrà a instruccions perjudicials o mostrarà un comportament esbiaixat. Utilitzem una API de moderació per advertir o bloquejar determinats tipus de contingut perillós, però això no serà perfecte. Esperem recollir els comentaris dels usuaris per ajudar-nos amb el nostre treball en curs en aquest sistema.
Què canvia ChatGPT?
Tot i que ChatGPT encara no és perfecte, és evident que estem vivint una revolució tecnològica que canviarà moltes coses quotidianes.
Les aplicacions del model són infinites:
- Et permet escriure contingut de qualitat més ràpidament
- Permet crear codis senzills i accelerarà significativament el desenvolupament i la investigació d’aplicacions
- Et permetrà crear guions de pel·lícules, llibres, instruccions de joc, música, poemes, etc.
Com a professor a l’escola d’enginyeria, em vaig preguntar com detectar el frau.
Els DM, els exercicis per fer a casa o els assaigs/assaigs de temes literàries gairebé no serveixen.
ChatGPT ho farà tot…
Sobretot des que aquesta vegada, tothom és conscient de l’arribada d’aquest model. Twitter i TikTok l’han fet tan popular que no té sentit amagar-lo.
Al contrari, com a professor de Python i algorítmic, n’he parlat amb els meus alumnes, per mostrar-los el poder del que es pot fer amb Python i la programació, i per donar-los un tast per l’assignatura.