Meditația pe tema acestui subiect ar putea fi rezumată de următoarea întrebare: Ar trebuie să permitem studenților și elevilor să utilizeze inteligența artificială în cadrul activităților didactice? Mai exact, studenții și elevii au dreptul să utilizeze ChatGPT în cadrul sarcinilor didactice?
Despre relevanța problemei
Dacă realitatea nu este suficientă pentru a demonstra relevanța acestei întrebări,[1] pot recurge la un argument de tip a fortiori: în urmă cu patru zile cei de la Nature[2] au publicat un articol care dezbate problema dreptului de a indica ChatGPT în calitate de autor. Articolul arată că deja au fost semnate patru articole aflate într-o astfel de situație. Aici putem reține faptul că problema se pune chiar și la nivelul celor care formează studenții, argumentul fiind de tipul: dacă problema utilizării ChatGPT este relevantă la nivelul profesorilor atunci cu atât mai mult ea există în privința studenților și a elevilor.[3] Impactul ChatGPT asupra universităților, respectiv activității de evaluare a studenților a fost analizat de același autor într-un articol publicat în data de 9 decembrie 2022[4]. Este doar unul din multele articole publicate pe această temă.
Faptul că utilizarea ChatGPT naște o problemă semnificativă în privința parcurgerii treptelor profesionale de către profesori a fost ilustrat tot printr-un articol publicat de cei de la Nature în data de 12 ianuarie[5], în care arăta că rezumatele de articole scrise prin intermediul ChatGPT au reușit să păcălească într-un procent semnificativ atât softurile de detectare a plagiatelor cât și recenzorii. Ceea ce înseamnă, evident, că trebuie să regândim și criteriile de promovare a cadrelor didactice.[6]
Dacă riscul ca studenții să trișeze la examene prin folosirea ChatGPT sau a altor forme de inteligență artificială (IA) nu a atras suficientă atenție și dacă nici riscul ca profesorii să utilizeze IA pentru a trișa la îndeplinirea criteriilor de evaluare profesională nu vă impresionează atunci vă invit să meditați la o problemă ce pare să stârnească mai mult interes: doctoratele politicienilor. Deoarece softurile anti-plagiat nu sunt capabile să identifice textele create de IA, în absența unei restructurări rapide a sistemelor de evaluare toți politicienii ar putea avea doctorate fără posibilitatea de-a evalua dacă le aparțin sau nu.
Riscul de a evalua rezultatele inteligenței artificiale în locul celei a studentului
Mărturisesc că după câteva tatonări ale ChatGPT, la începutul acestui an m-am grăbit să le propun colegilor din cadrul facultății o analiză atentă a utilizării eseurilor în procesul de evaluare a studenților. Cu alte cuvinte, primul instinct a fost cel de a sesiza riscul că în cadrul unui eseu nu mai evaluăm de fapt studentul, ci rezultatul activității unei forme de inteligență artificială (IA).
După care am trecut la evaluarea soluțiilor posibile pentru a evita această problemă, începând cu o „auditare” a procedurilor de evaluare pe care le utilizez în mod curent.[7] Rezultatul: cred că avem nevoie de o dezbatere rapidă centrată pe identificarea soluțiilor posibile să minimalizeze riscurile generate de noile tehnologii în privința evaluării nivelului de formare al studenților. Aceste soluții cred însă că doar amână problema, neputând avea garanția unei rezolvări definitive.
Una dintre soluții o reprezintă o formă de inversare a sarcinii probei: universitățile ar trebui să demonstreze realitatea evaluării, prin proceduri de tipul înregistrării examenelor esențiale (de preferat orale) și altor de acest tip. Evident, asta implică anularea prezumției de corectitudine a evaluării, ceea ce reprezintă un șoc masiv asupra sistemului. Sunt sigur însă că nu acesta este principalul șoc.
Mai mult decât atât, sunt convins că, în această abordare, problema suferă de o prezentare incompletă, restructurarea evaluării trebuind precedată de o restructurare a formării. Pentru a restructura formarea ar trebui să identificăm competențele disponibile.
Un conservatorism prudent
Deși nu cred că instinctul m-a înșelat în sesiza problema didactică, sunt convins acum că nici nu mi-a folosit pentru o interpretare mai amplă a situației. De fapt, avem de rezolvat cel puțin două probleme, capacitatea de dezvoltare a inteligenței individuale a studenților fiind dublată de necesitatea de a forma competențele de utilizare a IA.
Estimarea utilizării tot mai ample în viitor a IA în tot mai multe activități profesionale cred că are o probabilitate mare de a se adeveri, această mutație putând fi chiar mai aproape decât credem (marea majoritate a cetățenilor). Ceea ce înseamnă că nu trebuie să ținem elevii și studenții departe de IA (în cadrul procesului didactic), ci dimpotrivă, trebuie să-i învățăm să o utilizeze.[8] Din ansamblul abordării rezultă că ar trebui să facă excepție utilizarea ei pentru a simula competențe individuale.
Probabil aceasta este cea mai dificilă sarcină didactică, ea constituind un adevărat test de încercare pentru educația tradițională. Această problemă trebuie privită la ambele capete, în discuție fiind și capacitatea sistemelor educaționale tradiționale de a se adapta la noile cerințe.
Deocamdată cea mai mare parte a formării în domeniu se petrece din păcate în afara școlii.[9] Nu este exclus însă ca unele dintre tentativele de păcălire a sistemului prin intermediul utilizării IA să genereze în mod implicit niscaiva competențe relevante în domeniu (spre exemplu, ar trebui să învețe cum să formuleze întrebările pentru ChatGPT pentru a primi răspunsurile potrivite). Ceea ce ar însemna mutarea formării unora dintre competențe în școală.
Sugerez că ne-ar putea fi util să fim conservatori în privința rigorii evaluării (acolo unde ea există), modificând însă atât o serie de competențe ce trebuie formate și apoi evaluate cât și atitudinea față de IA. Altfel spus, rezistența împotriva IA ar trebui înlocuită cu forme de adaptare la IA/a IA în procesul de formare.
Inteligența artificială este deja printre noi
Un exemplu al rezistenței și inadaptării în fața IA îl întâlnim în existența cotidiană, sub forma reticenței unora dintre intelectuali față de utilizarea Tik Tok. Chiar dacă exemplul are la bază doar dovezi anecdotice (numărul cunoscuților din mediul universitar care se raportează critic la această aplicație), el poate oferi un punct de început pentru interogațiile individuale (o referință pentru o estimare inițială, utilă într-o analiză bayesiană a situației).
Aplicația Tik Tok utilizează o formă de inteligență artificială capabilă să selecteze conținut coerent cu gusturile personale. Un aspect relevant îl constituie capacitatea noastră de a-i influența comportamentul, sugerându-i conținutul care ne interesează. Într-o măsură semnificativă Tik Tok ne arată ceea ce îi sugerează (intenționat sau involuntar) comportamentul nostru.
Lăsând la o parte criticile legate de dependența pe care o generează și de lipsa de transparență (inclusiv în privința utilizării datelor personale), trebuie să constatăm că această formă de inteligență artificială există, modelând deja comportamente și obișnuințe de interacționare.
Recurg la Tik Tok pentru a sugera că o parte a criticilor este determinată de neînțelegerea modului de funcționare, fiind un exemplu de interacțiune inadecvată cu o IA.
Câteva aspecte tehnice
Într-o formă sintetică funcționarea ChatGPT este bazată în principiu pe capacitatea de-a identifica statistic modele în limbaj (analizând o cantitate foarte mare de texte disponibile pe interne), asociind fiecărei întrebări (fiecărui tip de întrebare) răspunsurile cu probabilitatea cea mai mare. Raportat la ceea ce știm despre inteligența umană, am putea emite pretenția că în cazul ChatGPT nu prea este vorba de inteligență. Cred însă că ne-am cam grăbi dacă am procedat astfel, existând cel puțin două argumente care ar trebui să determine o analiză prudentă:
- ChatGPT pare să treacă testul Turing.
- În formula inteligență artificială poate că ar trebui să acceptăm posibilitatea unor diferențe față de inteligența umană (chiar dacă este o continuare/o formă de cumulare/sinteză a acesteia).
Cât de conservatori ar trebui să fim?
Este drept că în cazul exemplului specific al ChatGPT nu ne este clar dacă este vorba chiar de inteligență sau de o mașinărie care reușește să genereze aparența inteligenței.[10] Însă, avem și în zona umanului exemple de generare a aparenței inteligenței: mă gândesc aici la majoritatea analiștilor TV, care sunt adesea forme mult mai slabe ale ChatGPT, oscilând între variații ale noului limbaj de lemn și utilizarea unor formule al căror sens nu-l stăpânesc. Cel mai adesea sunt creatori de conținut redundant pentru un public captiv, dornic de identificarea unor surse centrale de emitere a discursurilor coerente cu convingerile pre-existente.
În sine, rezistența în fața IA nu este un lucru rău, problema putând să țină mai curând de măsură. Adică, riscăm forme de inadecvare din cauza neînțelegerii.
Accentul pus pe carte ar putea fi unul din chipurile inadecvării. Scriitorii se adună în grupuri tot mai mici pentru a se aprecia unii pe alții, generând-și reciproc stimulii necesari pentru a continua, pentru a găsi semnificație în acesta formă a faptului-de-a-fi-creator. Profesorii tind să vadă în carte (sau în articole, în unele cazuri) unicul izvor al formării noilor generații, ratând schimbările aflate deja aici.
Inevitabil, vom manifesta diferite forme de rezistență în fața IA. Suntem dezorientați, încercând să salvăm cât mai mult din formele de existența ce ne sunt familiare, pentru care suntem convinși că avem strategii de supraviețuire adecvate. Deși este generată de noi, IA ne este nefamiliară. Lipsa familiarității generează reacții de apărare.
O analiză rațională ne sugerează necesitatea unei evaluări atente atât la riscurile IA cât și la oportunitățile pe care ea le poate furniza. Deoarece s-ar părea că suntem (încă) în zona tehnologiei, ar putea fi relevant să ne amintim ca ea este neutră din punct de vedere moral: impactul tehnologiei asupra umanului depinde de utilizarea pe care i-o dăm.
–––––––––––––––––––––––––––––––––––––––––
[1] Părem să fim deocamdată mai curând în zona impactului estimat decât în a celui identificat. Nu este chiar clar dacă problema nu ar putea fi generată de slaba noastră capacitate de a identifica efectele de acest tip, respectiv cazurile în care unii studenți au utilizat deja astfel de AI pentru diferite sarcini didactice.
[2] Chris Stokel-Walker, ChatGPT listed as author on research papers: many scientists disapprove, Nature, NEWS. 18 January 2023. doi: https://doi.org/10.1038/d41586-023-00107-z
[3] Am forțat un pic nota, articolul nepunând în discuție utilizarea ChatCPT, ci indicarea acesteia în rândul autorilor. Cel mai des indicat răspuns la această problemă îl constituie faptul că IA nu are răspunderea care-i revine unui om de știință. Această direcție de investigare este la fel de interesantă pentru viitorul umanității precum cea urmărită în cadrul acestui scurt articol.
[4] Chris Stokel-Walker, AI bot ChatGPT writes smart essays — should professors worry?, 09 December 2022. doi: https://doi.org/10.1038/d41586-022-04397-7
[5] Holly Else, Abstracts written by ChatGPT fool scientists, 12 January 2023. doi: https://doi.org/10.1038/d41586-023-00056-7
[6] Cel puțin până când ele vor fi înlocuite de forme de inteligență artificială – acolo unde se va întâmpla asta. Probabil despre asta este noua lege a educației naționale.
[7] Deoarece riscul de a nedreptăți studenții prin evaluare asimetrică a rezultatelor muncii constituie una dintre spaimele mele din cadrul acestei activități profesionale, utilizez de mulți ani un set de proceduri menite să-mi liniștească temerile:
– Am redus la minimul necesar evaluările pe bază de eseu și nu le utilizez niciodată drept unic criteriu de evaluare.
– Atunci când utilizez proiectele individuale și eseurile ca parte a evaluării aplic una din următoarele proceduri (fără ca studenții să știe dinainte la care dintre ele voi recurge):
o Fie studentul trebuie să-și susțină proiectul/eseul printr-o prezentare orală (întrebările adresate generându-mi o posibilitate rezonabilă de a verifica dacă este autorul acestuia)
o Fie utilizez un test rapid de verificare a autenticității: în cca. 5 minute studentul trebuie să răspundă la un număr mare de întrebări privind conținutul diferitelor secțiuni din proiect (existând o probabilitate rezonabilă ca studentul care nu și-a lucrat proiectul să nu poată oferi răspunsuri privind conținutul acestuia).
Scopul prezentării acestor aspecte nu-l constituie evidențierea personală, ci indicarea faptul că există posibilitatea construcției unor soluții de utilizare în continuare a proiectelor individuale/eseurilor în procesul educațional. Sunt sigur că experiența altor colegi este în majoritatea cazurilor cel puțin la fel de relevantă, putând oferi exemple de soluții mai eficiente de asigurare a identității dintre conținutul evaluat și calitate de autor a evaluării.
[8] Cu mențiunea că în ceea ce mă privește aceasta este o pretenție prea mare, având o probabilitate extrem de mică să învăț a face acest lucru. Cele câteva tentative de utilizare a rețelelor neuromorfe în analiza unor baze de date m-au descurajat prin noutatea și complexitatea conceptelor. Am amânat pe termen indefinit rezolvarea acestei sarcini de învățare, cu speranța ascunsă că evoluția cunoașterii și tehnologiei va genera în curând interfețe mult mai accesibile mie.
[9] Nu este exclus însă ca unele dintre tentativele de păcălire a sistemului prin intermediul utilizării IA să genereze în mod implicit niscaiva competențe relevante în domeniu. Ceea ce ar însemna mutarea formării unora dintre competențe în școală.
[10] Cineva mi-ar putea răspunde, parafrazând o zicală tradițională (”Dacă ceva arată ca o raţă, merge ca o raţă, măcane ca o raţă, trebuie să considerăm că este o rață.”): dacă produce rezultate ce par rezultatul unei inteligențe atunci este inteligență. Las dezbaterea acestei probleme pentru altă ocazie.
(Imagine preluată de pe: https://phys.org/news/2023-01-chatgpt-students.html Credit: Pixabay/CC0 Public Domain)
