Leállította a Corvinus a kísérletet, ahol a diákok egy része MI-t használhatott, de így is érdekes eredmények vannak

Abba kellett hagyniuk a Budapesti Corvinus Egyetem oktatóinak a mesterséges intelligencia (MI) használatáról szóló kísérletüket, miután a hallgatók felháborodtak azon, hogy egy részük használhat mesterséges intelligenciát, a másik részük nem. A felsőoktatásért felelős államtitkár határozatában azt írta: az a törvényes, ha valamennyi hallgató azonos feltételek mellett vehet igénybe segédeszközöket. Ezután az egyetem végül úgy döntött: a tavaszi félév végi vizsgán már minden hallgatónak meg kell engedni, hogy használhasson mesterséges intelligenciát.

Kísérlet és pontkompenzáció

Idén májusban írtunk arról, hogy az operációkutatás tárgy oktatói sajátos kísérletbe kezdtek ebben a félévben a Budapesti Corvinus Egyetemen. A hallgatókat véletlenszerűen generált sorsolás alapján osztották két csoportba. A csoport egyik fele mind az órákon, mind a szemeszter közben tartott számonkéréseken használhatott MI-t, a másik csoportnak úgynevezett „open book” jellegű volt a számonkérése, tehát jegyzeteket, könyvet használhatott, de egy offline teremben írta a feladatlapot, vagyis az internethez közvetlenül nem tudott kapcsolódni.

A kísérletnek az volt a célja, hogy az oktatók feltérképezzék a mesterségesintelligencia-alkalmazások tanulásra gyakorolt hatását. Hogy egyik csoport se szenvedjen hátrányt, az oktatók pontkompenzációt vezettek be, amivel a két csoport átlagát egy szintre hozták, vagyis a rosszabbul teljesítők megkapták a másik csoport átlagából számolt különbséget. A kísérletben önkéntes volt a részvétel, de attól függetlenül, hogy valaki aláírta-e a nyilatkozatot, minden hallgatót automatikusan beosztottak valamelyik csoportba. Végül a kísérletet leállították, a tavaszi félév végi vizsgákat már egyenlő feltételekkel tartották meg.

Az érintett operációkutatás tárgy egyik oktatója, Sziklai Balázs egyetemi docens a kísérlet leállítása után lapunknak azt írta: az egyetemek érthetően megpróbálnak elébe menni az ilyen államtitkári határozatoknak és a nem kívánt médiafigyelemnek. Ezért szüntették be a kísérletüket. Ezt csak úgy lehet orvosolni, ha a jogalkotó és ellenőrző szervek a döntéseikkel és megnyilvánulásaikkal támogatásukról biztosítják az érintett egyetemeket és kutatóintézeteket. Sziklai Balázs szerint „első körben fontos lenne, hogy a döntéshozó és jogalkotó szervek bátorítóan álljanak hozzá az MI oktatásban betöltött szerepének kutatásához. A hallgatói kísérletek elengedhetetlenek ahhoz, hogy megértsük, pontosan milyen hatások érvényesülnek”.

Nem tüntették fel a számonkérés módját, konfliktus alakult ki a hallgatók között

A hallgatóknak az volt a problémájuk, hogy a vizsgaeredmények közvetlen hatással vannak az ösztöndíj-lehetőségekre, így az MI-t használó hallgatók előnyhöz juthattak. A diákok arra is panaszkodtak, hogy tárgyfelvételkor sehol sem tüntették fel a számonkérés módját. Így bár hiába nem vettek részt a kísérletben, akkor is belekényszerítették őket az eltérő számonkérésbe, ami számos konfliktust szült a két csoport között.

Az egyik hallgató annyira fel volt háborodva, hogy közérdekű bejelentést tett az alapvető jogok biztosának hivatalánál, amire a Kulturális és Innovációs Minisztériumtól kapott választ. Varga-Bajusz Veronika államtitkár válaszában azt írta: az törvényes, ha valamennyi hallgató azonos feltételek mellett vehet igénybe segédeszközöket, például mesterséges intelligenciát. Ha azonban a lehetőség csak egyes hallgatóknak adott, másoknak nem, az „felveti annak lehetőségét, hogy nem felel meg a fenti rendelkezéseknek és ezért jogszabályba ütközik”, amin az se változtat, ha pontkorrekcióval kompenzálják. Az államtitkár szerint a kísérlet

„önmagában nem olyan privilegizált körülmény, amely legitimálhatna egy olyan megkülönböztetést, amely a tudásmérés elfogulatlanságát alapvetően kérdőjelezi meg”.

Azt a tárgy oktatói is érzékelték, hogy a kísérlet „nagyon erős érzelmeket szabadított fel” a hallgatókban. Magát a kísérletet Sziklai szerint nagyon gondos szakmai egyeztetés előzte meg. A kísérlet engedélyt kapott az egyetemi etikai bizottságtól, a Hallgatói Ügyekért Felelős Rektorhelyettestől, az Oktatási Minőségfejlesztési és Módszertani Központtól. Még a hallgatókat képviselő HÖK-kel is külön egyeztettek.

Azt már a májusi cikkünk megjelenése után sejteni lehetett, hogy a kirobbant konfliktusnak lehet még fejleménye, miután a Budapesti Corvinus Egyetem lapunknak azt írta: az operációkutatás tantárgy két oktatója szerintük izgalmas módszertani keretben kezdett bele a mesterséges intelligencia felsőoktatási hatásainak mérésébe, de az egyetem oktatási vezetése most újra megvizsgálja a kutatási projekt minden vetületét tudományos és hallgatói szempontból, mert „elkötelezett a hallgatók által felvetett kérdések minden érintett számára megnyugtató kezelésében, akár a kísérlet paramétereinek, a számonkérés módjának módosításával, valamint a kísérletben való hallgatói önkéntes vállalások formájának tisztázásával”.

Kérdéseinkre most a Corvinus Egyetem azt írta: „Az egyetem belső felülvizsgálatának következtetései és az ágazatirányító felvetései egybehangzottak, ezért döntött úgy a Corvinus, hogy a számonkérés módjának megváltoztatását kéri az oktatóktól.”

Rombolta a motivációt

Sziklai Balázs szerint a kísérlet célja pont annak a felmérése lett volna, hogy miként hat a hallgatók tanulási szokásaira és tudására a mesterséges intelligencia eszközök használata. „Bár összehasonlítási alapunk nincs, hiszen a kontrollcsoportnak is meg kellett engedni az MI használatot, a kísérlet mégis sikerrel zárult. Teljes bizonyossággal megállapítható, hogy

a hallgatók a tananyag semekkora részét sem sajátították el.”

Az oktató tapasztalatai szerint a tudat, hogy védőhálóval dolgoznak, minden motivációt kiölt a hallgatókból, az MI rombolja a motivációt, az önbizalmat, és a kíváncsiságot.

„Nem hogy a felkészülés alatt nem fektettek semmiféle erőfeszítést a tanulásba, de a vizsgán sem fordítottak figyelmet arra, hogy milyen válaszokat adnak. Kritikátlanul átmásolták az MI válaszait, még ha az egyértelműen ökörség is volt. Ha két külön megoldást is javasolt a nyelvi modell, akkor biztos, ami biztos mindkettőt átmásolták, mondván az egyik biztosan jó lesz.

Talán a legbeszédesebb a vizsga első húsz percében íratott papír teszt volt, amelyen könnyen eldönthető igaz-hamis kérdésekre kellett válaszolniuk a hallgatóknak, offline. Az évfolyam átlagos teljesítménye 53 százalék volt.”

A vizsga második részében a hallgatóknak az év közben órán begyakoroltakhoz hasonló feladatokat kellett megoldaniuk. Itt már minden hallgatónak megengedték az MI eszközök használatát. A hallgatók ezen a részen 75 százalékos átlagot értek el.

Folytatják a kutatást

A Corvinus Egyetem megkeresésünkre úgy reagált: a kutatás protokollja a szemeszter alatt megváltozott, így tudományos kutatásként nem tudja beváltani eredeti céljait. De belátásokat így is közvetíthet, amihez az eredmények kiértékelése még folyamatban van. „Az elért pontok alapján megalapozott következtetés, hogy a hallgatók tanulási hajlandóságát jelentősen befolyásolhatta az eszközhasználat.”

Sziklai Balázs azt írta: annak érdekében, hogy megértsék, miért vettek ilyen fordulatot az események és milyen módon élték meg a hallgatók a kísérletet, egy fókuszcsoportos kibeszélési lehetőséget biztosítanak a diákoknak. „Személyes beszélgetésen és online chat-szobában is kifejthetik (teljes anonimitás mellett) miként élték meg az eseményeket és mit gondolnak akár a kísérletről akár a mesterséges intelligencia szerepéről az oktatásban.”

Az egyetem azt közölte: „A Corvinus elkötelezte magát a mesterséges intelligencia felsőoktatási kihívásainak és lehetőségeinek vizsgálata mellett. Ezután is támogat minden kapcsolódó kutatást, oktatási megoldást, amely egyenlő esélyeket biztosít a hallgatók számára, pedagógiai szempontból korszerűen és etikusan alakítja a vizsgálati feltételeket, és alkalmazkodik az egyetem belső rendelkezéséhez, amely a generatív mesterségesintelligencia-rendszerek felhasználását szabályozza az oktatásban.”