Kaja Zupanc bo v četrtek, 31. maja 2018, ob 12:30 zagovarjala doktorsko disertacijo z naslovom Semantično usmerjeno avtomatsko ocenjevanje esejev. 

Zagovor bo potekal v Diplomski sobi na Fakulteti za računalništvo in informatiko UL.

Vljudno vabljeni!

Povzetek:

Avtomatsko ocenjevanje esejev predstavlja praktično rešitev za številne težave, povezane s časovno zahtevnim ročnim ocenjevanjem. Avtomatizirani sistemi se uporabljajo v kombinaciji s človeškimi ocenjevalci pri številnih standardiziranih testih, vse več pa tudi v učilnicah. V zadnjih 50 letih, od začetka razvoja področja, so se pojavili številni izzivi, vključno z iskanjem pristopov za ocenjevanje semantične vsebine, zagotavljanjem avtomatskih povratnih informacij, določanjem zanesljivosti ocen, težnjo po dostopnosti podrobnosti delovanja sistemov in s tem odprtosti področja, in drugi.
V pričujoči disertaciji obravnavamo te izzive in predlagamo nove rešitve za semantično usmerjeno avtomatsko ocenjevanje esejev.

Eden od glavnih problemov sistemov za avtomatsko ocenjevanje esejev je problem ocenjevanja semantične pravilnosti besedila. V disertaciji obravnavamo ocenjevanje semantike besedila z različnimi pristopi: ocenjevanje koherence esejev in zaznavanje semantičnih napak.
Koherenca opisuje pretok informacij v eseju in nam omogoča, da ocenimo povezanost besedila. Predlagamo dve skupini atributov za ocenjevanje koherence: atributi, pridobljeni v visoko dimenzionalnem semantičnem prostoru, in atributi, pridobljeni iz omrežij stavčne podobnosti.
Poleg tega predlagamo sistem za avtomatsko odkrivanje napak, ki nam pomaga oceniti semantiko eseja z vidika doslednosti. Sistem zaznava semantične napake z uporabo ekstrakcije informacij in logičnega sklepanja ter zagotavlja povratno semantično informacijo.
Predlagani sistem SAGE (Semantic Automated Grader for Essays) dosega višjo napovedno točnost v primerjavi z drugimi sodobnimi sistemi za  avtomatsko ocenjevanje esejev.

V zadnjem delu disertacije se posvečamo vprašanju zanesljivosti ocen. Kljub poenotenim kriterijem za človeške ocenjevalce, ocenjevalci vnašajo pristranskost
v rezultate. Zato mora napovedni model uporabiti napovedno logiko, ki je lahko mešanica ocenjevalne logike različnih ocenjevalcev. Predlagamo pristop za ločevanje množice esejev v podmnožice, ki predstavljajo različne ocejevalce, kjer uporabimo metodologijo razlage napovedi in gručenje. Rezultati kažejo, da učenje na ansamblu ločenih modelov bistveno izboljša povprečno točnost napovedi na umetnih in realnih podatkovnih množicah.

Mentor: izr. prof. dr. Zoran Bosnić

Komisija za zagovor:

prof. dr. Bojan Orel, predsednik

prof. dr. Janez Demšar, član

izr. prof. dr. Matjaž Kukar, član

assoc. prof. Richard Johansson, PhD, član