Naslov doktorske disertacije: Pregled in vpeljevanje znanja v globoke nevronske mreže za obdelavo besedil (Knowledge inspection and injection in deep neural networks for text processing)

Povzetek: 

Na področju obdelave naravnega jezika stremimo k razvoju metod, ki omogočajo razumevanje jezika in sklepanje na podlagi besedila. Čeprav pristopi jezika še vedno ne razumejo jezika, cilje, sodeč po doseženi napovedni točnosti, vse bolj dosegajo veliki jezikovni modeli na podlagi globokih nevronskih mrež. Kljub odličnemu delovanju pa o znanju, vsebovanem v jezikovnih modelih, vemo precej manj. V delu se osredotočimo na znanje v jezikovnih modelih, ki ga obravnavamo na tri načine: pregled obstoječega znanja, vpeljevanje dodatnega znanja in izboljševanje evalvacijskih množic za izboljšan pregled znanja. V prvem delu predstavimo novo metodo za vpeljevanje dodatnega morfološkega znanja v modele LSTM in BERT. Z eksperimenti pokažemo razlike v vsebovanem znanju v analiziranih modelih: modelom LSTM dodatno znanje pogosto koristi, medtem ko modelom BERT koristi zgolj v primerih, ko je znanje visoke kakovosti. V drugem delu najprej predstavimo z znanjem obogateno metodo za popravljanje črkovalnih napak. Razvijemo metodo za sintetično generiranje učne množice, ki vsebuje dodatno znanje v obliki pravil človeškega ustvarjanja črkovalnih napak. Z metodo ustvarimo veliko sintetično učno množico za učenje prvega slovenskega nevronskega črkovalnika SloNSpell, ki deluje natančneje od obstoječih metod. Nato predstavimo s postopkovnim znanjem obogaten agentni sistem (UDagent) za slovnično analizo, temelječo na korpusnih virih. Sistem testiramo na problemih analize besednega reda in pokažemo izboljšave v primerjavi z izhodiščnim sistemom brez dodatnega znanja. V tretjem delu predstavimo izboljšan postopek pridobivanja in označevanja podatkov
za nalogo ugotavljanja pomenskega sosledja. S postopkom ustvarimo slovensko množico SI-NLI, ki vsebuje 5937 primerov in je naknadno prevedena tudi v angleščino. Množico uporabimo za učenje in evalvacijo številnih modelov in pokažemo razlike v njihovi uspešnosti, kjer najvišjo uspešnost dosegajo največji jezikovni modeli.
V delu prikažemo potrebo po večjem poudarku na vsebovanem znanju v jezikovnih modelih. Na specifičnih nalogah in širokem naboru jezikov izpostavimo konkretne težave, predlagamo rešitve in ugotovimo, da kljub vse bolj zmogljivim jezikovnim modelom potreba po dodatnem znanju ostaja.

Prostor zagovora/Termin zagovora: izvedba predstavitve bo potekala hibridno (v Diplomski sobi na Fakulteti za računalništvo in informatik ter v online okolju), ponedeljek 4. 5. 2026 ob 11:00.

Komisija za spremljanje doktorske disertacije:

• izr. prof. dr. Slavko Žitnik, predsednik
• doc. dr. Senja Pollak, članica
• prof. dr. Dimitar Trajanov, član

Mentor: prof. dr. Marko Robnik Šikonja

Somentor: dr. Iztok Kosem

Povezava do video kanala, po katerem se bo prenašal zagovor in ga bo možno spremljati, bo dodana najkasneje na dan zagovora (predvidoma 30 minut pred terminom izvedbe zagovora) na spletni strani: https://ucilnica.fri.uni-lj.si/course/view.php?id=359