Kandidat: Burkeljca Jure

Naslov diplomskega dela: Stiskanje velikih jezikovnih modelov

Povzetek:

Strukturno obrezovanje velikih jezikovnih modelov (VJM) v kombinaciji z destilacijo znanja in kvantizacijo predstavlja učinkovit pristop za pridobivanje manjših in računsko učinkovitejših velikih jezikovnih modelov. Obrezovanje zmanjša število parametrov oziroma velikost VJM-ja, destilacija znanja omogoča ohranjanje njegove zmogljivosti, kvantizacija pa z uporabo nižje numerične natančnosti dodatno zmanjša porabo pomnilnika in računske zahteve, zlasti med izvajanjem VJM-ja. Preizkusili smo 10 različnih kombinacij obrezovanja v širino in globino ter 2 vrsti kvantizacije, FP8 in NVFP4. Vse različice smo ovrednotili s pomočjo Slovenian LLM Eval, podatke o hitrosti ter učinkovitosti pa smo pridobili s pomočjo knjižnice vLLM. V eksperimentu pokažemo, da je med obravnavanimi pristopi strukturnega obrezovanja v povezavi s kratko destilacijo znanja najučinkovitejše zmanjševanje širine VJM, hkrati pa rezultati potrjujejo visoko učinkovitost kvantizacije v formatu FP8. Na podlagi ugotovitev predlagamo tri pristope za učinkovito stiskanje VJM-jev in pripravimo VJM z 8 milijardami parametrov, ki je glede na GaMS3 12B 62,3 % manjši, 84,2 % hitrejši in porabi 53,1 % manj energije, ob 12,8 % nižji kakovosti. Destiliran je bil na približno 2 milijardah žetonov.

Mentor: prof. dr. Marko Robnik Šikonja

Somentor: asist. - razisk. Domen Vreš

Komisija:

    - doc. dr. Jana Faganeli Pucer, predsednik

    - izr. prof. dr. Arjana Žitnik, član

    - prof. dr. Marko Robnik Šikonja, mentor

    - asist. - razisk. Domen Vreš, somentor

Kandidat: Rejec Jurij

Naslov diplomskega dela: Zaznavanje ljudskih pripovedi v zgodovinskih časopisih z uporabo velikih jezikovnih modelov

Povzetek:

Ljudske pripovedi so v zgodovinskih časopisih razpršene in praviloma neoznačene, zato je njihovo samodejno prepoznavanje zahtevna naloga klasifikacije besedil. V nalogi se osredotočamo na zaznavanje ljudskih pripovedi v časopisu Kmetijske in rokodelske novice z uporabo velikih jezikovnih modelov. Zlati standard obsega 2.860 člankov, pri čemer je bilo na podlagi uporabljenih klasifikacijskih meril 29 člankov uvrščenih v pozitivni razred ljudskih pripovedi. Primerjamo dva komercialna in šest odprtih lokalnih modelov s tremi različicami poziva. Najuspešnejši komercialni model doseže vrednost Matthewsovega korelacijskega koeficienta (MCC) 0,923, najboljši neprilagojeni odprti lokalni model pa MCC 0,810. Oba pri tem dosegata popoln priklic. Z destilacijo znanja, prilagoditvijo z matrikami nizkega ranga (LoRA) in kvantizirano prilagoditvijo z matrikami nizkega ranga (QLoRA) prenesemo sodbe in utemeljitve komercialnega učiteljskega modela na dva odprta lokalna modela. Vsi adapterji presežejo pripadajoče izhodiščne modele, najvišji MCC lokalnih modelov pa se poveča na 0,861. Popoln priklic najboljših modelov na tem vzorcu kaže na njihov potencial pri predhodnem izboru kandidatov, napačne pozitivne napovedi pa še vedno zahtevajo strokovno preverjanje.

Mentor: prof. dr. Marko Robnik Šikonja

Somentor: asist. - razisk. Karim El Haff

Komisija:

    - doc. dr. Jana Faganeli Pucer, predsednik

    - izr. prof. dr. Arjana Žitnik, član

    - prof. dr. Marko Robnik Šikonja, mentor

    - asist. - razisk. Karim El Haff, somentor

Prostor: Predavalnica 21