Naslov magistrskega dela: Agentni sistem za priporočanje izbire jezikovnega modela

Povzetek:

Izbira jezikovnega modela na portalu Hugging Face je lahko časovno potratna. Portal ponuja le iskanje po ključnih besedah in filtriranje po oznakah. V tem delu predstavimo rešitev AgentPick, agentni sistem, ki vrne kratek seznam predlaganih modelov in vsakega utemelji s podatki iz kataloga. Velik jezikovni model v omejeni zanki sam izbira med tremi orodji (semantično iskanje po modelnih karticah, strukturirano filtriranje po metapodatkih in vpogled v posamezno kartico) nad lokalno bazo podatkov 1.709 modelov pridobljenih iz portala Hugging Face. Na dvajsetih vprašanjih, ki pokrivajo šest vrst uporabniških zahtev, je agentni sistem AgentPick priporočila rangiral bolje od običajnega s poizvedovanjem obogatenega generiranja in od samostojnega jezikovnega modela brez dostopa do kataloga. Bolje je rangiral tudi od sistema z enim krogom (brez zanke), vendar je bila ta razlika statistično značilna le pri eni meri (nDCG@3).

Mentor: izr. prof. dr. Slavko Žitnik 

Komisija za zagovor:

izr. prof. dr. Iztok Lebar Bajec (predsednik),

prof. dr. Marko Bajec (član),

doc. dr. Bojan Žunkovič (član).

Prostor: Sejna soba 3