Naslov diplomskega dela: Zmanjševanje velikosti jezikovnih modelov s kvantizacijo

Povzetek:

Veliki jezikovni modeli, kot je BERT, so preobrazili obdelavo naravnega jezika, vendar njihova velika velikost in računska zahtevnost ovirata njihovo širšo uporabo, zlasti na napravah z omejenimi viri. Ta diplomska naloga obravnava problem zmanjševanja velikosti jezikovnih modelov z uporabo kvantizacije, tehnike, ki zmanjšuje številsko predstavitev uteži in aktivacij modela. Osredotoča se na metode kvantizacije po učenju (PTQ), natančneje na dinamično in statično kvantizacijo, ki sta implementirani in ovrednoteni na klasifikacijskem modelu BERT z uporabo knjižnice ONNX Runtime. Teoretično je predstavljena tudi kvantizacija med učenjem (QAT), ter ostale pogosto uporabljene metode zmanjševanja velikosti jezikovnih modelov. Analiziran je vpliv tehnike PTQ na velikost modela, hitrost sklepanja in napovedno natančnost. Rezultati kažejo, da kvantizacija znatno zmanjša velikost modela in pospeši sklepanje. Dinamična kvantizacija pri modelu BERT doseže dobro ravnovesje med kompresijo in ohranjanjem natančnosti, medtem ko osnovna statična kvantizacija povzroči opazno poslabšanje zmogljivosti. Delo tako ponuja pregled tehnik kvantizacije in praktično oceno kompromisov pri uporabi kvantizacije po treniranju na modelu BERT.

Mentor: doc. dr. Tomaž Hočevar

Komisija za zagovor:

prof. dr. Marko Robnik Šikonja (predsednik),

doc. dr. Tomaž Hočevar (mentor),

doc. dr. Alan Lukežič (član).

Prostor: Predavalnica 18