V reviji Neural Networks so Marko Zeman, doc. dr. Jana Faganeli Pucer, prof. dr. Igor Kononenko in prof. dr. Zoran Bosnić iz Laboratorija za kognitivno modeliranje FRI UL objavili znanstveni članek "SuperFormer: Continual learning superposition method for text classification," v katerem predstavijo metodo, ki pripomore k reševanju pozabljanja prej naučenega znanja naprav s pomnilniškimi omejitvami (mobilni telefoni, droni), prav tako pa omogoča učinkovitejše kontinuirano učenje teh naprav.

V računalniških aplikacijah si pogosto želimo imeti sistem, ki se lahko nenehno uči z uporabo algoritmov strojnega učenja. Težava z modeli strojnega učenja pri kontinuiranem učenju pa je, da pogosto pozabijo, kaj so se pred časom naučili. Obstoječe rešitve tega problema zahtevajo veliko spomina in dodatnega časa za učenje takih modelov. Zato avtorji članka predlagajo novo metodo SuperFormer, ki zmanjša pozabljanje prej naučenega znanja z zanemarljivo uporabo dodatnega pomnilnika in časa.

Praktična vrednost metode je njena uporabnost za naprave s pomnilniškimi omejitvami, kjer omogoča uporabo kontinuiranega strojnega učenja brez podaljševanja časa učenja, hkrati pa zelo dobro ohranja točnost naučenih nalog.

Članek lahko v celoti preberete na povezavi:

• Neural Networks: SuperFormer: Continual learning superposition method for text classification (6. februar 2023)