Napovedovanje stanja objekta (npr. poze) v toku slik je eden izmed temeljnih problemov računalniškega vida s številnimi možnostmi uporabe. Če vemo, kje je objekt ob danem času, lahko to omogoči avtonomnemu vozilu izogibanje se oviram, lahko nadzorni sistem opozori, če starejša oseba pade doma, lahko analiziramo igro v profesionalnem športu, odkrijemo obnašanje živali ali pa se preko sledenja robot uči novih konceptov. Obenem pa gre pri vizualnem sledenju za slabo zastavljen problem, ki ga ne moremo ga rešiti za poljuben objekt zgolj z informacijo, ki jo pridobimo med sledenjem. Vemo pa, da ljudje lahko razrešimo kompleksne probleme sledenja z zanašanjem za ogromno količino znanja o svetu, ki smo ga pridobili tekom življenja. To znanje vsebuje informacije o kategorijah, njihovih možnih deformacijah in spremembah izgleda, vse to pa je ključno za stabilno predstavo o objektu med sledenjem. V jeziku strojnega učenja lahko rečemo, da je to znanje vsebovano v generativnem modelu izgleda objekta. Raziskovalni problem, ki se ga bomo lotili v predlaganem projektu je torej konstrukcija takega generativnega modela, njegovo učenje ter uporaba v scenarijih vizualnega sledenja. Verjamemo, da je prav tak generativni model izgleda celotnega objekta ključen korak naproti utemeljitvi vizualnega sledenja v višjenivojskih konceptih, ki se skrivajo za surovimi vrednostmi slikovnih elementov.

Veda

Tehnika

Letni obseg

1 FTE

Sodelujoče raziskovalne organizacije <https://www.sicris.si/public/jqm/prj.aspx?lang=slv&opdescr=search&opt=2&subopt=403&code1=cmn&code2=auto&psize=10&hits=1&page=1&count=&id=18003&slng=&search_term=Globoko+generativno+modeliranje+izgleda+v+vizualnem+sledenju&order_by=>

Sestava projektne skupine <https://www.sicris.si/public/jqm/prj.aspx?lang=slv&opdescr=search&opt=2&subopt=402&code1=cmn&code2=auto&psize=10&hits=1&page=1&count=&id=18003&slng=&search_term=Globoko+generativno+modeliranje+izgleda+v+vizualnem+sledenju&order_by=>

Faze projekta

Delo v predlaganem projektu je razdeljeno na štiri glavne delovne sklope. Prvi trije obravnavajo znanstvene cilje projekta:

DS1: Generativni modeli iz nevronskih mrež za modeliranje izgleda,

DS2: Generativni modeli videza v vizualnem sledenju,

DS3: Zajem podatkov za učenje in testiranje,

DS4: Diseminacija.

Bibliografske reference projekta <https://www.vicos.si/Projects/Gaptrack>

Financerji

Javna agencija za raziskovalno dejavnost Republike Slovenije