Kandidat: Roštan Žan

Naslov diplomskega dela: Generativno modeliranje dvoumnosti pri iskanju slik na podlagi delnih skic z metodo izravnalnega toka

Povzetek:

V diplomskem delu obravnavamo iskanje scenskih slik na podlagi delnih prostoročnih skic, pri katerih lahko majhno število potez dopušča več možnih interpretacij prizora. Za modeliranje te dvoumnosti predlagamo pogojni generativni model, temelječ na metodi izravnalnega toka, ki za isto delno skico iz različnih naključnih začetnih stanj ustvari več končnih predstavitev v skupnem prostoru vložitev skic in slik. Njihovo geometrijsko razpršenost in nesoglasje rezultatov iskanja uporabljamo kot posredna pokazatelja negotovosti modela. Poskusi na zbirki FS-COCO pokažejo, da se nesoglasje generiranih predstavitev z dokončevanjem skice v povprečju zmanjšuje, pri posameznih skicah pa lahko relativno velika razpršenost ostane prisotna tudi pri skoraj ali povsem dokončanih poizvedbah. Kvalitativna analiza pokaže, da se geometrijska razpršenost lahko, vendar ne nujno, izrazi tudi kot nesoglasje med rezultati iskanja. Generirane predstavitve dodatno ovrednotimo pri klasičnem iskanju in jih primerjamo z neposredno uporabo izhodiščnih vložitev ter determinističnimi preslikavami. Ti pristopi lahko pri iskanju dosežejo boljše rezultate, vendar za posamezno skico vrnejo eno samo končno predstavitev in zato ne omogočajo analize nesoglasja z vzorčenjem. Rezultati kažejo, da lahko generativno modeliranje z več vzorci poleg samega rezultata iskanja zagotovi dodaten signal o vedenju modela pri dvoumnih poizvedbah.

Mentor: izr. prof. dr. Luka Čehovin Zajc

Komisija:

    - doc. dr. Luka Fürst, predsednik

    - izr. prof. dr. Tomaž Curk, član

    - izr. prof. dr. Luka Čehovin Zajc, mentor

Kandidat: Smole Enej

Naslov diplomskega dela: Nenadzorovana detekcija sprememb v satelitskih posnetkih z generiranjem sintetičnih primerov

Povzetek:

Detekcija sprememb v daljinsko zaznanih satelitskih posnetkih navadno zahteva velike količine ročno označenih parov slik, kar je drago in časovno potratno. Diplomska naloga za osnovo uporabi ogrodje BTC s kodirnikom DINOv3 in model nauči izključno na sintetičnih spremembah, pri čemer podrobneje razišče DRAEM-u podoben pristop z organsko obliko maske in mehkim mešanjem vsebine. Rezultati na treh podatkovnih zbirkah satelitskih posnetkov pokažejo, da preprostejše metode vodijo v učenje po bližnjici, medtem ko DRAEM-u podoben pristop ta problem občutno omili in doseže konkurenčne rezultate v primerjavi z bolj kompleksnimi nenadzorovanimi metodami.

Mentor: izr. prof. dr. Luka Čehovin Zajc
Somentor: asist. Blaž Rolih

Komisija:

    - doc. dr. Luka Fürst, predsednik

    - izr. prof. dr. Tomaž Curk, član

    - izr. prof. dr. Luka Čehovin Zajc, mentor

    - asist. Blaž Rolih, somentor

Kandidat: Tkalčič Lana

Naslov diplomskega dela: Vpliv medmodalne destilacije na učenje temeljnih modelov za opazovanje Zemlje

Povzetek:

Temeljni modeli za opazovanje Zemlje se vse pogosteje učijo samonadzorovano, saj je označenih satelitskih posnetkov malo. Ogrodje DEO učenca uči z dvema učiteljema hkrati, in sicer z multispektralnim učiteljem, ki je eksponentno drseče povprečje učenca ter z zamrznjenim optičnim temeljnim modelom, pri čemer se celoten izhodni vektor učenca poravnava z optičnim učiteljem.Ker ta pozna le tri od desetih spektralnih pasov, ni jasno, koliko h kakovosti naučenih predstavitev sploh prispeva. V diplomski nalogi merimo prav ta prispevek. Kot mehanizem, s katerim optični nadzor nadzorovano zmanjšujemo, uvedemo maskiranje, ki izhodni vektor razdeli na dva dela. Prvi vstopi v destilacijo iz optičnega učitelja, drugi pa se strukturira izključno s samonadzorovano izgubo. Predučili smo šest modelov, od izhodiščnega, pri katerem se poravnava celoten vektor, do modela brez optične destilacije, in jih ovrednotili na treh klasifikacijskih ter enem segmentacijskem naboru zbirke GEO-Bench. Pokazali smo, da zmanjševanje optičnega nadzora na učni signal dejansko vpliva, saj destilacijski izgubi z večanjem maskiranja monotono padata. Vpliv je majhen, kar pripisujemo izrazni moči projekcijskih glav, ki omejitev na vhodu v veliki meri prevzamejo. Na podrejenih nalogah se prispevek optične destilacije med nabori razlikuje. Pri naboru m-eurosat uspešnost z odvzemanjem optičnega nadzora dosledno pada, pri naboru m-so2sat je najboljši model tisti s četrtino poravnanih dimenzij, pri naboru m-bigearthnet pa sta najvišje uvrščena modela z najmanj optičnega nadzora. Da bi optična destilacija kakovost naučenih predstavitev izboljšala, na naši postavitvi torej ne moremo pokazati, hkrati pa se model brez nje nikjer izrazito ne poslabša.

Mentor: izr. prof. dr. Luka Čehovin Zajc

Somentor: asist. Filip Wolf

Komisija:

    - doc. dr. Luka Fürst, predsednik

    - izr. prof. dr. Tomaž Curk, član

    - izr. prof. dr. Luka Čehovin Zajc, mentor

    - asist. Filip Wolf, somentor

Prostor: Predavalnica 21