Dr. Peter Rot je bivši doktorski študent in uspešen raziskovalec na področju računalniškega vida in biometrije. Kot član Laboratorija za računalniški vid se ukvarja z raziskavami na področju biometrije, pri čemer posebno pozornost namenja zaščiti zasebnosti pri analizi obrazov. Na Dnevu FRI 2024 je za svoje raziskovalno delo prejel posebno omembo za konferenčni prispevek Enhancing Gender Privacy with Photo-Realistic Fusion of Disentangled Spatial Segments, v katerem je predstavil metodo za izboljšanje zasebnosti pri razpoznavanju obrazov.

S Petrom smo se pogovarjali o  njegovih izkušnjah z doktorskim študijem in raziskovalnem delu.

Kako je pri tebi dozorela odločitev za doktorski študij?

Takoj po zaključku magisterija sem se zaposlil v industriji kot razvojni inženir programske opreme, saj takrat še nisem imel dovolj močne želje po opravljanju doktorata. Mentorja pri moji magistrski nalogi sta bila prof. dr. Peter Peer in prof. dr. Vitomir Štruc. Naslednje leto sta mi ponudila delo na raziskovalnem projektu z aktualno tematiko, ki je vzbudila moje zanimanje – zagotavljanje zasebnosti pri analizi obrazov. Za začetek doktorskega študija sem imel torej vse potrebno: dva odlična mentorja, financiranje in močno zanimanje za tematiko. Zato sem sprejel izziv in se vpisal na doktorski študij.

Kaj je tvoje raziskovalno področje?

Ukvarjam se z računalniškim vidom in biometrijo (angl. biometrics), kjer je primarni cilj razločevanje med identitetami različnih posameznikov na podlagi njihovih edinstvenih bioloških vzorcev, ki se jih lahko pridobi npr. z obraza, šarenice itd. Natančneje sem v sklopu doktorske disertacije raziskoval vidike zasebnosti pri biometrični analizi obrazov. Iz slike obraza lahko ljudje in algoritmi poleg identitete posameznika (kdo je na sliki) napovedo še mnoge druge t.i. mehke biometrične značilnosti, kot so spol, starost in etnična pripadnost osebe. Opazimo, da so mehke biometrične značilnosti tudi del identitete – če npr. poznamo spol in približno starost določene osebe, lahko iz množice možnih kandidatov izločimo vse osebe nasprotnega spola in ostalih starostnih skupin. Problem, s katerim sem se ukvarjal, pa je naslednji: ko damo soglasje, da se slika našega obraza lahko uporabi za točno določen namen, npr. za preverjanje naše identitete (angl. face verification) preko interneta, lahko kasneje nekdo isto sliko uporabi za popolnoma drug namen, za katerega nismo dali soglasja (npr. za ciljno oglaševanje na podlagi spola/starosti, profiliranje, etnično diskriminacijo itd.). Možno je torej razširiti prvotni namen oz. način obdelave biometričnih podatkov (angl. function creep), kar GDPR prepoveduje. Da bi to preprečili, raziskovalci razvijajo metode za zaščito zasebnosti mehkih biometričnih značilnosti (angl. soft-biometric privacy enhancing techniques, SB-PETs).

Tekom doktorskega študija sem raziskoval, do kolikšne mere je mogoče iz biometričnih podatkov odstraniti informacijo o mehkih biometričnih značilnostih, preden to kritično vpliva na možnost razlikovanja med osebami. V okviru dela sem razvijal metode, ki temeljijo na globokem učenju.

S čim se trenutno ukvarjaš?

Trenutno sem zaposlen na projektu MixBAI (Mechanistic Interpretability for Explainable Biometric Artificial Intelligence), pri katerem poskušamo razložiti in interpretirati, kako biometrični modeli za razpoznavanje obrazov sprejemajo odločitve (tj. zakaj se odločijo, da neka slika obraza (ne) pripada določeni identiteti). Sodobni modeli za razpoznavanje obrazov so namreč nevronske mreže, ki jih naučimo razločevati med posamezniki tako, da jim pokažemo ogromno slik obrazov z oznako njihove identitete. Zaradi kompleksnosti nevronskih mrež je težko natančno razložiti vlogo posameznega nevrona oz. njihovih skupin, poleg tega pa posamezen nevron lahko kodira več semantično različnih informacij. Pri projektu se osredotočamo na uporabo metod za interpretacijo mehanizmov (angl. mechanistic interpretability), ki so se nedavno izkazale za perspektivne pri interpretaciji velikih jezikovnih modelov (angl. large language models, LLMs). Osnovna ideja tovrstnih metod je, da z analizo in razumevanjem posameznih komponent nevronskega omrežja lahko sklepamo, kako deluje celoten sistem.

V letu 2024 si pripravil konferenčni prispevek Enhancing Gender Privacy with Photo-Realistic Fusion of Disentangled Spatial Segments, ki je prejel posebno omembo na Dnevu FRI. Poleg tega si za svoje raziskovalno delo prejel nagrado Max Snijder, ki jo podeljuje Evropsko združenje za biometrijo (EAB). Kaj so najbolj zanimivi zaključki omenjenega prispevka?

Mnoge metode za zaščito zasebnosti, katerih cilj je odstraniti informacijo o mehkih biometričnih značilnosti, močno poslabšajo kvaliteto slik in na njih pustijo vidne sledi (npr. manjkajoče piksle, prisotnost nenaravnih barv, itd.). Tovrstne sledi lahko pozoren opazovalec zaščitenih slik izrabi za ponovno pridobitev zaščitene informacije, saj lahko manjkajoče piksle na inteligenten način doda oz. popravi, s čemer izniči efekt zaščite. To ranjlivost smo predstavili v članku PrivacyProber.

V omenjenem članku, ki je bil sprejet na konferenco ICASSP v Južni Koreji (Seul), pa to ranljivost naslovimo tako, da predlagamo novo metodo za zaščito zasebnosti, ki smo jo s kratico poimenovali PriDSS. Cilja te metode sta dva:

1) razpoznavalnik obrazov mora osebo na zaščiteni sliki še vedno prepoznati kot isto osebo, ki je na izvorni sliki, in

2) razvrščevalnik spola ne sme dati zanesljive napovedi spola.

Najbolj zanimiv rezultat v tem članku je to, da oba omenjena cilja lahko dosežemo z zlivanjem slik dveh obrazov nasprotnega spola.

Namesto, da za preverjanje svoje identitete pošljemo na strežnik našo originalno sliko obraza, lahko pošljemo na tak način spremenjene slike, ki zaščitijo informacijo o mehkih biometričnih značilnostih. Tak rezultat seveda odpira tudi nova vprašanja glede ranljivosti obstoječih razpoznavalnikov obrazov.

Koliko so rezultati uporabni v praksi?

V disertaciji je predstavljenih več metod za razdruževanje informacij o t.i. mehkih biometričnih značilnostih, prenos znanja pa je v mnogih primerih neposreden, saj so bile metode razvite na mrežah, ki se že uporabljajo v praksi. Razvite metode prispevajo k boljšemu razumevanju kompromisa med zaščito občutljivih biometričnih podatkov in njihovo uporabnostjo, kar je v praksi ključno tudi pri zakonodajah, kot je GDPR. Doktorsko delo osvetljuje omejitve in zmožnosti teh tehnologij ter pomaga pri določanju tveganja za zasebnost. Z metodologijo PrivacyProber lahko ovrednotimo zagotovila, ki jih ponujajo metode za zaščito mehkih biometričnih značilnosti. Na podlagi tega se lahko odločimo, ali so zagotovila dovolj dobra za določeno uporabo. Razvite metode se lahko prilagodijo za izboljšanje zasebnosti pri drugih biometričnih modalnostih, ki vsebujejo informacije o mehkih biometričnih značilnostih, kot sta npr. glas in periokularna regija.

Kaj si želiš početi po študiju?

Po študiju si želim delati na zanimivih raziskovalnih/razvojnih projektih na področju računalništva in informatike.

Kaj bi svetoval vsem, ki se odločajo o nadaljevanju študija na FRI na doktorski ravni?

Študentom, ki razmišljajo o vpisu na doktorski študij, priporočam, da si poiščejo dobrega mentorja, s katerim bodo pripravljeni sodelovati naslednja štiri leta ali dlje, ter temo, ki jih resnično zanima in bi jo bili pripravljeni raziskovati v prostem času, saj bo zahtevala veliko predanosti. Poleg tehničnih veščin je ena izmed najdragocenejših spretnosti, ki jih pridobite med doktoratom, sposobnost jasnega in razumljivega komuniciranja kompleksnih idej, kar je uporabno na katerem koli področju. Za hitro seznanitev z raziskovalnim področjem priporočam, da si čim prej postavite eksperimentalna izhodišča in že od začetka strukturirano dokumentirate svoje ideje in rezultate. Poleg tega, da sprotno pisanje pomaga pri organizaciji misli, omogoča boljši pregled nad odprtimi problemi. Dobro je spremljati tudi tekmovanja, na katerih se rešujejo aktualni izzivi.

Tudi vas zanima raziskovanje? Vabljeni, da se nam pridružite na Informativnem dnevu za doktorski študijski program Računalništvo in informatika, ki bo v sredo, 2. aprila 2025, ob 16.00  v predavalnici 19, Fakultete za računalništvo in informatiko, Večna pot 113, Ljubljana.