• Segmentacija in rekonstrukcija superkvadričnih modelov iz 3D podatkov s pomočjo nevronske mreže
Naročnik: Javna agencija za raziskovalno dejavnost RS
Tip projekta: Raziskovalni projekti ARRS
Trajanje projekta: 2018 - 2021
  • Opis

Segmentacija in rekonstrukcija superkvadričnih modelov iz 3D podatkov s pomočjo nevronske mreže

Računalniški vid poskuša vsaj delno replicirati funkcionalnost človeškega vidnega zaznavanja. Eden od številnih nalog vidnega zaznavanja je omogočiti interakcijo s fizičnih okoljem, ki nas obdaja, da se lahko premikamo po prostoru brez zadevanja v ovire, da se lahko dotikamo in prijemamo predmete, ter razpoznavamo objekte na različnih stopnjah abstrakcije. Dokaj zgodaj v razvoju računalniškega vida je postalo jasno, da bi izpolnjevanje teh nalog zahtevalo, da vizualne informacije na neki določeni stopnji predstavimo v obliki prostorskih ali volumetričnih modelov, saj ti najbolj neposredno odražajo 3D strukturo prostora, ki nas obdaja.

Eden od še vedno popularnih volumetričnih modelov na ravni perceptualnih fizičnih delov, kjer je potrebno predstaviti dejansko 3D obliko so superkvadriki. Superkvadriki so definirani s sklenjeno površino, ki lahko navzame obliko elipsoidov, valjev in paralepipedov, ter vseh vmesnih oblik. Superkvadriki so popularni zlasti v robotiki za načrtovanje oprijemov predhodno neznaniih predmetov.

V 1990-tih smo razvili še danes aktualno metodo za segmentacijo in rekonstrukcijo superkvadrikov iz globinskih slik. Popularnost in razširjenost metode je moč razbrati iz citatov v Google učenjaku (1500 citatov kadarkoli, 100 citatov po 2014).

Dva razloga pa sta preprečevala v preteklosti širšo uporabo te naše metode:

1.pomanjkanje in visoka cena pridobivanje 3D slikovnih podatkov,

2.iterativna metoda rekonstrukcije modelov, kar je naredilo metodo neprimerno za

aplikacije, ki delujejo v realnem času.

Medtem ko je zaradi tehnološkega napredka v zadnjem desetletju na voljo veliko različnih metod in naprav za pridobivanje 3D slikovnih podatkov, pa iterativna narava metode še vedno preprečuje njeno uporabo v realnem času.

Pot k hitrejši metodi pa je dokaj očitna uporaba globokih nevronskih mrež, ki so le v par zadnjih parih letih revolucionirale raziskave v računalniškem vidu. V nekaj zadnjih letih so konvolucijske nevronske mreže (Convolutional Neural Networks CNN) postopoma in zanesljivo postale najvažnejša metoda za reševanje problemov v računalniškem vidu. Ta novi računski pristop je zelo hiter, uporablja lahko velike količine podatkov in obstajajo tudi podobnosti z načinom, kako naši možgani procesirajo vizualne podatke.

V tem projektu torej predlagamo implementacijo segmentacije in rekonstrukcije superkvadrikov s pomočjo globokih nevronskih mrež (CNN). Kot vhodni podatki v CNN ne smejo služiti le globinske slike, ampak oblaki 3D točk nasploh. Dve vrsti aplikacij bi imele precejšnjo korist od rezultatov tega projekta:

1.aplikacije, kjer je nujno procesiranje v realnem času, kot je na primer avtonomna vožnja,

2.apliakcije, kjer se generira ogromne količine 3D podatkov (LiDAR, večslikovna fotogrametrija) in je potrebna inteligentna avtomatizacija obdelave teh podatkov.

V predlagani projektni skupini imamo ogromno izkušenj z supekvadričnim modeliranjem, saj smo avtorji aktualne metode. Po drugi strani, pa imamo tudi ogromno izkušenj z razvojem CNN rešitev nalog v računalniškem vidu. To dvoje nas izjemno kvalificira za predlagani projekt.