Računalniški vid poskuša vsaj delno replicirati funkcionalnost človeškega vidnega zaznavanja. Eden od številnih nalog vidnega zaznavanja je omogočiti interakcijo s fizičnih okoljem, ki nas obdaja, da se lahko premikamo po prostoru brez zadevanja v ovire, da se lahko dotikamo in prijemamo predmete, ter razpoznavamo objekte na različnih stopnjah abstrakcije. Dokaj zgodaj v razvoju računalniškega vida je postalo jasno, da bi izpolnjevanje teh nalog zahtevalo, da vizualne informacije na neki določeni stopnji predstavimo v obliki prostorskih ali volumetričnih modelov, saj ti najbolj neposredno odražajo 3D strukturo prostora, ki nas obdaja.

Eden od še vedno popularnih volumetričnih modelov na ravni perceptualnih fizičnih delov, kjer je potrebno predstaviti dejansko 3D obliko so superkvadriki. Superkvadriki so definirani s sklenjeno površino, ki lahko navzame obliko elipsoidov, valjev in paralepipedov, ter vseh vmesnih oblik. Superkvadriki so popularni zlasti v robotiki za načrtovanje oprijemov predhodno neznaniih predmetov.

V 1990-tih smo razvili še danes aktualno metodo za segmentacijo in rekonstrukcijo superkvadrikov iz globinskih slik. Popularnost in razširjenost metode je moč razbrati iz citatov v Google učenjaku (1500 citatov kadarkoli, 100 citatov po 2014).

Dva razloga pa sta preprečevala v preteklosti širšo uporabo te naše metode:

§pomanjkanje in visoka cena pridobivanje 3D slikovnih podatkov,

§iterativna metoda rekonstrukcije modelov, kar je naredilo metodo neprimerno za aplikacije, ki delujejo v realnem času.

Medtem ko je zaradi tehnološkega napredka v zadnjem desetletju na voljo veliko različnih metod in naprav za pridobivanje 3D slikovnih podatkov, pa iterativna narava metode še vedno preprečuje njeno uporabo v realnem času.

Pot k hitrejši metodi pa je dokaj očitna - uporaba globokih nevronskih mrež, ki so le v par zadnjih parih letih revolucionirale raziskave v računalniškem vidu. V nekaj zadnjih letih so konvolucijske nevronske mreže (Convolutional Neural Networks - CNN) postopoma in zanesljivo postale najvažnejša metoda za reševanje problemov v računalniškem vidu. Ta novi računski pristop je zelo hiter, uporablja lahko velike količine podatkov in obstajajo tudi podobnosti z načinom, kako naši možgani procesirajo vizualne podatke.

V tem projektu torej predlagamo implementacijo segmentacije in rekonstrukcije superkvadrikov s pomočjo globokih nevronskih mrež (CNN). Kot vhodni podatki v CNN ne smejo služiti le globinske slike, ampak oblaki 3D točk nasploh. Dve vrsti aplikacij bi imele precejšnjo korist od rezultatov tega projekta:

§aplikacije, kjer je nujno procesiranje v realnem času, kot je na primer avtonomna vožnja,

§aplikacije, kjer se generira ogromne količine 3D podatkov (LiDAR, večslikovna fotogrametrija) in je potrebna inteligentna avtomatizacija obdelave teh podatkov.

V predlagani projektni skupini imamo ogromno izkušenj z supekvadričnim modeliranjem, saj smo avtorji aktualne metode. Po drugi strani, pa imamo tudi ogromno izkušenj z razvojem CNN rešitev nalog v računalniškem vidu. To dvoje nas izjemno kvalificira za predlagani projekt.

Veda

Tehnika

Letni obseg

1,72 FTE

Sodelujoče raziskovalne organizacije <https://www.sicris.si/public/jqm/prj.aspx?lang=slv&opdescr=search&opt=2&subopt=403&code1=cmn&code2=auto&psize=10&hits=1&page=1&count=&id=17293&slng=&search_term=J2-9228&order_by>

Sestava projektne skupine <https://www.sicris.si/public/jqm/prj.aspx?lang=slv&opdescr=search&opt=2&subopt=402&code1=cmn&code2=auto&psize=10&hits=1&page=1&count=&id=17293&slng=&search_term=J2-9228&order_by>

Faze projekta

§WP1: razvij CNN za rekonstrukcijo posameznih SQ

§WP2: določi ustrezen format 3D točk za vhod v CNN

§WP3: generiraj zadostno število učnih primerov za učenje CNN

Vsi trije delovni paketi načrtovani za prvo leto projekta se uspešno izvajajo.

Bibliografske reference projekta

§SLABANJA, Jurij, MEDEN, Blaž, PEER, Peter, JAKLIČ, Aleš, SOLINA, Franc. Segmentation and reconstruction of 3D models from a point cloud with deep neural networks. V: ICT convergence powered by smart intelligence : ICTC 2018. [S. l.: s. n.]. 2018, str. 118-123, ilustr. [COBISS.SI-ID 1537994435], [Scopus up to 10. 2. 2019: no. of citations (TC): 0, pure citations (CI): 0]

Financerji

Javna agencija za raziskovalno dejavnost Republike Slovenije