Avtonomna robotika je hitro rastoča raziskovalna disciplina, ki odpira nove znanstvene in tehnične izzive. Večina raziskav se posveča samovozečim kopenskim vozilom in raziskovanju vesolja, medtem ko je precej manj pozornosti namenjene vodni robotiki. S pričo dejstva, da se 90 % svetovnega blaga prevaža s plovili, se zanimanje za razvoj zmogljive avtonomije za brezpilotna površinska vozila (angl., unmanned surface vehicles, USV) povečuje. Ključni element za avtonomno delovanje je zaznavanje okolja.

Na sorodnem področju avtonomnih vozil (AV) so bile glavni vzrok za napredek metod zaznavanja predvsem globoke metode strojnega učenja, ki omogočajo celovito učenje kompleksnih funkcij, potrebnih za zanesljivo delovanje. Večina metod zaznavanja za USV pa je izdelanih ročno ali pa uporabljajo globoke prednaučene modele na splošno-namenskih RGB podatkovnih zbirkah. Te zbirke pa niso dovolj za razvoj kompleksnih modelov, potrebnih za zelo dinamično morsko okolje s spremenljivo osvetlitvijo, pogostimi zrcalnimi odsevi in meglico. Pomanjkanje velikih in raznolikih večmodalnih podatkovnih množic, ki bi odražale obnašanje značilnih modalitet USV senzorjev v morskem okolju onemogoča možnost popolnega treniranja metod za delovanje v tako kompleksnih okoljih. Naslednja težava pri prednaučenih modelih je omejena sposobnost posploševanja. Sprememba senzorjev ali uporaba prednaučenih metod na novi lokaciji (npr. Premik AV-ja iz mesta v podeželsko okolje) običajno zahteva ponovni zajem in anotacijo nabora podatkov za ponovno učenje modelov, kar je zamudno in drago. Ta problem je še posebej izrazit v vodnem okolju.

Naš cilj je razviti novo generacijo metod zaznavanja v vodnem okolju, ki bodo izkoriščale moč polnoučenih globokih modelov. Naslovili bomo raziskovalne izzive, ključne za varno delovanje USV: 1) detekcija splošnih ovir, 2) dolgoročno sledenje s ponovno identifikacijo, 3) implicitno odkrivanje nevarnih območij in 4) večmodalno spajanje senzorjev. Poseben poudarek bo na prilagodljivosti modelov in samonadzorovanem prilagajanju novim okoljem. Za lažji razvoj modelov nove generacije bomo zajeli novo večmodalno podatkovno zbirko.

Projekt je sestavljen iz šestih delovnih paketov:
- adaptivni globoki modeli za robustno detekcijo ovir (WP1);
- algoritmi sledenja s segmentacijo, združljivi z arhitekturo zaznavanja ovir (WP2);
- nove učljive globoke metode za zlivanje senzorjev (WP3);
- izdelane velike večmodalne podatkovne zbirke za učenje in objektivno vrednotenje globokih modelov v realističnih scenarijih (WP4);
- dva delovna paketa (WP5 in WP6) bosta vsebovala podporne dejavnosti, kot so razširjanje rezultatov in upravljanje projekta.

Bibliografske reference:

Matija Tersek, Lojze Žust, Matej Kristan, eWaSR - An Embedded-Compute-Ready Maritime Obstacle Detection Network, Sensors, MDPI, 2023.

Marko Rus, Anja Fettich, Matej Kristan, Matjaž Ličer, HIDRA2: deep-learning ensemble sea level and storm tide forecasting in the presence of seiches - the case of the northern Adriatic, Geoscientific Model Development, Copernicus Publications, 2023.

Lojze Žust, Matej Kristan, Learning with Weak Annotations for Robust Maritime Obstacle Detection, Sensors, MDPI, 2022.

Borja Bovcon, Jon Muhovič, Duško Vranac, Dean Mozetič, Janez Perš, and Matej Kristan, MODS-A USV-Oriented Object Detection and Obstacle Segmentation Benchmark, IEEE Transactions on Intelligent Transportation Systems, 2021.

Alan Lukežič, Jiří Matas, and Matej Kristan, A Discriminative Single-Shot Segmentation Network for Visual Object Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.

Borja Bovcon, and Matej Kristan, WaSR - A Water Segmentation and Refinement Maritime Obstacle Detection Network, IEEE Transactions on Cybernetics, TCYB, 2021.

Lojze Žust and Matej Kristan, Temporal Context for Robust Maritime Obstacle Detection, IROS 2022, 2022.