Zaznavanje na vgrajenih napravah
Predmet se bo izvedel bločno v treh tednih v začetku poletnega semestra. Prvi teden je bil namenjen predavanjem in kratkim praktičnim delom (do 4 ure na dan), dva tedna pa potem praktičnemu delu na projektni nalogi s popoldanskimi konzultacijami vsak dan.
Predmet Zaznavanje na vgrajenih napravah je primarno namenjen študentom, ki jih zanima področje računalniškega vida in globokega učenja v kombinaciji s praktično uporabo algoritmov računalniškega vida v samostojnih sistemih, pri katerih je pomembna tudi pametna poraba resursov (npr. Mobilna robotika, pametni telefoni, kiosk sistemi, pametni terminali). Pri predmetu bodo študenti bolje spoznali nekatere tehnične prijeme, ki idejo pripeljejo do uporabne implementacije v različnih aplikativnih scenarijih. Glavna nit predmeta bo predstavitev novejših, a uveljavljenih algoritmov računalniškega vida, ki v večini temeljijo na globokem učenju in nevronskih mrežah (detekcija, segmentacija, sledenje), obravnavali pa bomo tudi klasične pristope (ujemanje ključnih točk, stereo in dispariteta). Študentje bodo tekom predmeta delovanje delovanje algoritmov za procesiranje slikovnih podatkov preizkusili v okviru individualnih projektov. Cilje projektne naloge bodo zastavili skupaj z izvajalcem predmeta, ki jih bo usmeril v prave algoritme in uporabo ustrezne stronje platforme. Stična točka teorije in prakse bo delo na platformi DepthAI, ki jo razvija podjetje Luxonis. Gre za odprto strojno platformo, ki jo poganja SoC, primeren za hitro obdelavo slikovnih signalov (VPU - vision processing unit). Platforma DepthAI obsega več naprav, takih z vgrajenimi kamerami, razširitev za platformo Raspberry Pi in mobilnih robotov (platforma RAE). Vsem je skupen cevovodni način obdelave slikovnih informacij, ki razbremeni CPU in omogoča odzivno asinhrono procesiranje kompleksnih slikovnih informacij na zelo učinkovit način. Delo s platformo DepthAI bo dopolnjeno še z uporabo knjižnice OpenCV, najbolj poznane in razširjene odprtokodne knjižnice za računalniški vid.
Cilji predmeta so večsmerni: (a) praktičen uvod v področje sodobnega računalniškega vida in zaznavanja, (b) izkušnje dela s pravimi robnimi sistemi za obdelavo slikovnih podatkov, (c) pridobitev izkušenj iz razvoja bolj kompleksnega projekta, (d) izkušnja javnega nastopanja.
