V okviru programske skupine smo se ukvarjali s strojnim učenjem in podatkovnim rudarjenjem s pomočjo tehnologij paralelnega procesiranja. Sodobnejše metode učenja iz podatkov (strojno učenje) in odkrivanja zakonitosti iz podatkov (podatkovno rudarjenje), ki v zadnjih letih po učinkovitosti presegajo starejše metode, so tipično mnogo bolj računsko kompleksne (časovno in pomnilniško). Gre torej po eni strani za metode s kompleksnimi arhitekturami (npr. globoke nevronske mreže), po drugi strani pa za vedno večje količine podatkov. Zato se vse pogosteje poganjajo na zmogljivih paralelnih arhitekturah, kot so grafični procesorji (GPU), gruče računalnikov oz. današnji superračunalniki, ki so pogosto tudi hibridni in vključujejo več različnih paralelnih tehnologij, nenazadnje pa tudi vezja FPGA (Field-Programmable Gate Array).
En primer so sodobne metode razvrščanja podatkov z ansambli. Gre za nadgradnjo metod za združevanje razvrstitev v ansamblu na osnovi kazalcev kakovosti pri razvrščanju podatkov. Razvrščanje oz. odkrivanje gruč v podatkih je ena izmed temeljnih disciplin področja strojnega učenja. Pristop z ansambli poveča uspešnost in robustnost iskanja gruč: naredimo več razvrstitev podatkov v gruče in nato iščemo sporazumno rešitev. Ker vse razvrstitve v ansamblu niso enako dobre, jih je potrebno pred združevanjem oceniti in utežiti njihov doprinos h končni rešitvi. V nadaljevanju našega dela smo se osredotočili na nadgradnjo obstoječih metod za združevanje razvrstitev v ansamblu, tako da so bile upoštevane posamezne ocene, ki smo jih pridobili z uporabo notranjih kazalcev kakovosti [1].
Drug primer so raziskave uporabe tehnologij strojnega učenja, pri katerem pa pogosto ni pomemben zelo natančen rezultat, zaradi česar je možno uporabljati različne aproksimacije, po drugi strani pa lahko vsebujejo globoke nevronske mreže tudi na tisoče procesnih elementov, od katerih vsak uporablja tudi seštevanje in množenje. V ta namen smo raziskave razširili na področje aproksimativnih množilnikov, ki omogočajo enostavnejše implementacije nevronov in s tem obvladljivejšo in bolj energijsko varčno procesiranje [4, 5, 6].
V [2] smo implementacijo konvolucijskih nevronskih mrež prilagodili modernim paralelnim arhitekturam. Uporabili smo programski vmesnik CUDA, ki omogoča izrabo računskih kapacitet glavnega procesorja kot tudi grafičnih procesnih enot (GPU). Te nudijo veliko več računske moči in omogočajo hitro procesiranje velikih količin podatkov.
V [8] smo uporabili tudi implementacijo konvolucijskih nevronskih mrež pri tehnoloških procesih obdelave materialov v strojnišvu, v [9] pa pri študiji fraktalnih omrežij.
Faze projekta:
V prvi fazi (prvi dve leti, d1) smo raziskovali metode strojnega učenja za razvrščanje z metodami ansamblov in uporabo paralelizacije pri strojnem učenju [1, 2, 3].
V drugi fazi projekta (drugi dve leti, d2) smo prilagodili izbrane metode strojnega učenja za implementacijo na platformah za paralelno procesiranje (GPU). V tej fazi smo tudi raziskovali aproksimativne metode množenja pri izvedbi nevronov [4, 5, 6].
V tretji fazi, ki še traja (d3), z uporabo strojnega učenja in s pomočjo izrabe paralelnega procesiranja aktivno preizkušamo in preverjamo razvite metode na različnih problemskih domenah, s poudarkom na problemih znotraj raziskovalne skupine, predvsem pri razvrščanju podatkov, izbiri značilk, odločanju, uporabi aproksimacij pri implementacijah strojnega učenja, na področjih kompleksnih sistemov pri uporabi tehnoloških procesov na področju strojništva ter v prometu [7, 8, 9].
Bibliografske reference:
ILC, N. Weighted cluster ensemble based on partition relevance analysis with reduction step. IEEE access. Jun. 2020, vol. 8, str. 113720-113736, ISSN 2169-3536.
AVRAMOVIĆ, A., SLUGA, D., TABERNIK, D., SKOČAJ, D., STOJNIĆ, V., ILC, N. Neural-network-based traffic sign detection and recognition in high-definition images using region focusing and parallelization. IEEE access. Oct. 2020, vol. 8, str. 189855-189868.
HA, Van T., LAINŠČEK, D., GESSLBAUER, B., JARC JOVIČIĆ, E., HYÖTYLÄINEN, T., ILC, N., LAKOTA, K., TOMŠIČ, M., VAN DE LOO, Fons A. J., BOCHKOV, V., PETAN, T., JERALA, R., MANČEK KEBER, M. Synergy between 15-lipoxygenase and secreted PLA2 promotes inflammation by formation of TLR4 agonists from extracellular vesicles. Proceedings of the National Academy of Sciences of the United States of America. [Online ed.]. 13 Oct. 2020, vol. 117, iss. 41, str. 25679-25689.
LOTRIČ, U., PILIPOVIĆ, R., BULIĆ,. A hybrid radix-4 and approximate logarithmic multiplier for energy efficient image processing. Electronics. May 2021, vol. 10, no. 10, str. 1-20.
PILIPOVIĆ, R., BULIĆ, P., LOTRIČ, U. A two-stage operand trimming approximate logarithmic multiplier. IEEE transactions on circuits and systems. I, Regular papers. [Print ed.]. Jun. 2021, vol. 68, no. 6, str. 2535-2545.
PILIPOVIĆ, R., RISOJEVIĆ, V., BOŽIČ, J., BULIĆ, P., LOTRIČ, U. An approximate GEMM unit for energy-efficient object detection. Sensors. Jun. 2021, vol. 21, no. 12, str. 1-19.
BABIČ, M., HLUCHÝ, L., ŠTER, B., POVH, J. Modeling public transport network system by using statistics, network theory and ant colony optimization. Computing and informatics. 2021, vol. 40, no. 5, str. 1160-1173.
BABIČ, M., WANGYAO, P., ŠTER, B., MARINKOVIĆ, D., FRAGASSA, C. Modelling the surface roughness of steel after laser hardening by using 2D visibility network, convolutional neural networks and genetic programming. FME Transactions. 2022, vol. 50, str. 393-402.
BABIČ, M., MARINKOVIĆ, D., KOVAČIČ, M., ŠTER, B., CALÌ, M. A new method of quantifying the complexity of fractal networks. Fractal and fractional. 2022, vol. 6, iss. 6, str. 1-11.