Kaj se zgodi, ko umetna inteligenca iz eksperimenta preraste v rešitev, ki jo uporablja več tisoč ljudi? Takrat dober model AI ni več dovolj – ključni postanejo zmogljiva infrastruktura, učinkovita programska oprema in znanje, kako vse skupaj povezati. Prav s temi izzivi se ukvarjajo v podjetju Arctur, ki deluje že od leta 1992, danes pa združuje razvoj rešitev AI, visokozmogljivo računalništvo (HPC) in lastno računalniško infrastrukturo. Tomislav Šubić, vodja AI, Tristan Pahor, vodja Data centra, in Tomi Ilijaš, direktor Arcturja, so z nami delili svoje izkušnje in poglede na to, kaj je potrebno, da AI deluje tudi zunaj testnega okolja, zakaj je nadzor nad infrastrukturo strateška prednost in kje se skrivajo priložnosti za prihodnje strokovnjake IT.
Kaj za Arctur pomeni biti vertikalni ponudnik rešitev AI?
Tomi: Za nas rešitev AI ni samo model, ampak celotna pot od poslovnega problema do produkcijskega okolja. Začne se z razumevanjem procesov in podatkov, nato sledijo izbira ali razvoj pristopa AI, integracija ter ustrezna infrastruktura. Arctur združuje razvoj programske opreme, znanje s področja AI in lastno računalniško infrastrukturo, zato lahko prevzamemo odgovornost za celotno rešitev. To je pomembno zaradi varnosti: pri »instant« rešitvah prek globalnih servisov podjetje pogosto nima nadzora nad tem, kam odhajajo podatki. Resna rešitev AI mora biti varna, integrirana, skalabilna in pod nadzorom naročnika.
Kdaj je dostop do LLM-ja prek API-ja dovolj in kdaj je smiselno graditi lasten sistem AI?
Tomislav: Dostop do LLM-ja prek API-ja je dovolj, kadar je umetna inteligenca predvsem dodatna funkcionalnost. Če potrebujete klepetalnik, povzetke sestankov ali osnovno generiranje vsebin, je uporaba modela prek API-ja smiselna.
Drugače pa je, ko AI postane del ključnega produkta, vključuje interno znanje ali podatke strank oziroma vpliva na pomembne poslovne odločitve. Če ste takrat popolnoma odvisni od zunanjega API-ja, to pomeni strateško tveganje. Ponudnik lahko spremeni cene, omejitve uporabe, način delovanja modela, pogoje glede podatkov ali razpoložljivost storitve.
Prilagojen sistem AI ne pomeni nujno, da morate od začetka razviti lasten model. Pomeni predvsem, da imate pod nadzorom dele, ki ustvarjajo največ vrednosti: svoje podatke, poslovne procese, način uporabe modelov, preverjanje kakovosti odgovorov, odločitve o uvajanju ter infrastrukturo.
Kako zagotovite kakovost rešitve AI in kaj se spremeni, ko jo uporablja več tisoč ljudi?
Tomislav: Pri generativni AI občutek, da odgovor »zveni pametno«, seveda ni dovolj. Sistem preverjamo na realnih scenarijih in referenčnih odgovorih: ali je informacija pravilna, relevantna, podprta z viri in ali zna model povedati, da odgovora nima.
Z internimi orodji za AI observability in tracing spremljamo celoten proces – od podatkov, dokumentov in pozivov do odgovorov modela, latence, porabe žetonov, stroškov, GPU-jev in napak v infrastrukturi.
Z desetimi prijaznimi testnimi uporabniki je lahko skoraj vse videti odlično. Ko sistem uporablja na tisoče ljudi, ti postavljajo nepričakovana vprašanja, nalagajo neurejene dokumente, uporabljajo različne jezike, vsi hkrati pošiljajo zahteve in takoj opazijo, če odgovor namesto ene sekunde traja deset. Z batchingom, pametnim routingom zahtev in optimizacijo serving sistema lahko pogosto dosežemo večji učinek kot zgolj z nakupom dodatnih GPU-jev.
Tristan: Platforma mora omogočati širitev glede na rast potreb in računske zahtevnosti. To pomeni, da mora biti inferenčna platforma zasnovana tako, da omogoča porazdeljevanje obremenitev (load balancing) in odpornost proti izpadom (fault tolerance), hkrati pa mora zagotavljati tudi kibernetsko odpornost.
Zakaj je obvladovanje lastne infrastrukture strateška prednost?
Tristan: Velik izziv je postalo zagotavljanje zadostne električne moči in prostora za sisteme napajanja in hlajenja, saj so zaradi GPU-jev HPC-centri postali energetsko potratni. Razpoložljiva zmogljivost je danes lahko pomembna strateška prednost.
Prav zato je še toliko pomembneje, da računsko moč, ki jo že imamo, uporabljamo čim učinkoviteje. Strežniška oprema se je v zadnjih letih tudi zelo podražila, cene so nestabilne, ključne komponente pa težko dobavljive, zato je naša filozofija »idle GPUs are wasted GPUs!«.
Pomembno je tudi, kje se podatki hranijo in obdelujejo, kdo lahko do njih dostopa in kako. Če torej ponudnik upravlja tudi infrastrukturo, je lahko pri zagotavljanju storitev učinkovitejši in odzivnejši, kar omogoča boljšo uporabniško izkušnjo.
Tomi: Pri suverenosti pa se kaže zanimiv paradoks: mi že 30 let investiramo v lastno zmogljivo strežniško infrastrukturo. Ko so vsi odhajali v oblak, smo mi trmasto vztrajali in vlagali ogromno denarja v svojo opremo in znanje. Danes, ko se globalna zavezništva spreminjajo in odvisnosti postajajo tveganje, je ta nekdanja »slabost« postala velika strateška prednost, ki jo bomo v prihodnje še krepili.
Kaj bo ločilo podjetja, ki bodo AI samo uporabljala, od tistih, ki bodo na njem gradila dejansko konkurenčno prednost?
Tomi: Uporaba AI danes ni več samo konkurenčna prednost, ampak postaja osnovni pogoj za preživetje. Zato morajo podjetja dobro razmisliti, kaj je njihova prednost, koliko morajo vložiti v rešitev in s kom se bodo povezala, da bodo imela dolgoročnega razvojnega partnerja. In s tem ni za odlašati, saj se konkurenca zelo verjetno že pripravlja na novo realnost.
Več o podjetju Arctur:
Spletna stran
Možnosti zaposlitve
Kontakt: info@arctur.si
--
Prispevek je promocijska objava podjetja Arctur, pokrovitelja Poletne šole FRI 2026.