Istraživači FER-a pobijedili na...

Grupa FER-ovih istraživača pod vodstvom prof. dr. sc. Siniše Šegvića sa Zavoda za elektroniku, mikroelektroniku, računalne i inteligentne sustave (ZEMRIS) osvojila je prvo mjesto na međunarodnom natjecanju Robust Vision Challenge u disciplini semantičke segmentacije. Metoda s kojom se ZEMRIS-ov tim natjecao razvijena je u okviru doktorske disertacije zavodskog suradnika, Marina Oršića, a na pripremi podneska sudjelovali su još i asistentica Petra Bevandić, mlađi istraživač Ivan Grubišić i zavodski suradnik Josip Šarić.

Propozicije natjecanja zahtijevaju učenje jednog modela koji može provoditi predikcije na većem broju skupova podataka. Takvi modeli posebno su zanimljivi za industrijske primjene jer se najbolje ponašaju u prisutnosti neočekivanih scena. FER-ov model postigao je prvo mjesto u apsolutnoj konkurenciji na skupu WildDash 2. Radi se o najzahtjevnijem skupu za semantičku segmentaciju automobilskih scena jer sadrži slike koje su eksperti probrali tako da budu teške za strojno naučene modele.

Metoda našeg pobjedničkog tima, pod nazivom "Učinkovita semantička segmentacija piramidalnom fuzijom", objavljena je na prošlogodišnjoj konferenciji CVPR, koju Google Scholar navodi kao 5. najprestižniji znanstveni izvor prema metrici h5-index te u časopisu Pattern Recognition, koji je prema Scopusu 10. od 220 najprestižnijih izvora u području umjetne inteligencije.

"Tri su glavne motivacije za naše sudjelovanje u natjecanju. Prvo, ovakvi poduhvati nas tjeraju da izađemo iz zone komfora i "pokupimo" znanja do kojih bismo inače došli znatno sporije. Drugo, želimo povećati znanstveni odjek naših publikacija. Treće, ovim sudjelovanjem pokazujemo da je naša ekspertiza kompetitivna u svjetskim razmjerima te se na ovaj način nadamo doći do projekata kojima bismo nastavili financiranje našeg istraživanja. Zainteresirani smo za industrijske projekte prvenstveno zato što nas oni vrlo efikasno suočavaju sa stvarnim ograničenjima naše znanosti. Osim toga, industrijska istraživanja su važna i zato što su javni izvori financiranja u Hrvatskoj nedovoljni za provođenje istraživanja na svjetskoj razini", pojašnjava voditelj tima, profesor Šegvić.

NADOPUNA: Marin Oršić održao je u petak, 11. rujna 2020. godine, predavanje pod nazivom "Robusna semantička segmentacija: sudjelovanje na natjecanju RVC 2020" koje je moguće pogledati na YouTube kanalu FER-a.

Više informacija nalazi se u nastavku obavijesti.

Grupa istraživača profesora Šegvića počela je proučavati semantičku segmentaciju početkom 2015. godine u sklopu HRZZ-ovog projekta MULTICLOD (2014. – 2017.). Razumijevanje cestovnih scena bilo im je posebno interesantno zbog zanimljivih primjena vezanih uz automatiziranje procjene sigurnosti prometnica. Radi se o industrijskoj niši u kojoj postoje sjajne prilike za sinergiju prometne i računarske znanosti, a koja je bila predmet istraživanja i jednog ranijeg polu-industrijskog projekta profesora Šegvića, pod nazivom MASTIF (2008. – 2011.).
 

Pobjednički tim na natjecanju Robust Vision Challenge 2020: Josip Šarić, Ivan Grubišić, Petra Bevandić, Marin Oršić i
prof. dr. sc. Siniša Šegvić

Prvi veliki podatkovni skup za semantičku segmentaciju cestovnih scena Cityscapes pojavio se 2015. godine, a financirala ga je njemačko poduzeće Daimler. Točnost postupaka na tom skupu podataka strelovito je rasla, ali su istraživači uskoro uvidjeli da modeli učeni na Cityscapesu slabo rade "u divljini". Problem je u tome što su sve slike Cityscapesa snimljene istom kamerom i iz iste perspektive, te bi se strojno naučeni modeli toliko prilagodili tom okviru - da bi u drugim kontekstima bili neupotrebljivi.

Zbog toga je 2018. godine na austrijskom institutu AIT osmišljen skup WildDash. Kolege iz AIT-a predložili su sistematizaciju opasnih situacija (ili hazarda) koji bi mogli dovesti do krivih predikcija. Primjeri tih hazarda su: zamućenje, podeksponirani dijelovi slike, kiša, magla ili snijeg. Usporedno s WildDashom pokrenuto je i prvo natjecanje Robust Vision Challenge. Zadatak je bio naučiti modele koji bi mogli razumijevati više tipova scena (npr. interijeri, fotografije, automobilska vožnja), što bi se provjeravalo istovremenom evaluacijom modela na više skupova podataka, nešto slično atletskom višeboju. RVC razmatra sedam zadataka računalnog vida (stereoskopska rekonstrukcija, optički tok, itd.).

Segmentacijsko natjecanje na prvom RVC-u, održanom 2018. godine, sastojalo se od skupova Cityscapes, WildDash, KITTI i ScanNet (interijeri). Na tom natjecanju FER je ostvario drugo mjesto, iza poduzeća Mapillary koje je pobijedilo na svim skupovima. Ovogodišnji RVC uključuje nadograđeni WildDash, tri skupa podataka koji su korišteni 2018. godine, te tri nova skupa podataka: Viper (umjetno generirane slike), Ade20k (raznolike fotografije) i Vistas (cestovna vožnja, pet kontinenata). Postoji samo jedan rad u znanstvenoj literaturi koji je razmatrao ovako teške probleme. Taj rad objavljen je na ovogodišnjem CVPR-u, a autori tog rada bili su FER-ovi suparnici na natjecanju. Inače, vjerujemo da je ove godine glavni razlog malog prijava natjecateljskih timova taj što vrlo malo ekipa ima dovoljno iskustva i dovoljno jaku opremu za sudjelovanje u ovakvom poduhvatu. Primjerice, učenje i evaluacija FER-ovog pobjedničkog modela provedena je na računalu NVIDIA DGX koje nam je ustupila Visoka škola za informacijske tehnologije iz Zagreba. Riječ je o računalnom sustavu s osam GPU-ova, NVIDIA Tesla V-100, koji pojednostavnjuje programsku izvedbu postupaka za učenje velikih modela.

 

Na slici su prikazani rezultati za tri scene iz skupa WildDash i pet postupaka koji su predstavili svoje rezultate na tom skupu. Stupci odgovaraju scenama, a retci algoritmima. Naravno, test se provodi na stotinama takvih slika. Prednost FER-ovog postupka (SN_RN152pyrx8), u odnosu na drugi najbolji postupak (MSEG_1080), najbolje se vidi u noćnoj sceni s motociklima. Vidi se da MSEG_1080 ne uspijeva prepoznati linije na kolniku te odsjaj svjetla na objektivu na mjestima klasificira u klasu stup.
 

Suradnja s gospodarstvom

"Moja grupa radi na većem broju industrijskih projekata. S poduzećem Rimac automobili istražujemo prognoziranje budućnosti cestovnih scena, s Microblinkom istražujemo jednooku rekonstrukciju u cilju detekcije pokušaja lažne autentikacije u videu, dok s poduzećem RoMB istražujemo percepciju za autonomne skladišne robote. S Fakultetom prometnih znanosti u Zagrebu istražujemo automatsko raspoznavanje sigurnosnih atributa prema EuroRAP protokolu, povremeno surađujemo i s poduzećem Xylon, a u okviru strukturnih projekata EU surađivali smo s poduzećima Končar i Dok-ING", ističe profesor Siniša Šegvić, voditelj FER-ovog tima istraživača.

Autor: Petra Škaberna
Popis obavijesti