Hrvatski znanstvenici razvijaju novu...

Prvu nagradu na natjecanju Data Challenge, koje se održalo u sklopu konferencije Extreme Value Analysis 2021, osvojili su doc. dr. sc. Domagoj Vlah sa Zavoda za primijenjenu matematiku i dr. sc. Tomislav Ivek s Instituta za fiziku.

Metodologija Conditional Missing data Importance Weighted Auto-Encoder (CMIWAE), koju su razvili hrvatski istraživači, a koja im je ujedno i osigurala pobjedu na natjecanju Data Challenge, temelji se na naprednoj varijanti tzv. varijacijskih autoenkodera, umjetnih neuronskih mreža koje služe rekonstrukciji podataka u prisustvu šuma, oštećenja ili drugačijih manjkavosti. Za razliku od konkurentskih metoda, metoda CMIWAE omogućava da neuronska mreža sama pronalazi ključne pravilnosti u dostupnim podacima, pa stručne informacije ni ručno podešavanje podataka nisu potrebni.

U nastavku obavijesti možete pronaći više informacija o samom natjecanju te kratki intervju s docentom Domagojem Vlahom.

Konferencija EVA2021 održana je od 28. lipnja do 2. srpnja 2021. godine u organizaciji Sveučilišta u Edinburghu, a natjecanje Data Challenge zahtijevalo je rekonstrukciju učestalosti i izgorjele površine šumskih požara u Sjedinjenim Američkim Državama u periodu od 23 godine. Šumski požari obuhvaćaju nekontrolirano izgaranje gorivog materijala prirodne vegetacije te predstavljaju izuzetnu opasnost za ljudske živote, prirodni okoliš i imovinu. Očekuje se da će njihova učestalost drastično rasti s globalnim klimatskim promjenama. Stoga je tema ovogodišnjeg natjecanja u sklopu konferencije EVA2021 obuhvatila upravo predviđanje učestalosti šumskih požara i izgorjele površine na geografskim i vremenskim točkama s nepostojećim ili oštećenim podacima, a samo na osnovi preostalih dostupnih podataka.

"Na ovom smo natjecanju prilično izravno koristili AI metode koje se povijesno razvijaju u sklopu computer visiona i adaptirali ih na domenu matematičke statistike u kojoj nikada dosad nisu bile korištene. Ovo je zanimljivo, jer je na neki način "obrnuto" od uobičajenog protoka informacija gdje inovacije u matematici kasnije nalaze primjenu u inženjerstvu", pojašnjava docent Vlah specifičnost njihove metodologije.

Tehnika koju su osmislili hrvatski znanstvenici Domagoj Vlah i Tomislav Ivek, može se primijeniti i u drugim područjima istraživanja koja se oslanjaju na podatke s prostorno-vremenskim ekstremima, a autori će svoj pristup predstaviti u znanstvenom članku koji je trenutačno u izradi.
 

Prijatelji od osnovne škole

Domagoj Vlah i Tomislav Ivek dugogodišnji su prijatelji, još od osnovne škole, kada su se upoznali na jednom natjecanju iz matematike. "Obojica dijelimo interes za računalima, a već neko vrijeme intenzivnije proučavamo suvremene tehnike dubokog učenja odnosno suvremene pristupe umjetnoj inteligenciji. Prije nešto više od dvije i pol godine potpuno sam slučajno vidio da postoji natjecanje u sklopu međunarodne konferencije EVA, koja se 2019. održavala u Zagrebu. Tada smo se Tomislav Ivek i ja prvi puta natjecali, čisto iz znatiželje da vidimo kako će naše tehnike umjetne inteligencije raditi u usporedbi s klasičnim tehnikama iz matematičke statistike. Bili smo oduševljeni kada smo već te godine uspjeli osvojiti drugo mjesto!", ispričao nam je Domagoj Vlah.

Potaknuti tim uspjehom, dvojica prijatelja i znanstvenih entuzijasta, nastavili su se baviti s područjem dubokog učenja te počeli pisati znanstvene članke na tu temu. Logičan nastavak bilo je natjecanje na ovogodišnjem izdanju konferencije EVA2021, kada su i pobijedili.
 

Dr. sc. Tomislav Ivek i doc. dr. sc. Domagoj Vlah
 

Suvremene tehnike dubokog učenja

Sudionici na natjecanju Data Challenge uglavnom su stručnjaci iz područja matematičke statistike koje se zove analiza ekstremnih vrijednosti (extreme value analysis). Oni u svojim rješenjima također koriste tehnike strojnog učenja u kombinaciji s mnogo stručnog znanja iz njihovog područja, no koriste malo starije i bazičnije tehnike strojnog učenja, stare po 20 godina. 

"Mi smo koristili vrlo suvremene tehnike dubokog učenja, stare svega godinu ili dvije, koje smo još dodatno razvili i prilagodili za područje analize ekstremnih vrijednosti. Za razliku od ostalih rješenja, naše rješenje ne zahtijeva gotovo ništa stručnog znanja, a niti smo nas dvojica pravi stručnjaci iz matematičke statistike. Utoliko me ovaj naš rezultat još i više veseli, jer smo empirijski pokazali da se samo meta modeliranjem ovakvog natjecateljskog problema, umjesto modeliranjem i upotrebom stručnog znanja, može uspješno riješiti vrlo komplicirani problem. Jednostavno rečeno, mi smo modelirali sustav umjetne inteligencije, koji je sam implicitno "naučio" sve potrebno stručno znanje da riješi zadani natjecateljski problem, i to čak uspješnije nego što su to mogli napraviti znanstvenici iz područja", pojašnjava docent Vlah te nastavlja: "Ovakvi rezultati nisu neobični za suvremene primjene umjetne inteligencije ovoga tipa. Primjerice, već više godina postoje računalni programi koji igraju šah mnogo bolje od najboljih ljudskih protivnika, a ima još niša gdje ovakvi tipovi umjetne inteligencije značajno nadmašuju mogućnosti čovjeka."
 

Potpuno nov pristup "najmatematičkijoj" metodi

Metoda koju su naši istraživači koristili bazira se na novijoj i naprednijoj varijanti varijacijskih autoenkodera, koju su Vlah i Ivek dodatno prilagodili i generalizirali kako bi se mogla primijeniti na zadani problem u okviru Data Challenge natjecanja.

"Radi se o varijanti pod imenom Missing data Importance Weighted Auto-Encoder (MIWAE), koju smo mi unaprijedili da radi s dodatnim uvjetnim podacima i nazvali je Conditional Missing data Importance Weighted Auto-Encoder (CMIWAE). Koliko znamo, ništa slično do sada nije isprobano u području extreme value analysis. Ovo je potpuno nov pristup u tom području matematičke statistike", otkriva nam Domagoj Vlah.
 


Prema riječima FER-ovog docenta, moglo bi se reći da je metoda MIWAE jedna od "najmatematičkijih" metoda koje se koriste u dubokom učenju. Naime, ona ima temelje u matematičkoj teoriji vjerojatnosti, dok mnoge druge metode koje se koriste u dubokom učenju, iako vrlo uspješne u praksi, još uvijek nemaju zadovoljavajuće matematičko objašnjenje zašto tako dobro rade. Originalno, varijacijski autoenkoderi razvijani su i primjenjivani u području umjetne inteligencije koja se bavi računalnim vidom. Koncept varijacijskog autoenkodera otkriven je 2014.  godine, dok je MIWAE, njegova naprednija varijanta, otkrivena 2019.
 

Prednosti metode CMIWAE u odnosu na ostale metode dubokog učenja

Metoda CMIWAE, a to se odnosi i na postojeću metodu MIWAE, potencijalno dobro radi i s puno manjom količinom podataka nego što je potrebno za neke starije metode dubokog učenja, ali i općenito strojnog učenja.

Generalni problem s dubokim učenjem je u tome što je često potrebno imati dostupne vrlo velike količine podataka da bi takvi sustavi nešto uspješno naučili. MIWAE u teoriji drastično smanjuje potrebu za velikom količinom podataka, što je vrlo vjerojatno na kraju bilo ključno za pobjedu hrvatskih znanstvenika na ovogodišnjem natjecanju EVA2021, gdje je dostupna količina podataka za učenje bila relativno mala.
 

Originalni istraživački rad na FER-u i suradnja s kolegama

Znanstveno područje docenta Vlaha je teorijska matematika, dok je proučavanje novih metodologija dubokog učenja područje s kojim se intenzivno počeo baviti unazad nekoliko godina.

Potaknut uspješnim sudjelovanjem na prvom natjecanju EVA2019, docent Domagoj Vlah počeo je surađivati na temu dubokog učenja s pojedinim kolegama s FER-a, koji u svojem radu prethodno nisu koristili tehnike tog tipa. "Posljednjih godinu dana surađujem s izv. prof. dr. sc. Hrvojem Pandžićem i njegovim doktorandom Karlom Šepetancem, gdje smo koristeći duboko učenje, napravili odlično rješenje za jedan problem iz područja energetike. Također, nedavno sam u sklopu jednog projekta započeo suradnju s prodekanom za znanost, prof. dr. sc. Nikolom Miškovićem. U okviru te suradnje pokušat ćemo iskoristiti tehniku CMIWAE, kao dio sustava kontrole samoplovećeg broda", zaključuje Vlah.

 

Autor: Petra Škaberna
Popis obavijesti