Opis predmeta:

 U ovom kolegiju daje se pregled suvremenih metoda optimizacije za primjene u strojnom učenju i znanosti o podacima. U uvodnom dijelu kolegija studenti se upoznaju sa osnovnim pojmovima iz konveksne analize. Daje se pregled konveksnih optimizacijskih problema pri čemu se posebna pažnja posvećuje primjerima konveksnih problema koji se javljaju u strojnom učenju. Prvi dio kolegija posvećen je gradijentnim metodama (gradijentni spust,  subgradijentni spust, stohastički gradijentni spust, konjugirani gradijenti; Newtonova metoda, kvazi-Newtonove metode, Levenberg-Marquard metoda). Centralni dio kolegija bavi se pojmom dualnosti i njegovim primjenama. U završnom dijelu kolegija obrađuju se odabrani algoritmi uvjetne optimizacije (metoda barijere; primarno-dualne metode unutrašnje točke). Implementacija programskih rješenja vrši se korištenjem programskog paketa Python.

Plan predavanja:

Predavanje 1:

• Uvod (LP, QP).
• Osnove treniranja modela strojnog učenja.

Predavanje 2:

• Osnove bezuvjetne minimizacije. Konveksnost.
• Uvjetna optimizacija. Karush-Kuhn-Tuckerovi uvjeti. 
• Konveksni optimizacijski problemi (CP).

Predavanje 3:

• Dualnost.

Predavanje 4:

• Line-search metode (gradijentni spust, metode Newtonovog tipa). 
• Metoda konjugiranih gradijenata.
• Nelinearni najmanji kvadrati.
• Subgradijentni spust. Stohastički gradijentni spust. 

Predavanje 5:

• Metoda barijere. Metode unutrašnje točke.
• "Black-box" optimizacija (Derivative-free optimization).
• Physics-Informed Machine Learning.
• Odabrani primjeri u Pythonu.