Strojno učenje 2

Prikazani su podaci za akademsku godinu: 2025./2026.

Nositelji

Prof. dr. sc.
Jan Šnajder

Laboratorijske vježbe

Dr. sc. tech.
Josip Jukić
Dr. sc.
Martin Tutek

Opis kolegija

Strojno učenje grana je umjetne inteligencije koja se bave oblikovanjem algoritama koji svoju učinkovitost poboljšavaju na temelju empirijskih podataka. Ključni izazov strojnog učenja jest kako osigurati da model dobro generalizira. Teorija statističkog strojnog učenja proučava generalizacijske sposobnosti algoritama s ciljem boljeg razumijevanja postojećih algoritama i razvijanja boljih algoritama. Kolegij daje uvod u teoriju statističkog učenja i pregled primjena na klasične i moderne algoritme strojnog učenja. Sadržaj kolegija podijeljen je u tri dijela. U prvome dijelu proučavaju se osnovni koncepti i alati teorije statističkog učenja. U drugome dijelu tih se alati primjenjuju na klasične klasifikacijske i regresijske algoritme. U trećemu dijelu proučavaju se naprednije tehnike teorije statističkog učenja i primjene na modele dubokog učenja.

Preduvjeti

Ishodi učenja predmeta "Strojno učenje 1" (FER) ili njemu sličnog predmeta. Ishodi učenja predmeta "Matematička analiza 1", "Matematička analiza 2", "Diskretna matematika", "Linearna algebra", "Vjerojatnost i statistika" i "Teorija informacija" ili njima sličnih predmeta. Dobro znanje programiranja u Pythonu. Poželjno, ali ne nužno: ishodi učenja predmeta "Duboko učenje 1" (FER) ili njemu sličnog predmeta.

Studijski programi

Sveučilišni diplomski
[FER3-HR] Audiotehnologije i elektroakustika - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Automatika i robotika - profil
Izborni kolegiji (3. semestar)
Izborni kolegiji profila (3. semestar)
[FER3-HR] Elektroenergetika - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Elektroničko i računalno inženjerstvo - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Elektronika - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Elektrostrojarstvo i automatizacija - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Informacijsko i komunikacijsko inženjerstvo - profil
Izborni kolegiji (3. semestar)
Izborni kolegiji profila (3. semestar)
[FER3-HR] Komunikacijske i svemirske tehnologije - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Programsko inženjerstvo i informacijski sustavi - profil
Izborni kolegiji (3. semestar)
Izborni kolegiji profila (3. semestar)
[FER3-HR] Računalno inženjerstvo - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Računarska znanost - profil
Izborni kolegiji (3. semestar)
Izborni kolegiji profila (3. semestar)
[FER3-HR] Znanost o mrežama - profil
Izborni kolegiji (3. semestar)
[FER3-HR] Znanost o podacima - profil
Izborni kolegiji (3. semestar)
Izborni kolegiji profila (3. semestar)

Ishodi učenja

  1. Objasniti temeljne koncepte teorije statističkog učenja, uključujući PAC naučljivost, empirijsku minimizaciju rizika i odnos pristranosti i varijance
  2. Primijeniti temeljne principe teorije statističkog učenja za objašnjenje ponašanja i svojstava tehnika regularizacije i algoritama optimizacije
  3. Analizirati generalizacijske sposobnosti ansambl metoda poput povećavanja (boosting) i slučajnih šuma, povezujući ih s konceptima stabilnosti i složenosti
  4. Razlikovati između različitih mjera složenosti (npr. VC dimenzija, Rademacherova složenost) i primijeniti ih za uspostavljanje granica generalizacije za modele učenja
  5. Procijeniti napredne teorijske okvire poput PAC-Bayes teorije i granica kompresije, procjenjujući njihovu relevantnost za razumijevanje generalizacije u složenim scenarijima učenja
  6. Objasniti teorijske pretpostavke, prednosti i ograničenja rijetkih jezgrenih strojeva
  7. Objasniti osnovne postupke polunadziranog strojnog učenja te nabrojati njihove prednosti i nedostatke
  8. Povezati trenutačno teorijsko razumijevanje fenomena dubokog učenja, uključujući dinamiku treniranja i implicitnu regularizaciju
  9. Objasniti otvorene probleme u generalizaciji i učinkovitosti dubokog učenja, temeljene na naprednoj teoriji statističkog učenja

Oblici nastave

Predavanja

Predavanja se odvijaju kroz 13 tjedana s po jednim terminom od tri školska sata tjedno.

Seminari i radionice

Prezentacija jednog odabranog znanstvenog članka.

Auditorne vježbe

Auditorne vježbe odvijaju se kroz 13 tjedna po potrebi.

Samostalni zadaci

Pripremno čitanje poglavlja udžbenika. Čitanje odabranih znanstvenih članaka.

Laboratorij

Programski zadatci koje studenti rješavaju samostalno te demonstriraju nastavniku odnosno asistentu.

Tjedni plan nastave

  1. Uvod i organizacija kolegija. Pregled teorije statističkog učenja. Ciljevi i očekivanja kolegija.
  2. PAC okvir učenja. Granice generalizacije. Uzoračka složenost. Teorem o nepostojanju besplatnog ručka.
  3. Empirijska minimizacija rizika. Odnos pristranosti i varijance. Odabir modela. Uniformna konvergencija.
  4. VC dimenzija. Temeljni teorem statističkog učenja.
  5. Tehnike regularizacije. L1 i L2 regularizacija. Rano zaustavljanje. Prenučenost i podnaučenost.
  6. Optimizacija za strojno učenje. Varijante gradijentnog spusta. Stohastički gradijentni spust. Svojstva konvergencije.
  7. Jezgrene metode i reproducirajući Hilbertovi prostori jezgri (RKHS). Teorijske osnove jezgri. Preslikavanja značajki.
  8. Međuispit
  9. Slaba naučljivost. Boosting. Algoritam AdaBoost. Gradient boosting.
  10. Stabla odluke. Slučajne šume. Uzoračka složenost.
  11. Rademacherova složenost. Generalizacijske ograde za duboko učenje.
  12. PAC-Bayes teorija. Izvođenja i primjene. Bayesovske neuronske mreže.
  13. Kompresijske ograde. Princip minimalne duljine opisa (MDL). Naučljivost iz perspektive kompresije.
  14. Teorijske osnove modernog dubokog učenja. Dinamika treniranja. Implicitna regularizacija.
  15. Završni ispit

Literatura

Shai Shalev-Shwartz, Shai Ben-David (2014.), Understanding Machine Learning, Cambridge University Press
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012.), Foundations of Machine Learning, MIT Press
Bernhard Scholkopf, Alexander J. Smola (2018.), Learning with Kernels, MIT Press
Philipp Grohs, Gitta Kutyniok (2022.), Mathematical Aspects of Deep Learning, Cambridge University Press

Izvedba

ID 222787
  Zimski semestar
5 ECTS
R1 E-učenje
30 Predavanja
0 Seminar
15 Auditorne vježbe
15 Laboratorijske vježbe
0 Konstrukcijske vježbe
0 Vježbe tjelesnog odgoja

Ocjenjivanje

izvrstan
vrlo dobar
dobar
dovoljan

Sličan kolegij