Duboko učenje 2

Opis predmeta

Ideja generiranja novih, ali uvjerljivih uzoraka je oduvijek interesantna u područjima umjetne inteligencije i strojnog učenja te se općenito smatra težim problemom od problema koje rješavaju diskriminativni modeli. Nedavni napredak u specijaliziranim arhitekturama dubokih modela, u kombinaciji s napretkom u metodama optimizacije, omogućli su uspješno modeliranje složenih, visokodimenzionalnih podataka uključujući slike, tekst i govor. U ovom ćemo kolegiju proučavati matematičke temelje i algoritme učenja za duboke generativne modele, uključujući popularne obitelji generativnih modela kao što su varijacijski autoenkoderi, generativne suparničke mreže, autoregresivni modeli, modeli normalizirajućeg toka te modeli temeljeni na energetskoj funkciji. Kroz praktičan rad na laboratorijskim vježbama isprobat će se dizajn, treniranje i testiranje nekih od najpoznatijih dubokih generativnih modela.

Ishodi učenja

  1. Definirati glavne pojmove dubokih generativnih modela.
  2. Objasniti temeljnu tehnologiju dubokih generativnih modela.
  3. Opisati razlike između najčešćih dubokih generativnih modela.
  4. Procijeniti različite metode uzorkovanja iz nepoznate distribucije.
  5. Prepoznati scenarije u kojima se mogu primijeniti duboki generativni modeli.

Oblici nastave

Predavanja

Na predavanjima se izlažu teorijski koncepti i algoritmi praćeni konkretnim primjerima.

Auditorne vježbe

Samostalni zadaci

Laboratorij

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 50 % 20 % 50 % 20 %
Seminar/Projekt 20 % 20 % 20 % 20 %
Međuispit: Pismeni 20 % 30 % 0 %
Završni ispit: Pismeni 20 % 30 %
Ispit: Pismeni 50 % 60 %
Napomena / komentar

Prag na zbroj rezultata na međuispitu i završnom ispitu je 50%.

Tjedni plan nastave

  1. Pregled područja, uvod u duboko generativno učenje.
  2. Matematičke osnove i osnovni koncept generativnog učenja.
  3. Osnovni pojmovi dubokog učenja, dubokih modela i učenja bez nadzora.
  4. Tradicionalni pristupi generativnom modeliranju.
  5. Autoregresivni modeli.
  6. Klasični autoenkoderi.
  7. Varijacijski autoenkoderi.
  8. Međuispit.
  9. Napredni varijacijski autoenkoderi.
  10. Modeli normaliziranog toka.
  11. Generativne suprotstavljene mreže.
  12. Napredne generativne suprotstavljene mreže.
  13. Modeli temeljeni na energetskoj funkciji.
  14. Duboki modeli temeljeni na energetskoj funkciji.
  15. Završni ispit.

Studijski programi

Sveučilišni diplomski
[FER3-HR] Audiotehnologije i elektroakustika - profil
Izborni predmeti (3. semestar)
[FER3-HR] Automatika i robotika - profil
Izborni predmeti (3. semestar)
Izborni predmeti profila (3. semestar)
[FER3-HR] Elektroenergetika - profil
Izborni predmeti (3. semestar)
[FER3-HR] Elektroničko i računalno inženjerstvo - profil
Izborni predmeti (3. semestar)
[FER3-HR] Elektronika - profil
Izborni predmeti (3. semestar)
[FER3-HR] Elektrostrojarstvo i automatizacija - profil
Izborni predmeti (3. semestar)
[FER3-HR] Informacijsko i komunikacijsko inženjerstvo - profil
Izborni predmeti (3. semestar)
Izborni predmeti profila (3. semestar)
[FER3-HR] Komunikacijske i svemirske tehnologije - profil
Izborni predmeti (3. semestar)
[FER3-HR] Programsko inženjerstvo i informacijski sustavi - profil
Izborni predmeti (3. semestar)
Izborni predmet profila (3. semestar)
[FER3-HR] Računalno inženjerstvo - profil
Izborni predmeti (3. semestar)
[FER3-HR] Računalno modeliranje u inženjerstvu - profil
Izborni predmeti (3. semestar)
[FER3-HR] Računarska znanost - profil
Jezgreni predmeti profila (3. semestar)
[FER3-HR] Znanost o mrežama - profil
Izborni predmeti (3. semestar)
[FER3-HR] Znanost o podacima - profil
Izborni predmeti (3. semestar)
Izborni predmeti profila (3. semestar)

Literatura

Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016.), Deep Learning, MIT Press

Nositelji

Izv. prof. dr. sc.
Marko Subašić
Prof. dr. sc.
Zvonko Kostanjčar

Laboratorijske vježbe

Fran Huzjan
mag. ing.
Lovre Mrčela
mag. ing.
Katarina Tolja
mag. ing.

Za studente

Izvedba

ID 230255
  Zimski semestar
5 ECTS
R0 Engleski jezik
R2 E-učenje
30 Predavanja
0 Seminar
0 Auditorne vježbe
15 Laboratorijske vježbe
0 Konstrukcijske vježbe

Ocjenjivanje

87 izvrstan
75 vrlo dobar
63 dobar
51 dovoljan

Sličan predmet