Duboko učenje 1

Prikazani su podaci za akademsku godinu: 2024./2025.

Nositelji

Prof. dr. sc.
Siniša Šegvić
Izv. prof. dr. sc.
Marko Čupić
Izv. prof. dr. sc.
Zoran Kalafatić

Predavanja

Dr. sc.
Marin Oršić

Laboratorijske vježbe

Ivan Martinović
univ. mag. ing. comp.
Dr. sc. tech.
Marin Kačan
dr. sc. tech.
Ivan Sabolić
univ. mag. ing.
Petra Bevandić
mag. ing.
Anja Delić
univ. mag. ing. comp.
Dr. sc. tech.
Matej Grcić
dr. sc. tech.

Opis predmeta

Duboko učenje je grana strojnog učenja utemeljena na složenim podatkovnim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u važnim područjima umjetne inteligencije poput računalnog vida, obrade prirodnog jezika, razumijevanja govora i zvučnih signala, kao i u bioinformatici. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije. Prva cjelina uvodi ključne elemente klasičnih neuronskih mreža i daje pregled građevnih elemenata, tehnika regularizacije i metoda učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika. Svi koncepti popraćeni su primjerima i zadatcima u Pythonu. Većina primjera biti će vezana uz suvremene aplikacijske okvire za duboko učenje (npr. Tensorflow, PyTorch).

Preduvjeti

strojno učenje, matematička analiza, linearna algebra, programski jezik Python, osnove teorije vjerojatnosti, teorije informacije, numeričke matematike i arhitekture računala

Studijski programi

Sveučilišni diplomski
[FER3-HR] Audiotehnologije i elektroakustika - profil
Izborni predmeti (2. semestar)
[FER3-HR] Automatika i robotika - profil
Izborni predmeti (2. semestar)
Izborni predmeti profila (2. semestar)
[FER3-HR] Elektroenergetika - profil
Izborni predmeti (2. semestar)
[FER3-HR] Elektroničko i računalno inženjerstvo - profil
Izborni predmeti (2. semestar)
[FER3-HR] Elektronika - profil
Izborni predmeti (2. semestar)
[FER3-HR] Elektrostrojarstvo i automatizacija - profil
Izborni predmeti (2. semestar)
[FER3-HR] Informacijsko i komunikacijsko inženjerstvo - profil
Izborni predmeti (2. semestar)
Izborni predmeti profila (2. semestar)
[FER3-HR] Komunikacijske i svemirske tehnologije - profil
Izborni predmeti (2. semestar)
[FER3-HR] Programsko inženjerstvo i informacijski sustavi - profil
Izborni predmeti (2. semestar)
Izborni predmet profila (2. semestar)
[FER3-HR] Računalno inženjerstvo - profil
Izborni predmeti (2. semestar)
[FER3-HR] Računalno modeliranje u inženjerstvu - profil
Izborni predmeti (2. semestar)
[FER3-HR] Računarska znanost - profil
Jezgreni predmeti profila (2. semestar)
[FER3-HR] Znanost o mrežama - profil
Izborni predmeti (2. semestar)
[FER3-HR] Znanost o podacima - profil
Izborni predmeti (2. semestar)
Izborni predmeti profila (2. semestar)
[FER2-HR] Računarska znanost - profil
Predmeti specijalizacije profila (2. semestar)

Ishodi učenja

  1. Objasniti prednosti dubokog učenja u odnosu na alternativne pristupe strojnog učenja.
  2. Primijeniti tehnike za nadzirano učenje potpuno povezanih, konvolucijskih i povratnih dubokih modela.
  3. Primijeniti tehnike dubokog učenja u razumijevanju slika i teksta.
  4. Analizirati i vrednovati performansu dubokih modela.
  5. Dizajnirati (oblikovati) duboke modele u programskom jeziku visoke razine.

Oblici nastave

Predavanja

13 predavanja po tri sata.

Samostalni zadaci

Studenti mogu dobiti dodatne bodove za predstavljanje tehničkog seminara.

Laboratorij

Po dvije vježbe u svakoj polovini semestra.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 50 % 20 % 50 % 0 %
Međuispit: Pismeni 0 % 40 % 0 %
Završni ispit: Pismeni 0 % 40 %
Ispit: Pismeni 50 % 80 %
Ispit: Usmeni 20 %

Tjedni plan nastave

  1. Motivacija za duboko učenje; informacije o kolegiju; osnove strojnog učenja.
  2. Unaprijedni potpuno povezani modeli; funkcije gubitka; aktivacijske funkcije; univerzalni aproksimacijski teorem.
  3. Računanje gradijenta širenjem unatrag; učenje gradijentnim spustom; diferencijabilno programiranje.
  4. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  5. Konvolucijski modeli za računalni vid; konvolucijski slojevi; slojevi sažimanja; efikasna implementacija; arhitekture za klasifikaciju.
  6. Konvolucijski backprop; računanje gradijenata u 1D i 2D slučaju; izvedbeni detalji.
  7. Optimizacija gradijentnim spustom; izazovi pri učenju dubokih modela; učenje sa zaletom.
  8. Međuispit
  9. Nesterovljev akcelerirani moment, prilagodljivi zalet; normalizacija aktivacija: LRN, batchnorm.
  10. Korespondencijska ugrađivanja; sijamski modeli; trojni gubitak.
  11. Regularizacija; kažnjavanje norme težina; uvećavanje podataka i unošenje šuma; rano zaustavljanje; vezanje i dijeljenje parametara; ansambliranje modela; isključivanje čvorova grafa (dropout).
  12. Povratni modeli; modeliranje slijedova; primjene u razumijevanju prirodnog jezika; formulacija i optimizacija.
  13. Proširenja RNN ćelija; eksplodirajući gradijent; napredne RNN ćelije; pozornost.
  14. Detalji konvolucijskih modela; rezidualna i gusta povezanost; napredne tehnike; interpretacija modela i objašnjavanje predikcija; detekcija objekata; gusta predikcija; stvarno vrijeme; izazovi.
  15. Završni ispit

Literatura

Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016.), Deep Learning, MIT Press
Nikhil Buduma, Nicholas Locascio (2017.), Fundamentals of Deep Learning, "O'Reilly Media, Inc."

Izvedba

ID 252377
  Ljetni semestar
5 ECTS
R0 Engleski jezik
R1 E-učenje
45 Predavanja
0 Seminar
15 Auditorne vježbe
8 Laboratorijske vježbe
0 Konstrukcijske vježbe
0 Vježbe tjelesnog odgoja

Ocjenjivanje

89 izvrstan
76 vrlo dobar
63 dobar
50 dovoljan

Sličan predmet