Duboko učenje 1

Opis predmeta

Duboko učenje je grana strojnog učenja utemeljena na složenim podatkovnim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u važnim područjima umjetne inteligencije poput računalnog vida, obrade prirodnog jezika, razumijevanja govora i zvučnih signala, kao i u bioinformatici. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije. Prva cjelina uvodi ključne elemente klasičnih neuronskih mreža i daje pregled građevnih elemenata, tehnika regularizacije i metoda učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika. Svi koncepti popraćeni su primjerima i zadatcima u Pythonu. Većina primjera biti će vezana uz suvremene aplikacijske okvire za duboko učenje (npr. Tensorflow, PyTorch).

Ishodi učenja

  1. Objasniti prednosti dubokog učenja u odnosu na alternativne pristupe strojnog učenja.
  2. Primijeniti tehnike za učenje dubokih modela.
  3. Objasniti područja primjene diskriminativnih i generativnih dubokih modela.
  4. Primijeniti tehnike dubokog učenja u razumijevanju slika i teksta.
  5. Razlikovati duboke modele prikladne za nadzirano, polu-nadzirano i nenadzirano učenje.
  6. Analizirati i vrednovati performansu dubokih modela.
  7. Dizajnirati (oblikovati) duboke modele u programskom jeziku visoke razine.

Oblici nastave

Predavanja

13 predavanja po tri sata.

Samostalni zadaci

Studenti mogu dobiti dodatne bodove za predstavljanje tehničkog seminara.

Laboratorij

Po dvije vježbe u svakoj polovini semestra.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 40 % 20 % 50 % 0 %
Međuispit: Pismeni 0 % 40 % 0 %
Završni ispit: Pismeni 0 % 40 %
Ispit: Pismeni 50 % 80 %
Ispit: Usmeni 20 %

Tjedni plan nastave

  1. Motivacija za duboko učenje; informacije o kolegiju; osnove strojnog učenja.
  2. Unaprijedni potpuno povezani modeli; funkcije gubitka; aktivacijske funkcije; univerzalni aproksimacijski teorem.
  3. Računanje gradijenta širenjem unatrag; učenje gradijentnim spustom; diferencijabilno programiranje.
  4. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  5. Konvolucijski modeli za računalni vid; konvolucijski slojevi; slojevi sažimanja; efikasna implementacija; arhitekture za klasifikaciju.
  6. Konvolucijski backprop; računanje gradijenata u 1D i 2D slučaju; izvedbeni detalji.
  7. Optimizacija gradijentnim spustom; izazovi pri učenju dubokih modela; učenje sa zaletom.
  8. Međuispit
  9. Nesterovljev akcelerirani moment, prilagodljivi zalet; normalizacija aktivacija: LRN, batchnorm.
  10. Korespondencijska ugrađivanja; sijamski modeli; trojni gubitak.
  11. Regularizacija; kažnjavanje norme težina; uvećavanje podataka i unošenje šuma; rano zaustavljanje; vezanje i dijeljenje parametara; ansambliranje modela; isključivanje čvorova grafa (dropout).
  12. Povratni modeli; modeliranje slijedova; primjene u razumijevanju prirodnog jezika; formulacija i optimizacija.
  13. Proširenja RNN ćelija; eksplodirajući gradijent; napredne RNN ćelije; pozornost.
  14. Detalji konvolucijskih modela; rezidualna i gusta povezanost; napredne tehnike; interpretacija modela i objašnjavanje predikcija; detekcija objekata; gusta predikcija; stvarno vrijeme; izazovi.
  15. Završni ispit

Studijski programi

Sveučilišni diplomski
Audiotehnologije i elektroakustika (profil)
Slobodni izborni predmeti (2. semestar)
Automatika i robotika (profil)
Izborni predmeti profila (2. semestar)
Elektroenergetika (profil)
Slobodni izborni predmeti (2. semestar)
Elektroničko i računalno inženjerstvo (profil)
Slobodni izborni predmeti (2. semestar)
Elektronika (profil)
Slobodni izborni predmeti (2. semestar)
Elektrostrojarstvo i automatizacija (profil)
Slobodni izborni predmeti (2. semestar)
Informacijsko i komunikacijsko inženjerstvo (profil)
Izborni predmeti profila (2. semestar)
Komunikacijske i svemirske tehnologije (profil)
Slobodni izborni predmeti (2. semestar)
Programsko inženjerstvo i informacijski sustavi (profil)
Izborni predmet profila (2. semestar)
Računalno inženjerstvo (profil)
Slobodni izborni predmeti (2. semestar)
Računalno modeliranje u inženjerstvu (profil)
Slobodni izborni predmeti (2. semestar)
Računarska znanost (profil)
Jezgreni predmeti profila (2. semestar)
Znanost o mrežama (profil)
Slobodni izborni predmeti (2. semestar)
Znanost o podacima (profil)
Izborni predmeti profila (2. semestar)

Literatura

Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016.), Deep Learning, MIT Press
Nikhil Buduma, Nicholas Locascio (2017.), Fundamentals of Deep Learning, "O'Reilly Media, Inc."

Za studente

Izvedba

ID 222565
  Ljetni semestar
5 ECTS
R1 Engleski jezik
R1 E-učenje
45 Predavanja
8 Laboratorijske vježbe

Ocjenjivanje

89 izvrstan
76 vrlo dobar
63 dobar
50 dovoljan