Duboko učenje

Opis predmeta

Duboko učenje je grana strojnog učenja utemeljena na složenim podatkovnim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u važnim područjima umjetne inteligencije poput računalnog vida, obrade prirodnog jezika, razumijevanja govora i zvučnih signala, kao i u bioinformatici. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije. Prva cjelina uvodi ključne elemente klasičnih neuronskih mreža i daje pregled građevnih elemenata, tehnika regularizacije i metoda učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika. Svi koncepti popraćeni su primjerima i zadatcima u Pythonu. Većina primjera biti će vezana uz suvremene aplikacijske okvire za duboko učenje (npr. Tensorflow, PyTorch).

Ishodi učenja

  1. Objasniti prednosti dubokog učenja u odnosu na alternativne pristupe strojnog učenja.
  2. Primijeniti tehnike za učenje dubokih modela.
  3. Objasniti područja primjene diskriminativnih i generativnih dubokih modela.
  4. Primijeniti tehnike dubokog učenja u razumijevanju slika i teksta.
  5. Razlikovati duboke modele prikladne za nadzirano, polu-nadzirano i nenadzirano učenje.
  6. Analizirati i vrednovati performansu dubokih modela.
  7. Dizajnirati (oblikovati) duboke modele u programskom jeziku visoke razine.

Oblici nastave

Predavanja

Samostalni zadaci

Laboratorij

Tjedni plan nastave

  1. Specifičnosti dubokih neuronskih mreža: aktivacijske funkcije (zglobnica). regularizacija (isključivanje neurona). moment. adaptivno učenje (RMSprop. ADAM)
  2. Specifičnosti dubokih neuronskih mreža: aktivacijske funkcije (zglobnica). regularizacija (isključivanje neurona). moment. adaptivno učenje (RMSprop. ADAM)
  3. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  4. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  5. Potpuno konvolucijske mreže: arhitekture. primjene
  6. Specifičnosti dubokih neuronskih mreža: aktivacijske funkcije (zglobnica). regularizacija (isključivanje neurona). moment. adaptivno učenje (RMSprop. ADAM)
  7. Specifičnosti dubokih neuronskih mreža: aktivacijske funkcije (zglobnica). regularizacija (isključivanje neurona). moment. adaptivno učenje (RMSprop. ADAM)
  8. Međuispit
  9. Duboke povratne neuronske mreže: povratne mreže. dvosmjerne povratne mreže. duboke povratne mreže. kratka dugoročna memorija. modeliranje slijedova. primjene
  10. Duboke povratne neuronske mreže: povratne mreže. dvosmjerne povratne mreže. duboke povratne mreže. kratka dugoročna memorija. modeliranje slijedova. primjene
  11. Duboki generativni modeli: kaskadirani ograničeni Boltzmannovi strojevi. konvolucijski autoenkoderi. varijacijski autoenkoderi. suparnički modeli. rijetki modeli
  12. Duboki generativni modeli: kaskadirani ograničeni Boltzmannovi strojevi. konvolucijski autoenkoderi. varijacijski autoenkoderi. suparnički modeli. rijetki modeli
  13. Specifičnosti dubokih neuronskih mreža: aktivacijske funkcije (zglobnica). regularizacija (isključivanje neurona). moment. adaptivno učenje (RMSprop. ADAM)
  14. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  15. Završni ispit

Studijski programi

Sveučilišni diplomski
Automatika i robotika (profil)
Izborni predmet profila (2. semestar)
Informacijsko i komunikacijsko inženjerstvo (profil)
Izborni predmet profila (2. semestar)
Programsko inženjerstvo i informacijski sustavi (profil)
Izborni predmet profila (2. semestar)
Računarska znanost (profil)
Obavezni predmet profila (2. semestar)
Znanost o podacima (profil)
Izborni predmet profila (2. semestar)

Literatura

(.), Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning. MIT Press. 2017.,

Za studente

Izvedba

ID 222565
  Ljetni semestar
5 ECTS
R3 Engleski jezik
R1 E-učenje
45 Predavanja
8 Laboratorijske vježbe