Duboko učenje 1

Prikazani su podaci za akademsku godinu: 2023./2024.

Nositelji

Prof. dr. sc.
Siniša Šegvić
Izv. prof. dr. sc.
Marko Čupić
Izv. prof. dr. sc.
Zoran Kalafatić

Laboratorijske vježbe

Marin Kačan
mag. ing.
Ivan Sabolić
univ. mag. ing.
Iva Sović
mag. ing.
Ivan Martinović
univ. mag. ing.
Dr. sc.
Josip Šarić
Petra Bevandić
mag. ing.
Anja Delić
univ. mag. ing.

Opis predmeta

Duboko učenje je grana strojnog učenja utemeljena na složenim podatkovnim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u važnim područjima umjetne inteligencije poput računalnog vida, obrade prirodnog jezika, razumijevanja govora i zvučnih signala, kao i u bioinformatici. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije. Prva cjelina uvodi ključne elemente klasičnih neuronskih mreža i daje pregled građevnih elemenata, tehnika regularizacije i metoda učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika. Svi koncepti popraćeni su primjerima i zadatcima u Pythonu. Većina primjera biti će vezana uz suvremene aplikacijske okvire za duboko učenje (npr. Tensorflow, PyTorch).

Studijski programi

Sveučilišni diplomski
[FER3-EN] Control Systems and Robotics - profil
Elective course (3. semestar)
Elective courses (2. semestar)

Ishodi učenja

  1. Objasniti prednosti dubokog učenja u odnosu na alternativne pristupe strojnog učenja.
  2. Primijeniti tehnike za učenje dubokih modela.
  3. Objasniti područja primjene diskriminativnih i generativnih dubokih modela.
  4. Primijeniti tehnike dubokog učenja u razumijevanju slika i teksta.
  5. Razlikovati duboke modele prikladne za nadzirano, polu-nadzirano i nenadzirano učenje.
  6. Analizirati i vrednovati performansu dubokih modela.
  7. Dizajnirati (oblikovati) duboke modele u programskom jeziku visoke razine.

Oblici nastave

Predavanja

13 predavanja po tri sata.

Samostalni zadaci

Studenti mogu dobiti dodatne bodove za predstavljanje tehničkog seminara.

Laboratorij

Po dvije vježbe u svakoj polovini semestra.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 50 % 20 % 50 % 0 %
Međuispit: Pismeni 0 % 40 % 0 %
Završni ispit: Pismeni 0 % 40 %
Ispit: Pismeni 50 % 80 %
Ispit: Usmeni 20 %

Tjedni plan nastave

  1. Motivacija za duboko učenje; informacije o kolegiju; osnove strojnog učenja.
  2. Unaprijedni potpuno povezani modeli; funkcije gubitka; aktivacijske funkcije; univerzalni aproksimacijski teorem.
  3. Računanje gradijenta širenjem unatrag; učenje gradijentnim spustom; diferencijabilno programiranje.
  4. Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
  5. Konvolucijski modeli za računalni vid; konvolucijski slojevi; slojevi sažimanja; efikasna implementacija; arhitekture za klasifikaciju.
  6. Konvolucijski backprop; računanje gradijenata u 1D i 2D slučaju; izvedbeni detalji.
  7. Optimizacija gradijentnim spustom; izazovi pri učenju dubokih modela; učenje sa zaletom.
  8. Međuispit
  9. Nesterovljev akcelerirani moment, prilagodljivi zalet; normalizacija aktivacija: LRN, batchnorm.
  10. Korespondencijska ugrađivanja; sijamski modeli; trojni gubitak.
  11. Regularizacija; kažnjavanje norme težina; uvećavanje podataka i unošenje šuma; rano zaustavljanje; vezanje i dijeljenje parametara; ansambliranje modela; isključivanje čvorova grafa (dropout).
  12. Povratni modeli; modeliranje slijedova; primjene u razumijevanju prirodnog jezika; formulacija i optimizacija.
  13. Proširenja RNN ćelija; eksplodirajući gradijent; napredne RNN ćelije; pozornost.
  14. Detalji konvolucijskih modela; rezidualna i gusta povezanost; napredne tehnike; interpretacija modela i objašnjavanje predikcija; detekcija objekata; gusta predikcija; stvarno vrijeme; izazovi.
  15. Završni ispit

Literatura

Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016.), Deep Learning, MIT Press
Nikhil Buduma, Nicholas Locascio (2017.), Fundamentals of Deep Learning, "O'Reilly Media, Inc."

Za studente

Izvedba

ID 223068
  Ljetni semestar
5 ECTS
R1 Engleski jezik
R1 E-učenje
45 Predavanja
0 Seminar
0 Auditorne vježbe
8 Laboratorijske vježbe
0 Konstrukcijske vježbe
0 Vježbe tjelesnog odgoja

Ocjenjivanje

89 izvrstan
76 vrlo dobar
63 dobar
50 dovoljan

Sličan predmet