Duboko učenje 1

Prijava

HrvatskihrEnglishen

Pristupačnost

Veličina slova:A A

Izgled stranice Uobičajen izgled Jednostavni izgled stranice

Kontrast stranice: Normalno Visoki kontrast Inverzni visoki kontrast

Očisti sve

Duboko učenje 1

Opis predmeta

Duboko učenje je grana strojnog učenja utemeljena na složenim podatkovnim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u važnim područjima umjetne inteligencije poput računalnog vida, obrade prirodnog jezika, razumijevanja govora i zvučnih signala, kao i u bioinformatici. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije. Prva cjelina uvodi ključne elemente klasičnih neuronskih mreža i daje pregled građevnih elemenata, tehnika regularizacije i metoda učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika. Svi koncepti popraćeni su primjerima i zadatcima u Pythonu. Većina primjera biti će vezana uz suvremene aplikacijske okvire za duboko učenje (npr. Tensorflow, PyTorch).

Ishodi učenja

Objasniti prednosti dubokog učenja u odnosu na alternativne pristupe strojnog učenja.
Primijeniti tehnike za učenje dubokih modela.
Objasniti područja primjene diskriminativnih i generativnih dubokih modela.
Primijeniti tehnike dubokog učenja u razumijevanju slika i teksta.
Razlikovati duboke modele prikladne za nadzirano, polu-nadzirano i nenadzirano učenje.
Analizirati i vrednovati performansu dubokih modela.
Dizajnirati (oblikovati) duboke modele u programskom jeziku visoke razine.

Oblici nastave

Predavanja

13 predavanja po tri sata.

Samostalni zadaci

Studenti mogu dobiti dodatne bodove za predstavljanje tehničkog seminara.

Laboratorij

Po dvije vježbe u svakoj polovini semestra.

Način ocjenjivanja

	Kontinuirana nastava		Ispitni rok
Vrsta provjere	Prag	Udio u ocjeni	Prag	Udio u ocjeni
Laboratorijske vježbe	50 %	20 %	50 %	0 %
Međuispit: Pismeni	0 %	40 %	0 %
Završni ispit: Pismeni	0 %	40 %
Ispit: Pismeni			50 %	80 %
Ispit: Usmeni				20 %

Tjedni plan nastave

Motivacija za duboko učenje; informacije o kolegiju; osnove strojnog učenja.
Unaprijedni potpuno povezani modeli; funkcije gubitka; aktivacijske funkcije; univerzalni aproksimacijski teorem.
Računanje gradijenta širenjem unatrag; učenje gradijentnim spustom; diferencijabilno programiranje.
Duboke konvolucijske mreže: slojevi. arhitekture. vizualizacija. fina prilagodba. aplikacije. izvedbeni detalji
Konvolucijski modeli za računalni vid; konvolucijski slojevi; slojevi sažimanja; efikasna implementacija; arhitekture za klasifikaciju.
Konvolucijski backprop; računanje gradijenata u 1D i 2D slučaju; izvedbeni detalji.
Optimizacija gradijentnim spustom; izazovi pri učenju dubokih modela; učenje sa zaletom.
Međuispit
Nesterovljev akcelerirani moment, prilagodljivi zalet; normalizacija aktivacija: LRN, batchnorm.
Korespondencijska ugrađivanja; sijamski modeli; trojni gubitak.
Regularizacija; kažnjavanje norme težina; uvećavanje podataka i unošenje šuma; rano zaustavljanje; vezanje i dijeljenje parametara; ansambliranje modela; isključivanje čvorova grafa (dropout).
Povratni modeli; modeliranje slijedova; primjene u razumijevanju prirodnog jezika; formulacija i optimizacija.
Proširenja RNN ćelija; eksplodirajući gradijent; napredne RNN ćelije; pozornost.
Detalji konvolucijskih modela; rezidualna i gusta povezanost; napredne tehnike; interpretacija modela i objašnjavanje predikcija; detekcija objekata; gusta predikcija; stvarno vrijeme; izazovi.
Završni ispit