Teorija informacije

Opis predmeta

Uvod u kvantitativnu Shannonovu teoriju informacije i njezine primjene. Matematička definicija i svojstva informacije. Poruka. Količina informacije poruke. Entropija. Transinformacija. Kapacitet diskretnog kanala. Diskretna bezmemorijska izvorišta. Diskretna izvorišta s memorijom (Markovljevi lanci). Teorem kodiranja na izvorištu. Kompresija podataka i optimalno kodiranje bez gubitaka. Shannon-Fanovo kodiranje. Huffmanovo kodiranje. Aritmetičko kodiranje. Kodiranje temeljeno na rječniku (LZ77, LZW). Zaštitno kodiranje. Otkrivanje i ispravljanje pogrešaka. Hammingovo kodiranje. Ciklično kodiranje. Konvolucijski kodovi. Viterbijev algoritam.

Ishodi učenja

  1. identificirati probleme vezane uz informacije, kodiranje i komunikacije
  2. objasniti postupke kodiranja i kompresije te informacijske granice
  3. primijeniti stečeno znanje kod analize realnih sustava
  4. analizirati složenije probleme u informacijskim i komunikacijskim sustavima
  5. objasniti fenomene u različitim područjima znanosti
  6. procijeniti performanse nekog informacijskog i komunikacijskog sustava
  7. primijeniti tehnike entropijskog i zaštitnog kodiranja

Oblici nastave

Predavanja

Predavanja se izvode u blokovima po tri sata.

Samostalni zadaci

Studenti rješavaju zadane im zadatke, nije obavezno za sve studente.

Laboratorij

Obavezan za sve studente, svaka podgrupa studenata rješava jedan zadatak.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Međuispit: Pismeni 10 % 50 % 0 %
Završni ispit: Pismeni 10 % 50 %
Ispit: Pismeni 40 % 100 %
Napomena / komentar

Iako se laboratorijske vježbe ne boduju, obavljenost vježbe je nužan uvjet za stjecanje konačne ocjene iz predmeta.

Tjedni plan nastave

  1. Povijest i važnost teorije informacije, Simbol. poruka. informacija. komunikacija
  2. Diskretni komunikacijski sustav. vjerojatnosni model i informacijske mjere
  3. Entropija. teorem kodiranja u uvjetima bez šuma, Uzajamni sadržaj informacije
  4. Informacijski izvori
  5. Vrste kodova, Optimalan kod, Entropijsko kodiranje
  6. Entropijsko kodiranje
  7. Entropijsko kodiranje, Kodiranje s gubicima
  8. Međuispit
  9. Kodovi za otkrivanje i ispravljanje pogrešaka. blokovski kodovi
  10. Hammingova udaljenost. ekvivalencija kodova. perfektni kodovi
  11. Binarni linearni blokovski kodovi. generirajuća matrica. matrica za provjeru pariteta. sindrom
  12. Vrste binarnih linearnih blokovskih kodova
  13. Konvolucijsko kodiranje i turbo kodovi
  14. Kapacitet kanala. teorem kodiranja u šumnom kanalu
  15. Završni ispit

Studijski programi

Sveučilišni preddiplomski
Automatika (modul)
(5. semestar)
Bežične komunikacijske tehnologije (modul)
(5. semestar)
Elektroenergetika (modul)
(5. semestar)
Elektroničko i računalno inženjerstvo (modul)
(5. semestar)
Elektronika (modul)
(5. semestar)
Obradba informacija (modul)
(5. semestar)
Programsko inženjerstvo i informacijski sustavi (modul)
(5. semestar)
Računalno inženjerstvo (modul)
(5. semestar)
Računarska znanost (modul)
(5. semestar)
Računarstvo (studij)
(3. semestar)
Telekomunikacije i informatika (modul)
(5. semestar)

Literatura

Igor S. Pandžić et al. (2009.), Uvod u teoriju informacije i kodiranje, Element
Željko Ilić, Alen Bažant, Tomaž Beriša (2014.), Teorija informacije i kodiranje, Element
Roberto Togneri, Christopher J.S deSilva (2003.), Fundamentals of Information Theory and Coding Design, CRC Press

Nositelji

Prof. dr. sc.
Alen Bažant
Izv. prof. dr. sc.
Željko Ilić
Prof. dr. sc.
Igor Sunday Pandžić
Izv. prof. dr. sc.
Marin Vuković

Laboratorijske vježbe

Jasna Janković
mag. ing.
Karlo Slovenec
mag. ing.
Matija Šulc
mag. ing.

Za studente

Izvedba

ID 183387
  Zimski semestar
4 ECTS
R0 Engleski jezik
R1 E-učenje
45 Predavanja
15 Laboratorijske vježbe

Ocjenjivanje

85 izvrstan
70 vrlo dobar
55 dobar
40 dovoljan

Sličan predmet