Teorija informacije

Opis predmeta

Obrađuje se kvantitativna Shannonova teorija informacije i njezina primjena, a posebice kodiranje informacije. Matematička definicija i svojstva informacije. Teorem kodiranja na izvorištu, kompresija podataka i optimalno kodiranje bez gubitaka. Strukturna svojstva prirodnih jezika. Informacijska obilježja slike. Kriptografija, prikrivanje podataka. Smetani komunikacijski kanali, teorem kanalskog kodiranja, kanali s višestrukim pristupom. Otkrivanje i ispravljanje pogrešaka. Ciklični, binarni blok i konvolucijski kodovi. Kodovi koji se približavaju kapacitetu kanala. Gaussov šum i vremenski promjenljivi kanali. Jedinstvena teorija informacije i primjene na druge znanosti.

Opće kompetencije

Student će biti osposobljen za razumijevanje problema optimalnog prikaza informacije primjenom Teorije informacije. Upoznat će načine optimalnog i sigurnosnog kodiranja te svojstva komunikacijskih kanala. Savladat će potrebne tehnike za modeliranje i analizu optimalnog koda te kodova za detekciju i korekciju pogrešaka. Savladat će temeljna znanja i vještine nužne za daljnja izučavanja na polju teorije informacije i terije kodiranja.

Ishodi učenja

  1. identificirati probleme vezane uz informacije, kodiranje i komunikacije
  2. objasniti postupke kodiranja i kompresije te informacijske granice
  3. primijeniti stečeno znanje kod analize realnih sustava
  4. analizirati složenije probleme u informacijskim i komunikacijskim sustavima
  5. objasniti fenomene u različitim područjima znanosti
  6. procijeniti performanse nekog informacijskog i komunikaciskog sustav

Oblici nastave

Predavanja

Nastava na predmetu organizirana je u dva nastavna ciklusa. Prvi nastavni ciklus sastoji se od 7 tjedana nastave i međuispita, dok drugi ciklus sadrži 6 tjedana nastave i završni ispit. Nastava se provodi kroz 15 tjedana s tjednim opterećenjem o 3 školska sata.

Provjere znanja

Održava se međuispit u 8. tjednu nastave i završni ispit u 15. tjednu nastave.

Laboratorijske vježbe

Osnovne algoritme kodiranja student treba programski realizirati.

Konzultacije

Nastanik definira tjedne termine.

Stjecanje vještina

U okviru laboratorijskih vježbi student stjeće programske vještine.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Napomena / komentar Udio u ocjeni
Međuispit: Pismeni 5 % 50 % 0 %
Završni ispit: Pismeni 5 % 50 %
Ispit: Pismeni 0 % 100 %
Napomena / komentar

Iako laboratorijske vježbe i domaće zadaće imaju udio 0% u ukupnoj ocjeni, studenti su obavezni uspješno obaviti obje aktivnosti. Drugim riječima, obavljenost laboratorijskih vježbi i domaćih zadaća je preduvjet za stjecanje pozitivne (prolazne) ocjene.

Tjedni plan nastave

  1. Uvod. Informacija, komunikacija i obrada. Model komunikacijskog sustava.
  2. Diskretni komunikacijski sustav, razdiobe vjerojatnosti i informacijske mjere, entropija i uzajamni sadržaj informacije. Komunikacijski kanali, diskretni bezmemorijski kanali uz prisustvo smetnji, kapacitet kanala.
  3. Informacijski izvori, sadržaj informacije diskretnog izvorišta, informacijska zalihost, kompresija podataka i optimalno kodiranje.
  4. Izvori s memorijom. Metode kodiranja: Shannon-Fano, Huffman, aritmetičko kodiranje i metoda rječnika (Lempel-Ziv algoritam).
  5. Izvorno kodiranje: kvantizacija, poduzorkovanje, transformacijsko kodiranje, diferencijalno (predikcijsko) kodiranje.
  6. Uvod u blok kodove: Hammingova udaljenost, perfektni kodovi, paritetno kodiranje.
  7. Linearni binarni blok kodovi: matrica provjere pariteta, sindromsko dekodiranje.
  8. Provjera znanja (međuispit).
  9. Hammingovi i ciklični kodovi. Linearni BCH blok kodovi. R-S kodovi.
  10. Konvolucijski kodovi. Viterbijev algoritam. Turbo kodovi.
  11. Signali: deterministički, slučni, šum, spektri. Kontinuiranog kanal.
  12. Uzorkovanje i kvantizacija.
  13. Kapacitet frekvencijski ograničenog kanala.
  14. Uvod u kodiranju medija.
  15. Provjera znanja (završni ispit)

Studijski programi

Sveučilišni preddiplomski
Automatika (modul)
(5. semestar)
Bežične komunikacijske tehnologije (modul)
(5. semestar)
Elektroenergetika (modul)
(5. semestar)
Elektroničko i računalno inženjerstvo (modul)
(5. semestar)
Elektronika (modul)
(5. semestar)
Obradba informacija (modul)
(5. semestar)
Programsko inženjerstvo i informacijski sustavi (modul)
(5. semestar)
Računalno inženjerstvo (modul)
(5. semestar)
Računarska znanost (modul)
(5. semestar)
Telekomunikacije i informatika (modul)
(5. semestar)

Za upis predmeta treba položiti predmete

Literatura

I.S. Pandžić, A. Bažant, Ž. Ilić, Z. Vrdoljak, M. Kos, V. Sinković (2009.), Uvod u teoriju informacije i kodiranje, 2. izd., Element, Zagreb
V. Sinković (1997.), Informacija, simbolika i semantika, Školska knjiga
R.E. Hamming (1986.), Coding and Information Theory. 2nd ed., Prentice-Hall. Englewood Cliffs, New Jersey
R. Togneri, C.J.S. deSilva (2003.), Fundamentals of Information Theory and Coding Design, Cjapman & Hall/CRC
F.M. Reza (1994.), An Introduction to Information Theory, Dover, New York
(.), Pandžić, I. S. Bažant, A. Ilić, Ž. Vrdoljak, Z. Kos, M. Sinković, V. Uvod u teoriju informacije i kodiranje. Element, 2007.,

Predavanja

Laboratorijske vježbe

Izvedba

ID 34315
  Zimski semestar
4 ECTS
R0 Engleski jezik
R1 E-učenje
45 Predavanja
0 Auditorne vježbe
15 Laboratorijske vježbe

Ocjenjivanje

85 izvrstan
70 vrlo dobar
55 dobar
40 dovoljan