U kolegiju Komunikacijski sustavi obrađuje se obrada i priprema informacije za prijenos. Opisuje se opći model komunikacijskog sustava i njegove posebnosti određene prijenosnim medijem. Obrađuju se tehnike multipleksiranja signala, komutacije i višestrukog pristupa te referentni model za povezivanje otvorenih sustava i uspostavljanje komunikacije između različitih sustava. Daje se pregled arhitektura i značajki komunikacijskih mreža i uvod u osnovne komunikacijske protokole. Na kraju kolegija obrađuju se mobilne mreže. 

U kolegiju držim početni dio kolegija u kojemu se obrađuje uvod u teoriju informacije. Taj dio sastoji se od 3 tjedna predavanja i 3 tjedna auditornih vježbi.

Kolegij Komunikacijski sustavi obavezan je kolegij za studente Elektrotehnike i informacijske tehnologije u 6. semestru prijediplomskoga studija. Nositelji kolegija su Sonja Grgić, Gordan Šišul, Marko Bosiljevac i Dario Bojanjac. Detaljnije informacije o kolegiju možete pronaći na službenoj stranici kolegija. 

Zašto Teorija informacija i komunikacija

• Lex Fridman podcast, Claude Shannon at MIT: The best master's thesis in history 
• Liberty's Highlights Podcast, Why is Claude Shannon so Important?
• Notion podcast, Experts gather to talk about the impact of Richard Hamming

Tjedni plan nastave s preporučenim tekstovima i snimkama:

1. Mjera količina informacije i entropija. 
   Intelligent Systems Lab, Information Theory Basics, video
   Claude E. Shannon, Prediction and Entropy of Printed English
   Aurélien Géron, A Short Introduction to Entropy, Cross-Entropy and KL-Divergence, video
   Veritasium, The Most Misunderstood Concept in Physics, video
   Artem Kirsanov, The Key Equation Behind Probability, video
    
2. Shannonov teorem o izvornom kodiranju. Prosječna duljina kodne riječi.
   Art of the Problem, Entropy is the limit of compression, video
    
3. Shannonov teorem o kodiranju u kanalu sa šumom. Kapacitet kanala.
   Art of the Problem, Error correction codes, video

Literatura:

Osnovna literatura iz Teorije informacija:

• D. Bojanjac, P. Kolar, Kako mjeriti i kodirati informaciju, skripta 2023.

Dodatna literatura iz Teorije informacija:

• J. V. Stone, Information Theory: A Tutorial Introduction, Sebtel Press, 2018
• D. J. C. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press 2003
• T. M. Cover, J. A. Thomas, Elements of Information Theory, Wiley-Interscience 2006

Popularno-znanstvena literatura iz područja Teorije informacija:

• J. Gleick, The Information: A History, a Theory, a Flood, Pantheon 2011
• R. W. Hamming, The Art of Doing Science and Engineering: Learning to Learn, Stripe Press 2020
• J. Soni, R. Goodman, A Mind at Play: How Claude Shannon Invented the Information Age, Simon & Schuster 2017

Snimljena predavanja u akademskoj godini 2021./2022.:

1. predavanje: Zašto Teorija informacije?
1. auditorne vježbe: Decibeli, sustavi, amplitudno-frekvencijska karakteristika

2. predavanje: Kako mjeriti količinu informacije?
2. auditorne vježbe: Uvjetna vjerojatnost, Monty Hall, entropija

3. predavanje: Shannonov teorem o izvornom kodiranju
3. auditorne vježbe: Binarni prefiksni kod, Huffmanov algoritam

4. predavanje: Ponašanje kanala
4. auditorne vježbe: Kanal, AWGN, jednostrani spektar