U kolegiju Komunikacijski sustavi obrađuje se obrada i priprema informacije za prijenos. Opisuje se opći model komunikacijskog sustava i njegove posebnosti određene prijenosnim medijem. Obrađuju se tehnike multipleksiranja signala, komutacije i višestrukog pristupa te referentni model za povezivanje otvorenih sustava i uspostavljanje komunikacije između različitih sustava. Daje se pregled arhitektura i značajki komunikacijskih mreža i uvod u osnovne komunikacijske protokole. Na kraju kolegija obrađuju se mobilne mreže.
U kolegiju držim početni dio kolegija u kojemu se obrađuje uvod u teoriju informacije. Taj dio sastoji se od 3 tjedna predavanja i 3 tjedna auditornih vježbi.
Kolegij Komunikacijski sustavi obavezan je kolegij za studente Elektrotehnike i informacijske tehnologije u 6. semestru prijediplomskoga studija. Nositelji kolegija su Sonja Grgić, Gordan Šišul, Marko Bosiljevac i Dario Bojanjac. Detaljnije informacije o kolegiju možete pronaći na službenoj stranici kolegija.
Zašto Teorija informacija i komunikacija
- Lex Fridman podcast, Claude Shannon at MIT: The best master's thesis in history
- Liberty's Highlights Podcast, Why is Claude Shannon so Important?
- Notion podcast, Experts gather to talk about the impact of Richard Hamming
Tjedni plan nastave s preporučenim tekstovima i snimkama:
- Mjera količina informacije i entropija.
Intelligent Systems Lab, Information Theory Basics, video
Claude E. Shannon, Prediction and Entropy of Printed English
Aurélien Géron, A Short Introduction to Entropy, Cross-Entropy and KL-Divergence, video
Veritasium, The Most Misunderstood Concept in Physics, video
Artem Kirsanov, The Key Equation Behind Probability, video
- Shannonov teorem o izvornom kodiranju. Prosječna duljina kodne riječi.
Art of the Problem, Entropy is the limit of compression, video
- Shannonov teorem o kodiranju u kanalu sa šumom. Kapacitet kanala.
Art of the Problem, Error correction codes, video
Literatura:
Osnovna literatura iz Teorije informacija:
- D. Bojanjac, P. Kolar, Kako mjeriti i kodirati informaciju, skripta 2023.
Dodatna literatura iz Teorije informacija:
- J. V. Stone, Information Theory: A Tutorial Introduction, Sebtel Press, 2018
- D. J. C. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press 2003
- T. M. Cover, J. A. Thomas, Elements of Information Theory, Wiley-Interscience 2006
Popularno-znanstvena literatura iz područja Teorije informacija:
- J. Gleick, The Information: A History, a Theory, a Flood, Pantheon 2011
- R. W. Hamming, The Art of Doing Science and Engineering: Learning to Learn, Stripe Press 2020
- J. Soni, R. Goodman, A Mind at Play: How Claude Shannon Invented the Information Age, Simon & Schuster 2017
Snimljena predavanja u akademskoj godini 2021./2022.:
1. predavanje: Zašto Teorija informacije?
1. auditorne vježbe: Decibeli, sustavi, amplitudno-frekvencijska karakteristika
2. predavanje: Kako mjeriti količinu informacije?
2. auditorne vježbe: Uvjetna vjerojatnost, Monty Hall, entropija
3. predavanje: Shannonov teorem o izvornom kodiranju
3. auditorne vježbe: Binarni prefiksni kod, Huffmanov algoritam
4. predavanje: Ponašanje kanala
4. auditorne vježbe: Kanal, AWGN, jednostrani spektar