Tehnologije podatkovnog inženjerstva u oblaku

Opis predmeta

Studenti će naučiti temeljne procese na svakom projektu podatkovnog inženjerstva, kao što su unos, pohrana, prijenos, transformacija, čišćenje, validacija i posluživanje podataka, no isto tako i postupke upravljanja izvornim kodom, serverless programskim okolinama i kontinuiranom integracijom i isporukom koda, odnosno postupke koji su neophodni na današnjim projektima podatkovnog inženjerstva u oblaku. Kroz vježbe i samostalan rad studenti će steći praktične vještine rada sa programskim jezikom GO, Docker kontejnerima i Kubernetes grozdom, MongoDB NoSQL bazom podataka, GIT-om Jankinsom i Terraformom.

Oblici nastave

Predavanja

Predavanja će se održavati u 7 ciklusa u trajanju od 2 sata tjedno u laboratorijskim učionicama na fakultetu.

Laboratorij

Laboratorijske vježbe će se održavati u 7 ciklusa u trajanju od 2 sata tjedno u laboratorijskim učionicama na fakultetu.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 50 % 40 % 50 % 40 %
Seminar/Projekt 50 % 40 % 50 % 40 %
Prisutnost 50 % 20 % 50 % 20 %

Tjedni plan nastave

  1. Što je podatkovna platforma, cloud platforme i izgradnja podatkovnih cjevovoda
  2. Izvori podataka, prijenos lokalnih podataka u oblak, dohvat iz relacijskih baza, programskih sučelja i javnih izvora, data ingestion
  3. Korištenje Pub/sub agenta za prosljeđivanje poruka i Avro formata poruka, metapodaci i porijeklo podataka
  4. Konsolidacija i transformacija podataka, kontrola sheme poruke, izgradnja kataloga shema i kako se rješava problem evolucije sheme poruke
  5. Korištenje programskih kontejnera, upravljanje Kubernetes grozdom i korištenje MongoDB NoSQL baze podataka
  6. Izrada programskih sučelja u programskom jeziku GO (REST API, Swagger, oAuth autentifikacija), posluživanje putem agenata za prosljeđivanje poruka, data democratisation
  7. Primjena DevOps koncepta u razvoju koda, korištenje GIT-a, Jankinsa, Terraforma, uspostava razvojnih, testnih, prezentacijskih i produkcijskih okolina u oblaku.
  8. Završni projekt

Studijski programi

Sveučilišni preddiplomski
Vještine - 6. semestar (6. semestar)
Vještine - 6. semestar (6. semestar)
[FER2-HR] Automatika - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Bežične komunikacijske tehnologije - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Elektroenergetika - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Elektroničko i računalno inženjerstvo - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Elektronika - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Obradba informacija - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Programsko inženjerstvo i informacijski sustavi - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Računalno inženjerstvo - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Računarska znanost - modul
Vještine - 6.semestra (6. semestar)
[FER2-HR] Telekomunikacije i informatika - modul
Vještine - 6.semestra (6. semestar)
Sveučilišni diplomski
Vještine - dipl.studij_FER3 - 2. semestar (2. semestar)
Vještine - dipl.studij_FER3 - 2. semestar (2. semestar)
[FER2-HR] Automatika - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Bežične komunikacijske tehnologije - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Elektroenergetika - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Elektroničko i računalno inženjerstvo - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Elektronika - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Elektrotehnički sustavi i tehnologija - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Obradba informacija - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Programsko inženjerstvo i informacijski sustavi - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Računalno inženjerstvo - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Računarska znanost - profil
Vještine - dipl.studij - 2. semestar (2. semestar)
[FER2-HR] Telekomunikacije i informatika - profil
Vještine - dipl.studij - 2. semestar (2. semestar)

Literatura

Martin Kleppmann (2017.), Designing Data-intensive Applications, Oreilly & Associates Incorporated
John Arundel, Justin Domingus (2019.), Cloud Native DevOps with Kubernetes, O'Reilly Media
Manoj Kukreja, Danil Zburivsky (2021.), Data Engineering with Apache Spark, Delta Lake, and Lakehouse, Packt Publishing Ltd
Alan A. A. Donovan, Brian W. Kernighan (2015.), The Go Programming Language, Addison-Wesley Professional

Za studente

Izvedba

ID 234065
  Ljetni semestar
3 ECTS
R2 Engleski jezik
R1 E-učenje
15 Predavanja
0 Seminar
0 Auditorne vježbe
15 Laboratorijske vježbe
0 Konstrukcijske vježbe

Ocjenjivanje

90 izvrstan
80 vrlo dobar
65 dobar
50 dovoljan