Tehnologije podatkovnog inženjerstva u oblaku

Prikazani su podaci za akademsku godinu: 2023./2024.

Nositelji

Doc. dr. sc.
Marko Horvat

Opis predmeta

Studenti će naučiti temeljne procese na svakom projektu podatkovnog inženjerstva, kao što su unos, pohrana, prijenos, transformacija, čišćenje, validacija i posluživanje podataka, no isto tako i postupke upravljanja izvornim kodom, serverless programskim okolinama i kontinuiranom integracijom i isporukom koda, odnosno postupke koji su neophodni na današnjim projektima podatkovnog inženjerstva u oblaku. Kroz vježbe i samostalan rad studenti će steći praktične vještine rada sa programskim jezikom GO, Docker kontejnerima i Kubernetes grozdom, MongoDB NoSQL bazom podataka, GIT-om Jankinsom i Terraformom.

Studijski programi

Sveučilišni preddiplomski
[FER3-HR] Elektrotehnika i informacijska tehnologija - studij
Vještine - 3. semestar (3. semestar)
Vještine - 5. semestar (5. semestar)
[FER3-HR] Računarstvo - studij
Vještine - 3. semestar (3. semestar)
Vještine - 5. semestar (5. semestar)
Sveučilišni diplomski
[FER3-HR] Elektrotehnika i informacijska tehnologija - studij
Vještine - dipl.studij_FER3 - 1. semestar (1. semestar)
Vještine - dipl.studij_FER3 - 3. semestar (3. semestar)
[FER3-HR] Informacijska i komunikacijska tehnologija - studij
Vještine - dipl.studij_FER3 - 1. semestar (1. semestar)
Vještine - dipl.studij_FER3 - 3. semestar (3. semestar)
[FER3-HR] Računarstvo - studij
Vještine - dipl.studij_FER3 - 1. semestar (1. semestar)
Vještine - dipl.studij_FER3 - 3. semestar (3. semestar)

Oblici nastave

Predavanja

Predavanja će se održavati u 8 ciklusa u trajanju od 2 sata tjedno u laboratorijskim učionicama na fakultetu.

Laboratorij

Laboratorijske vježbe će se održavati u 8 ciklusa u trajanju od 2 sata tjedno u laboratorijskim učionicama na fakultetu.

Način ocjenjivanja

Kontinuirana nastava Ispitni rok
Vrsta provjere Prag Udio u ocjeni Prag Udio u ocjeni
Laboratorijske vježbe 50 % 40 % 50 % 40 %
Seminar/Projekt 50 % 40 % 50 % 40 %
Prisutnost 50 % 20 % 50 % 20 %

Tjedni plan nastave

  1. Što je podatkovna platforma, cloud platforme i izgradnja podatkovnih cjevovoda
  2. Izvori podataka, prijenos lokalnih podataka u oblak, dohvat iz relacijskih baza, programskih sučelja i javnih izvora, data ingestion
  3. Korištenje Pub/sub agenta za prosljeđivanje poruka i Avro formata poruka, metapodaci i porijeklo podataka
  4. Konsolidacija i transformacija podataka, kontrola sheme poruke, izgradnja kataloga shema i kako se rješava problem evolucije sheme poruke
  5. Korištenje programskih kontejnera, upravljanje Kubernetes grozdom i korištenje MongoDB NoSQL baze podataka
  6. Izrada programskih sučelja u programskom jeziku GO (REST API, Swagger, oAuth autentifikacija), posluživanje putem agenata za prosljeđivanje poruka, data democratisation
  7. Primjena DevOps koncepta u razvoju koda, korištenje GIT-a, Jankinsa, Terraforma, uspostava razvojnih, testnih, prezentacijskih i produkcijskih okolina u oblaku.
  8. Završni projekt
  9. Bez nastave
  10. Bez nastave
  11. Bez nastave
  12. Bez nastave
  13. Bez nastave
  14. Bez nastave
  15. Bez nastave

Literatura

Martin Kleppmann (2017.), Designing Data-intensive Applications, Oreilly & Associates Incorporated
John Arundel, Justin Domingus (2019.), Cloud Native DevOps with Kubernetes, O'Reilly Media
Manoj Kukreja, Danil Zburivsky (2021.), Data Engineering with Apache Spark, Delta Lake, and Lakehouse, Packt Publishing Ltd
Alan A. A. Donovan, Brian W. Kernighan (2015.), The Go Programming Language, Addison-Wesley Professional

Za studente

Izvedba

ID 234065
  Zimski semestar
3 ECTS
R0 Engleski jezik
R1 E-učenje
15 Predavanja
0 Seminar
0 Auditorne vježbe
15 Laboratorijske vježbe
0 Konstrukcijske vježbe
0 Vježbe tjelesnog odgoja

Ocjenjivanje

90 izvrstan
80 vrlo dobar
65 dobar
50 dovoljan

Sličan predmet