PristupačnostNeuronske mreže omogućuju simuliranje inženjerskih problema bez eksplicitne diskretizacije modela kojima su ti problemi zadani. Rješenje se uči iz same strukture modela čime se gubi granica između procesa modeliranja i procesa simuliranja inženjerskih problema. U kolegiju se uvode fizikom-informirane neuronske mreže (PINN) kao pristup u kojem se rješenje modela simulira neuronskom mrežom uz poseban način zadovoljavanja samog modela u procesu treniranja neuronske mreže. Analiziraju se problemi stabilnosti i učinkovitosti procesa učenja, metode adaptivnog odabira kolokacijskih točaka te ograničenja PINN-ova, uključujući i spektralnu pristranost koja pokazuje dobra svojstva u procesu simuliranja višeskalnih problema. Posebna pažnja posvećuje se geometriji prostora parametara, interpretaciji procesa učenja te primjeni prirodnog gradijenta temeljenog na samom modelu. U kolegiju je obuhvaćena i primjena PINN-ova na inverzne probleme kao i suvremene pristupe temeljene na učenju operatora, uključujući modele poput DeepONet-a i Fourierovih neuronskih operatora.
Tjedni plan nastave s preporučenim tekstovima i snimkama:
- Uvod u funkcijske prostore i aproksimaciju funkcija.
- Slaba formulacija i Galerkinova metoda.
- Aproksimacija funkcije neuronskom mrežom.
- Fizikom-informirana neuronska mreža (PINN).
M. Raissi, P. Perdikaris, G. E. Karniadakis, Physics-informed neural networks, Journal of Computational Physics, Volume 378, Pages 686-707, 2019
A. S. Krishnapriyan, A.Gholami, S. Zhe, R. M. Kirby, M. W. Mahoney, Characterizing possible failure modes in physics-informed neural networks, arXiv:2109.01050, 2021
- Adaptivni pristupi u procesu treniranja PINN-a.
C. Wu, M. Zhu, Q. Tan, Y. Kartha, L. Lu, A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks, Computer Methods in Applied Mechanics and Engineering, Volume 403, Part A, 2023
- Pristranosti PINN-a.
N. Rahaman, A. Baratin, D. Arpit, F. Draxler, M. Lin, F. A. Hamprecht, Y. Bengio, A. Courville, On the Spectral Bias of Neural Networks, arXiv:1806.08734, 2019
- Primjena PINN-a u simuliranju direktnih problema.
- Međuispit.
- Primjena PINN-a u rješavanju inverznih problema.
M. Raissi, P. Perdikaris, G. E. Karniadakis, Physics-informed neural networks, Journal of Computational Physics, Volume 378, Pages 686-707, 2019
- Primjena PINN-a u višeskalnim problemima.
- Geometrija prostora parametara PINN-a.
S. Amari, Natural gradient works efficiently in learning, Neural Computation, 10(2), 251–276, 1998
L. Nurbekyan, W. Lei, Y. Yang, Efficient Natural Gradient Descent Methods for Large-Scale PDE-Based Optimization Problems, SIAM Journal on Scientific Computing, Vol. 45, Iss. 4, 2023
- Prirodni gradijent i primjene u procesu treniranja PINN-a.
J. Müller, M. Zeinhofer, Achieving High Accuracy with PINNs via Energy Natural Gradients, arXiv:2302.13163, 2023
- Parametarski modeli i učenje operatora.
N. Kovachki, Z. Li, B. Liu, K. Azizzadenesheli, K. Bhattacharya, A. Stuart, A. Anandkumar, Neural Operator: Learning Maps Between Function Spaces, Journal of Machine Learning Research 24, 2023
- Neuronski operatori (DeepONet i FNO).
L. Lu, P. Jin, G. Pang, Z. Zhang, G. E. Karniadakis, Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators, Nature Machine Intelligence volume 3, pages218–229, 2021
Z. Li, N. Kovachki, K. Azizzadenesheli, B. Liu, K. Bhattacharya, A. Stuart, A. Anandkumar, Fourier Neural Operator for Parametric Partial Differential Equations, arXiv:2010.08895, 2021
- Završni ispit.
Preporučena literatura:
- W. Cai, Deterministic, Stochastic, and Deep Learning Methods for Computational Electromagnetics, Springer 2025
- B. Despres, Neural Networks and Numerical Analysis, Walter de Gruyter, 2022
- J. Hoffman, Methods in Computational Science, SIAM 2021
Slični kolegiji u svijetu:
- AI in the Sciences and Engineering, ETH Zurich
