Programmēšana datu pārvaldībai un analīzei ar Python, R un SQL

Python, R un SQL pamati datu pārvaldībai
Darba vides sagatavošana. VSCode, Jupyter Notebooks, Google Colab, RStudio un PostgreSQL vides pielāgošana tālākai darbībai.
Python, R un SQL programmēšanas valodu pamati. Kodēšana ar MI atbalstu.
OOP pamati Python.
Programmas koda pārvaldības sistēmas – Git un GitHub.
Python un R bibliotēkas datu analītikai, vizualizācijai, modelēšanai un pārlasīšanai (piem., Pandas, Seaborn, Matplotlib, Plotly, dplyr, ggplot2, tidyvrse).
Datu konceptuālā modeļa un fiziskā modeļa izveide ar PostgreSQL un DuckDB.
Datu apstrāde un dažādu datu avotu analīze ar Python, R un SQL. Darbs ar dažāda formāta failiem, API un datubāzēm.
Programmas koda atkļūdošana, izmantojot MI atbalstu.

Programmēšana datu pārvaldībai un analīzei
Datu pārvaldības tehnisko risinājumu (piem., DBMS), datu krātuves un lielo datu platformas, datu straumēšanas risinājumi, ETL / Datu integrācijas rīki) analīze un izvēles kritēriji. Datu pārvaldības tehnisko risinājumu izstrāde. Programmu prasību validācija, detalizācija un prototipēšana.
Datu konceptuālo modeļu un fizisko modeļu izveide, izmantojot SQL, ne-SQL risinājumus, datu krātuves un lielo datu platformas.
Datu modelēšana: konceptuālais un fiziskais modelis (ER diagrammas, tabulu struktūra, atslēgas un relācijas).
Datu plūsmu pārvaldīšana ar ETL/ELT sistēmām, izmantojot Prefect. Datu ieguves, transformācijas, ielādes, optimizācijas un orķestrēšanas algoritmi. Projektējuma dekompozīcija.
Datu avotu integrācija ar DLT. Izstrādes uzdevumu darbplūsmu pārrakstīšanās, veicot uzdevumu prioritizēšanu un izmantojot uzdevumu pārvaldības platformas.
Datu straumēšanas un reāllaika piegādes testēšanas integrācijas risinājumi (Apache Kafka un Apache Flink).
Programmu uzturēšanas procesa nodrošināšana un lielo datu apjomu pārvadīšana ar Dask, DuckDB, Polars, Vaex, Modin.
Datu konceptuālo modeļu un fizisko modeļu izveide un pārvaldīšana ar Django ORM.
Datu pārvaldīšanas risinājumu testēšanas un piegādes darbināšanas vidēs integrācija ar REST API, izmantojot Django REST un Postman.
Mašīnmācīšanās un dziļās mašīnmācīšanās programmu algoritmu konstruēšana un aprakstīšana, izmantojot SkLearn, TensorFlow, Keras un Hugging Face, ņemot vērā programmas prasības un biznesa vajadzības.
Datu programmu saskarnes projektēšana, izmantojot Django, Streamlit un R Shiny, ņemot vērā programmas prasības.
Programmu prasību validācija, detalizācija un prototipēšana ar Streamlit un R Shiny. BI interaktīvo paneļu veidošana. Koda dokumentēšana atbilstoši vadlīnijām.
Piegādāto datu pārvaldības programmu savlaicīga un kvalitatīva integrācija testēšanas un produkcijas (darbināšanas) vidēs mākonī.
MLOps pamati. Modeļu un programmatūras piegādes integrācija, izmantojot MLflow un Hugging Face risinājumus.