Kurs Python Data Engineer

Kurs prowadzi od analizy danych w NumPy i Pandas do kompletnego systemu w architekturze CQRS. Budujesz systemy do pracy z danymi w standardzie produkcyjnym: aplikacje bazodanowe oparte o SQL, ORM i NoSQL, interaktywne aplikacje webowe w Streamlit oraz komunikację asynchroniczną w Apache Kafka. Na końcu łączysz Kafkę, bazę relacyjną i MongoDB w spójny system z osobnymi usługami zapisu i odczytu.

• Analizy danych w NumPy i Pandas oraz dashboardy w Streamlit do prezentacji wyników
• Aplikacje bazodanowe z warstwą repozytoriów, migracjami schematu w Alembic i testami na Testcontainers
• System CQRS z Apache Kafka, relacyjną bazą danych i MongoDB uruchamiany w Docker Compose

• Analiza danych w NumPy: wektoryzacja, indeksowanie, broadcasting, widoki i kopie, ufunc
• Analiza tabelaryczna w Pandas: łączenie danych, agregacje, groupby, tabele przestawne, szeregi czasowe, wykresy w matplotlib i seaborn
• Relacyjne bazy danych w MySQL: projektowanie tabel, transakcje, indeksy, widoki, funkcje okna, CTE, triggery, procedury
• ORM i NoSQL: SQLAlchemy, migracje w Alembic, warstwa repozytoriów, MongoDB, testy z Testcontainers
• Aplikacje webowe w Streamlit: dashboardy, zarządzanie stanem i cache, formularze, widoki filtrujące dane, publikacja aplikacji
• Apache Kafka: tematy, partycje, grupy konsumentów, asynchroniczny producent i konsument w Pythonie
• Kontrakty i jakość danych: schematy Avro, rejestr schematów, walidacja danych, kolejka błędów
• Wzorzec CQRS: usługi zapisu i odczytu, publikacja zdarzeń, idempotentność, uruchomienie w Docker Compose

1. Analiza danych (NumPy, Pandas, matplotlib, seaborn)Konfiguracja środowiska Data Science (Colab, Codespaces, Anaconda). NumPy od podstaw po poziom zaawansowany (ndarray, dtype, shape i strides, wektoryzacja, indeksowanie, widoki i kopie, broadcasting, ufunc, sortowanie i wyszukiwanie). Analiza tabelaryczna w Pandas (Series, DataFrame, filtrowanie, łączenie danych, agregacje, groupby, tabele przestawne), praca z szeregami czasowymi (DatetimeIndex, resampling, shift). Wizualizacje wyników w matplotlib i seaborn.
2. Aplikacje bazodanowe (SQL, MySQL, SQLite, ORM, SQLAlchemy, NoSQL, MongoDB)Podstawy SQL i projektowanie relacyjnych baz danych w MySQL (CRUD, JOIN, agregacje, constraints, transakcje, widoki, indeksy, funkcje okna, CTE, triggery, procedury). Praca z SQLite oraz ORM (SQLAlchemy), zarządzanie migracjami schematu w Alembic, budowa warstwy repozytoriów. Podejście dokumentowe NoSQL w MongoDB. Testowanie komunikacji z bazą danych z wykorzystaniem Testcontainers.
3. Budowa interaktywnych aplikacji webowych w Streamlit do analizy danychTworzenie dashboardów i interfejsów do analizy oraz prezentacji danych. Cykl działania aplikacji Streamlit, zarządzanie stanem i cache, aplikacje jednoekranowe i wielostronicowe, formularze i widoki filtrujące dane, prezentacja wyników w tabelach i na wykresach. Integracja z warstwą logiki biznesowej i repozytoriów, testowanie interfejsu oraz publikacja aplikacji w środowisku docelowym.
4. Komunikacja asynchroniczna i przetwarzanie strumieniowe w Apache KafkaArchitektura Apache Kafka (tematy, partycje, grupy konsumentów, offsety). Konfiguracja środowiska w Docker Compose (broker Kafka, rejestr schematów, panel podglądu). Producent i konsument w Pythonie w podejściu asynchronicznym, kontrakty wiadomości oparte o schematy Avro i rejestr schematów. Walidacja danych i obsługa błędów (kolejka błędów) oraz testowanie zaimplementowanych rozwiązań.
5. Budowa kompletnego systemu w oparciu o wzorzec CQRSRozdzielenie odpowiedzialności zapisu i odczytu. Usługa zapisu z walidacją reguł domenowych i zapisem w relacyjnej bazie danych. Bezpieczna publikacja zdarzeń do Apache Kafka. Usługa odczytu budująca zdenormalizowany model w bazie dokumentowej MongoDB. Idempotentność i odporność na błędy oraz uruchomienie całego systemu w Docker Compose z reverse proxy i monitoringiem infrastruktury.

Szczegółowy wykaz nagrań (otwiera się w nowej karcie)

Dla programistów, którzy mają już doświadczenie w Pythonie i chcą rozwijać się w kierunku Data Engineeringu. Budujesz tu systemy do pracy z danymi, od analizy w Pandas po architekturę zdarzeniową z Apache Kafka.

• Programujesz w Pythonie i chcesz poszerzyć stack o analizę danych, bazy danych i przetwarzanie strumieniowe
• Chcesz budować aplikacje bazodanowe oraz interaktywne aplikacje webowe do analizy danych
• Chcesz poznać komunikację asynchroniczną i architekturę zdarzeniową w standardzie produkcyjnym
• Budujesz projekty oparte o systemy zarządzania danymi, od bazy danych po przetwarzanie zdarzeń w czasie rzeczywistym
• Planujesz rozwój w stronę AI i potrzebujesz pracy z danymi jako fundamentu

Wiedzę z tego kursu wykorzystujesz potem w mentoringu 1:1, gdzie projektujesz i wdrażasz własną aplikację pod okiem mentora. Wszystkie kursy są w cenie mentoringu.

Kurs nie ma modułów podstawowych z Pythona. Od pierwszego modułu pracujesz z danymi, dlatego wchodzisz w niego ze znajomością Pythona na poziomie zaawansowanym.

• Programujesz w Pythonie na poziomie zaawansowanym: zaczynasz od pierwszego modułu i przechodzisz kurs po kolei
• Znasz już SQL i bazy danych, na przykład z kursu Python Backend Developer: moduł bazodanowy przechodzisz szybciej i skupiasz się na Streamlit, Apache Kafka i CQRS
• Programujesz w innym języku albo dopiero zaczynasz: najpierw przechodzisz kurs Python Backend Developer, który otwierają moduły podstawowe

Zalecana kolejność to kurs Python Backend Developer, potem ten kurs, a na końcu Python AI Engineer. Wszystkie trzy masz w dostępie do wszystkich kursów, bez dodatkowych opłat.