Power Query – Pokročilé techniky prípravy dát

Úroveň: mierne pokročilí až pokročilí

Vstupné požiadavky: základná znalosť práce s Excelom alebo Power BI Desktopom, základy práce s Power Query na úrovni nášho prvého kurzu o Power Query

Cieľ kurzu: Naučiť sa využívať na maximum technológiu Power Query v Exceli, v Power BI, či v SSAS Tabulare. Je plný hromady praktických príkladov, na ktorých si účastníci precvičia krok po kroku všetku funkcionalitu tak, aby vedeli získať a ľubovoľne skombinovať dáta z rôznych zdrojov, prispôsobiť si ich podľa svojich potrieb, a vytvoriť výstup pre svoje analýzy a reporty, ktorý sa už bude ľahko ďalej spracovávať. Tento kurz sa venuje pokročilejším technikám v Power Query, ktoré sa používajú pri príprave a spracovaní dát, vrátane pokročilých transformácií využívaných počas tohto procesu. Preberajú sa na ňom aj jednoduché základy jazyka M, bez ktorého sa nepohnete pri pokročilejších transformáciách údajov. Ukážeme si aj to, ako načítať údaje z rôznych API, tak by ste sa dostali aj k údajom z informačných systémov a cloudových služieb, pre ktoré Power Query nemá v sebe zabudované konektory. Nakoniec sa pozrieme aj na to, ako zoptimalizovať tieto techniky pri práci s veľkým množstvom údajov, a ako urýchliť Editor Power Query aj konkrétne typy transformácií, aby aj na veľkom množstve údajov bežali svižne.

Toto je najdetailnejší pokročilý kurz na Slovensku, od autora jedinej slovenskej knihy o Power Query a jazyku M. Je to top expert s 12-ročnou praxou v Power Query a 10-ročnou praxou v Power BI. Kurz sa venuje vyslovene pokročilým problémom, ktoré nastávajú pri príprave dát. Z kurzu odídete plní nápadov, ako robiť veci lepšie. Presvedčte sa o tom v referenciách od predchádzajúcich účastníkov našich kurzov.

Cieľová skupina: analytici, zamestnanci controllingu a reportingu, ktorí si potrebujú pripraviť svoje dáta do Excelu alebo Power BI pre svoje analýzy a reporting, a nestačia im už iba základné techniky prípravy dát, ale potrebujú pripravovať dáta pokročilejším spôsobom, či riešiť komplexnejšie problémy s Power Query, vrátane použitia jazyka M.

Trvanie: 2 dni, od 9:00 do 17:00

Najbližšie termíny:

V cene je zahrnuté:

  • 14-dňový prístup k záznamu z jedného workshopu o Power BI podľa výberu, v hodnote 157 EUR,
  • naša 700-stranová kniha o Power Query v slovenčine v hodnote 35 EUR s podrobnými návodmi krok po kroku,
  • certifikát o absolvovaní kurzu v slovenčine aj angličtine,
  • dobrá atmosféra na kurze 🙂

Obsah kurzu:

Pokročilé transformácie dát

  • Vlastná kategorizácia dát
  • Zmazanie/úprava n-tého riadku
  • Konverzia kontingenčných dát na analytické tabuľky a naopak
  • Transformácie pomocou Pythonu a R skriptu (iba v Power BI)
  • Zoskupenie na detailné riadky
  • Automatizované zlučovanie dát z rôznych nekompatibilných zdrojov (fuzzy merge join)
  • Automatizovaná oprava preklepov a iných drobných chýb v dátach
  • Dátové typy stĺpcov a správna konverzia medzi nimi
  • Kedy robiť výpočty v Power Query vs. v dátovom modeli

Základy jazyka M v Power Query

  • Úvod do jazyka M
  • Syntax jazyka M
  • Rozšírený editor dotazu a úprava M skriptov
  • Funkcie bez užívateľského rozhrania
  • Vytváranie vlastných funkcií
  • Využitie funkcií na zvýšenie produktivity v Power Query a zjednodušenie kódu
  • Rozhodovacie konštrukty
  • Parametrické dotazy a parametre
  • Prázdne dotazy a ich využitie
  • Dotazy, zoznamy, záznamy, hodnoty, indexy a práca s nimi
  • Spracovanie chýb cez try/otherwise a operátor „?“
  • Riešenia chyby Formula.Firewall v skriptoch

Načítavanie dát z rôznych API a dátových zdrojov

  • Metódy autentizácie a ich správny výber a použitie
  • Nástroje na debugovanie volaní/výsledkov z API
  • REST API vs. SOAP API, XML vs JSON, OData API
  • Volanie GET requestu a POST requestu
  • Parametre dotazu, relatívne cesty
  • Tokeny, hashovanie, nastavenie HTTP headers, bezpečné ukladanie tokenov
  • Riešenia bežných problémov po nasadení na server/do cloudu a nastavení automatickej aktualizácie dát
  • Vlastné konektory Power Query (iba v Power BI)

Pokročilé techniky prípravy dát v Power Query

  • Dopočítavanie chýbajúcich dát
  • Oprava chybných dát
  • Kombinovanie a zlučovanie dát z viacerých zdrojov
  • Detekcia prvého a posledného riadku s údajmi
  • Spojenie riadkov z dvoch tabuliek cez podmienku
  • Práca s predchádzajúcim/nasledujúcim riadkom
  • Pokročilá práca s duplicitami a duplicitnými riadkami
  • Dynamická kategorizácia dát podľa číselníka
  • Výpočty v rámci skupiny
  • Rozpočítavanie hodnôt na podpoložky
  • Mapovacie tabuľky
  • Karteziánsky súčin a kombinačné tabuľky
  • Dynamické filtrovanie podľa konfiguračnej tabuľky

Optimalizácia rýchlosti načítavania a spracovania dát

  • Ako interne funguje transformačný engine Power Query
  • Ako funguje vyhodnocovanie skriptov
  • Priebežné vs. kumulatívne operácie a ich vplyv na výkon Power Query
  • Vyrovnávacie pamäte, medzipamäte, swapovanie na disk, a ich ovplyvňovanie
  • Query folding – posun operácií do dátového zdroja, výhody, nevýhody, záludnosti
  • Ako urýchliť plné načítavanie dát 2-násobne a viac (a ušetriť zdroje počítača, servera a siete)
  • Optimalizácia joinov / zlučovania dát / spájania tabuliek
  • Zrýchlenie spojenia riadkov cez podmienku
  • Práca s veľkým množstvom dát
  • Urýchlenie spomaleného Editora Power Query
  • Inkrementálna aktualizácia dát (iba v Power BI)
  • Ďalšie optimalizačné techniky