
Wykrywanie Anomalii z pomocą AI w Python
Szkolenia otwarte
3 400 PLN
Szkolenia zamknięte
Cena ustalana indywidualnie
O szkoleniu
Wykrywanie anomalii dotyczy identyfikowania zdarzeń, które nie zgadzają się z powszechnym oczekiwaniem i odbiegają od norm. Z uwagi na charakter zjawisk rzadkich ich detekcja stanowi duże wyzwanie, a jej wynik znajduje odzwierciedlenie w wynikach biznesowych. Liczba nadużyć rośnie w ogromnym tempie w ostatnich latach. Wśród przykładów obszarów biznesu dotkniętych tym problemem należy przede wszystkim wymienić obszary cyberbezpieczeństwa czy sektora bankowego i ubezpieczeniowego przeciwdziałające nadużyciom w obszarze kredytowym czy ryzyka. Problem zjawisk rzadkich możemy też spotkać w branży medycznej, ochrony mienia czy przemyśle. Niezależnie od tego o jakiej branży mówimy, prezentowane na szkoleniu metody można wykorzystać do rozwiązania tych problemów.
Proponowane szkolenie z wykrywania anomalii dostarcza uczestnikom zestaw nowych narzędzi w walce z wykrywaniem nadużyć i ich zapobieganiu. Zaangażowanie algorytmów sztucznej inteligencji stanowi przełom w tym obszarze pozwalając osiągnąć znacznie lepsze wyniki aniżeli w przypadku wykorzystania tradycyjnych metod. Podejście do rozwiązania problemu detekcji zjawisk rzadkich otwierają algorytmy maszynowego uczenia z szczególnym naciskiem na te dające najlepsze rezultaty. W dalszej części szkolenia uczestnicy poznają algorytmy deep learning bazujące na najnowszych konstrukcjach takich jak Autoencoder i GAN. Algorytmy głębokiego uczenia (deep learning) dowiodły swojej wyższości w przypadku wielu zastosowań, w tym do wykrywania nadużyć. Dodatkowe aspekty takie jak zdolność do wykorzystania danych nieustrukturyzowanych w detekcji czy skalowalność na zbiorach typu big data zadecydowały o wykorzystaniu architektur głębokiego uczenia w tworzeniu detektorów nadużyć.
Szkolenie prowadzone jest w sposób warsztatowy i nastawione w maksymalnym stopniu na praktykę. Uczestnicy szkolenia pracują z trenerem w środowisku Python i rozwiązują problemy detekcji anomalii w zróżnicowanych kontekstach. Dzięki praktycznemu podejściu uczestnicy mają okazję lepiej zrozumieć działanie poszczególnych algorytmów oraz poznać różne techniki przygotowania danych, oceny i walidacji algorytmów oraz ich tuningowania. Kończąc szkolenie uczestnicy dostają zestaw technik i metod przetestowanych na realnych problemach, które mogą z powodzeniem wykorzystać w pracy zawodowej i udoskonaleniu stosowanych narzędzi detekcji zjawisk rzadkich.
Dla kogo jest to szkolenie?
Szkolenie przeznaczone jest dla pracowników zajmujących się w codziennej pracy detekcją zjawisk rzadkich w branżach związanych z cyber bezpieczeństwem, bankowością, służbą zdrowia, zabezpieczeniem obiektów i przemyśle. W szczególności szkolenie kierujemy do:
- Pracowników IT zajmujących się cyber bezpieczeństwem, wykrywaniem niebezpiecznego oprogramowania i fraudu
- Data Scientist zajmujących się wykrywaniem fraudów, oceną ryzyka w bankach, ubezpieczeniach itp.
- Analityków medycznych zajmujących się diagnozowaniem, radiologią, epidemiologią
- Pracowników rozwijających oprogramowanie systemów bezpieczeństwa
- Inżynierów w przemyśle zajmujących się kwestiami jakości produkcji
Czego się nauczę?
- Dowiesz się jak prawidłowo zdefiniować, a następnie wybrać odpowiednie metody do wykrywania anomalii
- Nauczysz się wykorzystywać środowisko Python wraz z bibliotekami takimi jak pandas, scikit-learn, tensorflow, keras w wykrywaniu zjawisk rzadkich
- Zrozumiesz istotę działania zaawansowanych metody sztucznej inteligencji stosowane w wykrywaniu zjawisk rzadkich
- Poznasz najlepsze algorytmy maszynowego uczenia nadzorowane i nienadzorowane oraz sposoby ich odpowiedniej implementacji
- Dowiesz się jak budować i tuningować algorytmy do wybranego problemu żeby uzyskiwać najlepsze wyniki
- Poznasz sposoby ewaluacji modeli zarówno w podejściu nadzorowanym i nienadzorowanym
- Nauczysz się tworzyć głębokie sieci neuronowe z pomocą keras do wykrywania anomalii
- Poznasz metody Ensemble i dowiesz się jak połączyć różne algorytmy w celu zespołowego inteligentnego wykrywania zjawisk rzadkich
- Dowiesz się jak wdrożyć algorytmy na produkcje zgodnie ze standardem CRISP-DM
Plan szkolenia
I Sztuczna Inteligencja a wykrywanie anomalii – wprowadzenie
- Wprowadzenie do maszynowego i głębokiego uczenia
- Zalety i ograniczenia AI w analizie danych
- Przejście do statystycznego do maszynowego uczenia
- Rodzaje problemów: Supervised, Unsupervised Semi-Supervised i metody ich rozwiązania
- Główne obszary w których wykorzystywane jest maszynowe uczenie
- Regresja – Predykcja ciągłej zmiennej
- Klasyfikacja
- Segmentacja/Clustering
- Wykrywanie Anomalii
- Wybór algorytmu/modelu do danego problemu – Testowanie i Walidacja
- CRISP-DM Proces eksploracji danych z wykorzystaniem algorytmów maszynowego uczenia
- Rodzaje danych w maszynowym uczeniu – problemy i wyzwania
- Dane ustrukturyzowane
- Dane nieustrukturyzowane
- Dane z etykietami, bez i częściowymi etykietami – jak to wpływ na wybór algorytmu
- Wprowadzenie do detekcji anomalii z perspektywy AI
- Zacznijmy od zdefiniowania Anomalii
- Gdzie wykrywamy anomalie – przykłady z różnych obszarów biznesu
- Dlaczego detekcja anomalii staje się standardem w organizacji – wpływ anomalii na biznes
- Metody sztucznej inteligencji w wykrywaniu anomalii
- Metody probabilistyczne
- Algorytmy stosowane w klasyfikacji
- Algorytmy bazujące na podobieństwie i gęstości
- Głębokie sieci neuronowe
- Metody zespołowe (Ensemble) i łączenie różnych rozwiązań detekcji anomalii
II Maszynowe uczenie w detekcji anomalii
- Przygotowanie danych na potrzeby wykrywania anomalii
- Braki obserwacji – wykrywanie, imputacja, strategie usuwania – najlepsze praktyki i techniki
- Normalizacja – Standaryzacja, MinMax normalizacja, Normalizacja odporna
- Zmiana danych jakościowych – Przekodowanie etykiet, One-hot encoding, Embeddings
- Algorytmy nadzorowane – techniki walidacji i metryki
- Interpretowalność vs odtworzenie wzorców trade-off
- Przeuczenie i Bias – Variance trade-off
- Podział na zbiór Train, Validation, Test–zapobieganie przeuczeniu w ML
- Miary jakości klasyfikacji:
- Accuracy
- Confusion Matrix
- ROC curve, AUC
- Sensitivity and Specificity
- Precision and Recall, F-measure
- Matheews Correlation Coefficient
- Miary jakości prognoz w regresji
- RMSE, MAPE, MASE
- Algorytmy nadzorowane w detekcji anomalii
- Algorytmy zespołowe
- SVM
- Boosting: XGBoost
- Boosting: z reprezentacją nienadzorowaną XGBOD
- Algorytmy nienadzorowane w detekcji anomalii
- Podejście modelowe
- One-class Support Vector Machines
- Deviation-based Outlier Detection
- Modele regresyjne
- Algorytmy bazując na odległości i gęstości rozkładu
- Local Outlier Factor
- Isolation Forest
- K Nearest Neighbours
- Local Correlation Integral
- Connectivity based outlier factor
- Mixture density
- Algorytmy segmentacyjne
- K-means clustering
- Agglomerative clustering
- Agglomerative and divisive methods
- Density based approach
- Fuzzy clustering
- Metody Probabilistyczne
- Fast Angle based algorithm
- Stochastic outlier selection
- Podejście modelowe
- Algorytmy wykrywania anomalii w szeregach czasowych
- Identyfikacja Anomalii w szeregu czasowym
- Detekcja odstającej sekwencji
- MUASD
- SAXFR
- Wykrywanie obserwacji odstającej w wielu szeregach czasowych
- Problem niezbilansowanych danych w klasyfikacji – rozwiązania problemu
- Undersampling
- Oversampling
- SMOTE
- Sample weighting
III Detekcja anomalii z pomocą modeli głębokiego uczenia
- Wprowadzenie do głębokiego uczenia(deep learning)
- Przegląd architektur głębokich sieci neuronowych
- Treningowanie głębokich sieci neuronowych
- Parametry kontrolujące i sterujące sieciami
- Funkcja straty, aktywująca, optymalizatory
- Tuningowanie parametrów
- Autoencoder
- Architektura sieci Autoencoder, encoder, decoder, latent representation
- Inicjalizacja, funkcje aktywujące, strata
- Błąd odtworzenia, punktacja outlierów
- Klasyfikacja anomalii
- Variational Autoencoder
- Latent distribution
- Variational inference
- Kullback – Leibler divergence
- Reparametryzacja
- Generative Adversarial Active Learning
- Idea Adversarial Feature Learning
- Architektura sieci GAN: Generator, Discriminator Network,
- Parametryzacja – strata
- Architektury sieci GAN w detekcji anomalii
IV Detekcja anomalii – łączenie rozwiązań
- Averaging outlier scores
- Feature Bootstrap Aggregating
- Average of Maximum
- Majority Voting