Wykrywanie anomalii dotyczy identyfikowania zdarzeń, które nie zgadzają się z powszechnym oczekiwaniem i odbiegają od norm. Z uwagi na charakter zjawisk rzadkich ich detekcja stanowi duże wyzwanie, a jej wynik znajduje odzwierciedlenie w wynikach biznesowych. Liczba nadużyć rośnie w ogromnym tempie w ostatnich latach. Wśród przykładów obszarów biznesu dotkniętych tym problemem należy przede wszystkim wymienić obszary cyberbezpieczeństwa czy sektora bankowego i ubezpieczeniowego przeciwdziałające nadużyciom w obszarze kredytowym czy ryzyka. Problem zjawisk rzadkich możemy też spotkać w branży medycznej, ochrony mienia czy przemyśle. Niezależnie od tego o jakiej branży mówimy, prezentowane na szkoleniu metody można wykorzystać do rozwiązania tych problemów.

Proponowane szkolenie z wykrywania anomalii dostarcza uczestnikom zestaw nowych narzędzi w walce z wykrywaniem nadużyć i ich zapobieganiu. Zaangażowanie algorytmów sztucznej inteligencji stanowi przełom w tym obszarze pozwalając osiągnąć znacznie lepsze wyniki aniżeli w przypadku wykorzystania tradycyjnych metod. Podejście do rozwiązania problemu detekcji zjawisk rzadkich otwierają algorytmy maszynowego uczenia z szczególnym naciskiem na te dające najlepsze rezultaty. W dalszej części szkolenia uczestnicy poznają algorytmy deep learning bazujące na najnowszych konstrukcjach takich jak Autoencoder i  GAN. Algorytmy głębokiego uczenia (deep learning) dowiodły swojej wyższości w przypadku wielu zastosowań, w tym do wykrywania nadużyć. Dodatkowe aspekty takie jak zdolność do wykorzystania danych nieustrukturyzowanych w detekcji czy skalowalność na zbiorach typu big data zadecydowały o wykorzystaniu architektur głębokiego uczenia w tworzeniu detektorów nadużyć.

Szkolenie prowadzone jest w sposób warsztatowy i nastawione w maksymalnym stopniu na praktykę. Uczestnicy szkolenia pracują z trenerem w środowisku Python i rozwiązują problemy detekcji anomalii w zróżnicowanych kontekstach. Dzięki praktycznemu podejściu uczestnicy mają okazję lepiej zrozumieć działanie poszczególnych algorytmów oraz poznać różne techniki przygotowania danych, oceny i walidacji algorytmów oraz ich tuningowania. Kończąc szkolenie uczestnicy dostają zestaw technik i metod przetestowanych na realnych problemach, które mogą z powodzeniem wykorzystać w pracy zawodowej i udoskonaleniu stosowanych narzędzi detekcji zjawisk rzadkich.

Szkolenie przeznaczone jest dla pracowników zajmujących się w codziennej pracy detekcją zjawisk rzadkich w branżach związanych z cyber bezpieczeństwem, bankowością, służbą zdrowia, zabezpieczeniem obiektów i przemyśle. W szczególności szkolenie kierujemy do:

• Pracowników IT zajmujących się cyber bezpieczeństwem, wykrywaniem niebezpiecznego oprogramowania i fraudu
• Data Scientist zajmujących się wykrywaniem fraudów, oceną ryzyka w bankach, ubezpieczeniach itp.
• Analityków medycznych zajmujących się diagnozowaniem, radiologią, epidemiologią
• Pracowników rozwijających oprogramowanie systemów bezpieczeństwa
• Inżynierów w przemyśle zajmujących się kwestiami jakości produkcji

• Dowiesz się jak prawidłowo zdefiniować, a następnie wybrać odpowiednie metody do wykrywania anomalii
• Nauczysz się wykorzystywać środowisko Python wraz z bibliotekami takimi jak pandas, scikit-learn, tensorflow, keras w wykrywaniu zjawisk rzadkich
• Zrozumiesz istotę działania zaawansowanych metody sztucznej inteligencji stosowane w wykrywaniu zjawisk rzadkich
• Poznasz najlepsze algorytmy maszynowego uczenia nadzorowane i nienadzorowane oraz sposoby ich odpowiedniej implementacji
• Dowiesz się jak budować i tuningować algorytmy do wybranego problemu żeby uzyskiwać najlepsze wyniki
• Poznasz sposoby ewaluacji modeli zarówno w podejściu nadzorowanym i nienadzorowanym
• Nauczysz się tworzyć głębokie sieci neuronowe z pomocą keras do wykrywania anomalii
• Poznasz metody Ensemble i dowiesz się jak połączyć różne algorytmy w celu zespołowego inteligentnego wykrywania zjawisk rzadkich
• Dowiesz się jak wdrożyć algorytmy na produkcje zgodnie ze standardem CRISP-DM

I Sztuczna Inteligencja a wykrywanie anomalii – wprowadzenie

1. Wprowadzenie do maszynowego i głębokiego uczenia
   1. Zalety i ograniczenia AI w analizie danych
   2. Przejście do statystycznego do maszynowego uczenia
   3. Rodzaje problemów: Supervised, Unsupervised Semi-Supervised i metody ich rozwiązania
   4. Główne obszary w których wykorzystywane jest maszynowe uczenie
      1. Regresja – Predykcja ciągłej zmiennej
      2. Klasyfikacja
      3. Segmentacja/Clustering
      4. Wykrywanie Anomalii
   5. Wybór algorytmu/modelu do danego problemu – Testowanie i Walidacja
   6. CRISP-DM Proces eksploracji danych z wykorzystaniem algorytmów maszynowego uczenia
   7. Rodzaje danych w maszynowym uczeniu – problemy i wyzwania
      1. Dane ustrukturyzowane
      2. Dane nieustrukturyzowane
      3. Dane z etykietami, bez i częściowymi etykietami – jak to wpływ na wybór algorytmu

2. Wprowadzenie do detekcji anomalii z perspektywy AI
   1. Zacznijmy od zdefiniowania Anomalii
   2. Gdzie wykrywamy anomalie – przykłady z różnych obszarów biznesu
   3. Dlaczego detekcja anomalii staje się standardem w organizacji – wpływ anomalii na biznes
   4. Metody sztucznej inteligencji w wykrywaniu anomalii
      1. Metody probabilistyczne
      2. Algorytmy stosowane w klasyfikacji
      3. Algorytmy bazujące na podobieństwie i gęstości
      4. Głębokie sieci neuronowe
      5. Metody zespołowe (Ensemble) i łączenie różnych rozwiązań detekcji anomalii

II Maszynowe uczenie w detekcji anomalii

3. Przygotowanie danych na potrzeby wykrywania anomalii
   1. Braki obserwacji – wykrywanie, imputacja, strategie usuwania – najlepsze praktyki i techniki
   2. Normalizacja – Standaryzacja, MinMax normalizacja, Normalizacja odporna
   3. Zmiana danych jakościowych – Przekodowanie etykiet, One-hot encoding, Embeddings
4. Algorytmy nadzorowane – techniki walidacji i metryki
   1. Interpretowalność vs odtworzenie wzorców trade-off
   2. Przeuczenie i Bias – Variance trade-off
   3. Podział na zbiór Train, Validation, Test–zapobieganie przeuczeniu w ML
   4. Miary jakości klasyfikacji:
      1. Accuracy
      2. Confusion Matrix
      3. ROC curve, AUC
      4. Sensitivity and Specificity
      5. Precision and Recall, F-measure
      6. Matheews Correlation Coefficient
   5. Miary jakości prognoz w regresji
      1. RMSE, MAPE, MASE
5. Algorytmy nadzorowane w detekcji anomalii
   1. Algorytmy zespołowe
   2. SVM
   3. Boosting: XGBoost
   4. Boosting: z reprezentacją nienadzorowaną XGBOD
6. Algorytmy nienadzorowane w detekcji anomalii
   1. Podejście modelowe
      1. One-class Support Vector Machines
      2. Deviation-based Outlier Detection
      3. Modele regresyjne
   2. Algorytmy bazując na odległości i gęstości rozkładu
      1. Local Outlier Factor
      2. Isolation Forest
      3. K Nearest Neighbours
      4. Local Correlation Integral
      5. Connectivity based outlier factor
      6. Mixture density
   3. Algorytmy segmentacyjne
      1. K-means clustering
      2. Agglomerative clustering
      3. Agglomerative and divisive methods
      4. Density based approach
      5. Fuzzy clustering
   4. Metody Probabilistyczne
      1. Fast Angle based algorithm
      2. Stochastic outlier selection
   1. Algorytmy wykrywania anomalii w szeregach czasowych
      1. Identyfikacja Anomalii w szeregu czasowym
      2. Detekcja odstającej sekwencji
      3. MUASD
      4. SAXFR
      5. Wykrywanie obserwacji odstającej w wielu szeregach czasowych
   2. Problem niezbilansowanych danych w klasyfikacji – rozwiązania problemu
      1. Undersampling
      2. Oversampling
      3. SMOTE
      4. Sample weighting

   III Detekcja anomalii z pomocą modeli głębokiego uczenia

   9. Wprowadzenie do głębokiego uczenia(deep learning)
      1. Przegląd architektur głębokich sieci neuronowych
      2. Treningowanie głębokich sieci neuronowych
      3. Parametry kontrolujące i sterujące sieciami
      4. Funkcja straty, aktywująca, optymalizatory
      5. Tuningowanie parametrów
   10. Autoencoder
       1. Architektura sieci Autoencoder, encoder, decoder, latent representation
       2. Inicjalizacja, funkcje aktywujące, strata
       3. Błąd odtworzenia, punktacja outlierów
       4. Klasyfikacja anomalii
   11. Variational Autoencoder
       1. Latent distribution
       2. Variational inference
       3. Kullback – Leibler divergence
       4. Reparametryzacja
   12. Generative Adversarial Active Learning
       1. Idea Adversarial Feature Learning
       2. Architektura sieci GAN: Generator, Discriminator Network,
       3. Parametryzacja – strata
       4. Architektury sieci GAN w detekcji anomalii

   IV Detekcja anomalii – łączenie rozwiązań

   1. Averaging outlier scores
   2. Feature Bootstrap Aggregating
   3. Average of Maximum
   4. Majority Voting