Data SciencePython

Wykrywanie Anomalii z pomocą AI w Python

Nie pasuje Ci żaden termin? Napisz do nas!
Zapisz więcej osób

Taniej w grupie

  • 3 osoby - 10% zniżki
  • 4 osoby - 15% zniżki
  • 5 osób - 20% zniżki
  • 6 osób - 25% zniżki
  • 7 osób - 30% zniżki
  • O szkoleniu

    Wykrywanie anomalii dotyczy identyfikowania zdarzeń, które nie zgadzają się z powszechnym oczekiwaniem i odbiegają od norm. Z uwagi na charakter zjawisk rzadkich ich detekcja stanowi duże wyzwanie, a jej wynik znajduje odzwierciedlenie w wynikach biznesowych. Liczba nadużyć rośnie w ogromnym tempie w ostatnich latach. Wśród przykładów obszarów biznesu dotkniętych tym problemem należy przede wszystkim wymienić obszary cyberbezpieczeństwa czy sektora bankowego i ubezpieczeniowego przeciwdziałające nadużyciom w obszarze kredytowym czy ryzyka. Problem zjawisk rzadkich możemy też spotkać w branży medycznej, ochrony mienia czy przemyśle. Niezależnie od tego o jakiej branży mówimy, prezentowane na szkoleniu metody można wykorzystać do rozwiązania tych problemów.

    Proponowane szkolenie z wykrywania anomalii dostarcza uczestnikom zestaw nowych narzędzi w walce z wykrywaniem nadużyć i ich zapobieganiu. Zaangażowanie algorytmów sztucznej inteligencji stanowi przełom w tym obszarze pozwalając osiągnąć znacznie lepsze wyniki aniżeli w przypadku wykorzystania tradycyjnych metod. Podejście do rozwiązania problemu detekcji zjawisk rzadkich otwierają algorytmy maszynowego uczenia z szczególnym naciskiem na te dające najlepsze rezultaty. W dalszej części szkolenia uczestnicy poznają algorytmy deep learning bazujące na najnowszych konstrukcjach takich jak Autoencoder i  GAN. Algorytmy głębokiego uczenia (deep learning) dowiodły swojej wyższości w przypadku wielu zastosowań, w tym do wykrywania nadużyć. Dodatkowe aspekty takie jak zdolność do wykorzystania danych nieustrukturyzowanych w detekcji czy skalowalność na zbiorach typu big data zadecydowały o wykorzystaniu architektur głębokiego uczenia w tworzeniu detektorów nadużyć.

    Szkolenie prowadzone jest w sposób warsztatowy i nastawione w maksymalnym stopniu na praktykę. Uczestnicy szkolenia pracują z trenerem w środowisku Python i rozwiązują problemy detekcji anomalii w zróżnicowanych kontekstach. Dzięki praktycznemu podejściu uczestnicy mają okazję lepiej zrozumieć działanie poszczególnych algorytmów oraz poznać różne techniki przygotowania danych, oceny i walidacji algorytmów oraz ich tuningowania. Kończąc szkolenie uczestnicy dostają zestaw technik i metod przetestowanych na realnych problemach, które mogą z powodzeniem wykorzystać w pracy zawodowej i udoskonaleniu stosowanych narzędzi detekcji zjawisk rzadkich.

    Dla kogo jest to szkolenie?

    Szkolenie przeznaczone jest dla pracowników zajmujących się w codziennej pracy detekcją zjawisk rzadkich w branżach związanych z cyber bezpieczeństwem, bankowością, służbą zdrowia, zabezpieczeniem obiektów i przemyśle. W szczególności szkolenie kierujemy do:

    • Pracowników IT zajmujących się cyber bezpieczeństwem, wykrywaniem niebezpiecznego oprogramowania i fraudu
    • Data Scientist zajmujących się wykrywaniem fraudów, oceną ryzyka w bankach, ubezpieczeniach itp.
    • Analityków medycznych zajmujących się diagnozowaniem, radiologią, epidemiologią
    • Pracowników rozwijających oprogramowanie systemów bezpieczeństwa
    • Inżynierów w przemyśle zajmujących się kwestiami jakości produkcji

    Czego się nauczę?

    Po ukończeniu szkolenia:

    • Dowiesz się jak prawidłowo zdefiniować, a następnie wybrać odpowiednie metody do wykrywania anomalii
    • Nauczysz się wykorzystywać środowisko Python wraz z bibliotekami takimi jak pandas, scikit-learn, tensorflow, keras w wykrywaniu zjawisk rzadkich
    • Zrozumiesz istotę działania zaawansowanych metody sztucznej inteligencji stosowane w wykrywaniu zjawisk rzadkich
    • Poznasz najlepsze algorytmy maszynowego uczenia nadzorowane i nienadzorowane oraz sposoby ich odpowiedniej implementacji
    • Dowiesz się jak budować i tuningować algorytmy do wybranego problemu żeby uzyskiwać najlepsze wyniki
    • Poznasz sposoby ewaluacji modeli zarówno w podejściu nadzorowanym i nienadzorowanym
    • Nauczysz się tworzyć głębokie sieci neuronowe z pomocą keras do wykrywania anomalii
    • Poznasz metody Ensemble i dowiesz się jak połączyć różne algorytmy w celu zespołowego inteligentnego wykrywania zjawisk rzadkich
    • Dowiesz się jak wdrożyć algorytmy na produkcje zgodnie ze standardem CRISP-DM
    1. Wprowadzenie do maszynowego i głębokiego uczenia
    • Zalety i ograniczenia AI w analizie danych
    • Przejście do statystycznego do maszynowego uczenia
    • Rodzaje problemów: Supervised, Unsupervised Semi-Supervised i metody ich rozwiązania
    • Główne obszary w których wykorzystywane jest maszynowe uczenie
      • Regresja – Predykcja ciągłej zmiennej
      • Klasyfikacja
      • Segmentacja/Clustering
      • Wykrywanie Anomalii
    • Wybór algorytmu/modelu do danego problemu – Testowanie i Walidacja
    • CRISP-DM Proces eksploracji danych z wykorzystaniem algorytmów maszynowego uczenia
    • Rodzaje danych w maszynowym uczeniu – problemy i wyzwania
      • Dane ustrukturyzowane
      • Dane nieustrukturyzowane
      • Dane z etykietami, bez i częściowymi etykietami – jak to wpływ na wybór algorytmu
    2. Wprowadzenie do detekcji anomalii z perspektywy AI
    • Zacznijmy od zdefiniowania Anomalii
    • Gdzie wykrywamy anomalie – przykłady z różnych obszarów biznesu
    • Dlaczego detekcja anomalii staje się standardem w organizacji – wpływ anomalii na biznes
    • Metody sztucznej inteligencji w wykrywaniu anomalii
      • Metody probabilistyczne
      • Algorytmy stosowane w klasyfikacji
      • Algorytmy bazujące na podobieństwie i gęstości
      • Głębokie sieci neuronowe
      • Metody zespołowe (Ensemble) i łączenie różnych rozwiązań detekcji anomalii
    3. Przygotowanie danych na potrzeby wykrywania anomalii
    • Braki obserwacji – wykrywanie, imputacja, strategie usuwania – najlepsze praktyki i techniki
    • Normalizacja – Standaryzacja, MinMax normalizacja, Normalizacja odporna
    • Zmiana danych jakościowych – Przekodowanie etykiet, One-hot encoding, Embeddings
    4. Algorytmy nadzorowane – techniki walidacji i metryki
    • Interpretowalność vs odtworzenie wzorców trade-off
    • Przeuczenie i Bias – Variance trade-off
    • Podział na zbiór Train, Validation, Test–zapobieganie przeuczeniu w ML
    • Miary jakości klasyfikacji:
      • Accuracy
      • Confusion Matrix
      • ROC curve, AUC
      • Sensitivity and Specificity
      • Precision and Recall, F-measure
      • Matheews Correlation Coefficient
    • Miary jakości prognoz w regresji
      • RMSE, MAPE, MASE
    5. Algorytmy nadzorowane w detekcji anomalii
    • Algorytmy zespołowe
    • SVM
    • Boosting: XGBoost
    • Boosting: z reprezentacją nienadzorowaną XGBOD
    6. Algorytmy nienadzorowane w detekcji anomalii
    • Podejście modelowe
      • One-class Support Vector Machines
      • Deviation-based Outlier Detection
      • Modele regresyjne
    • Algorytmy bazując na odległości i gęstości rozkładu
      • Local Outlier Factor
      • Isolation Forest
      • K Nearest Neighbours
      • Local Correlation Integral
      • Connectivity based outlier factor
      • Mixture density
    • Algorytmy segmentacyjne
      • K-means clustering
      • Agglomerative clustering
      • Agglomerative and divisive methods
      • Density based approach
      • Fuzzy clustering
    • Metody Probabilistyczne
      • Fast Angle based algorithm
      • Stochastic outlier selection
    7. Algorytmy wykrywania anomalii w szeregach czasowych
    • Identyfikacja Anomalii w szeregu czasowym
    • Detekcja odstającej sekwencji
    • MUASD
    • SAXFR
    • Wykrywanie obserwacji odstającej w wielu szeregach czasowych
    8. Problem niezbilansowanych danych w klasyfikacji – rozwiązania problemu
    • Undersampling
    • Oversampling
    • SMOTE
    • Sample weighting
    9. Wprowadzenie do głębokiego uczenia(deep learning)
    • Przegląd architektur głębokich sieci neuronowych
    • Treningowanie głębokich sieci neuronowych
    • Parametry kontrolujące i sterujące sieciami
    • Funkcja straty, aktywująca, optymalizatory
    • Tuningowanie parametrów
    10. Autoencoder
    • Architektura sieci Autoencoder, encoder, decoder, latent representation
    • Inicjalizacja, funkcje aktywujące, strata
    • Błąd odtworzenia, punktacja outlierów
    • Klasyfikacja anomalii
    11. Variational Autoencoder
    • Latent distribution
    • Variational inference
    • Kullback – Leibler divergence
    • Reparametryzacja
    12. Generative Adversarial Active Learning
    • Idea Adversarial Feature Learning
    • Architektura sieci GAN: Generator, Discriminator Network,
    • Parametryzacja – strata
    • Architektury sieci GAN w detekcji anomalii
    13. Averaging outlier scores
    14. Feature Bootstrap Aggregating
    15. Average of Maximum
    16. Majority Voting