Interpretacja modeli jest bardzo szybko rozwijającą się gałęzią uczenia maszynowego. Jest niezwykle ważna dla analityków danych oraz osób podejmujących decyzje biznesowe. Szkolenie interpretacja modeli machine learning ułatwi zrozumienie dowolnego modelu i wyjaśnienie skąd biorą się decyzje modelu. Na szkoleniu zaprezentujemy najnowocześniejsze metody i techniki pozwalające wyjaśnić model. Szkolenie zaczyna się od teoretycznego wprowadzenia. Następnie korzystając z bibliotek Pythona uczestnicy poznają modele i algorytmy interpretowalne bezpośrednio. Uczestnicy dowiedzą się jak stworzyć klasyfikatory, które dostarczają możliwe do zweryfikowania wyjaśnienia, gdzie i w jaki sposób systemy sztucznej inteligencji podejmują decyzje, zachowają wysoki poziom wydajności uczenia się wraz z możliwością wyjaśnienia wygenerowanych danych. Na szkoleniu przedstawimy jak zbudować przejrzyste/transparentne modele, często na bazie wiedzy wydobytej z modeli złożonych często określanych jako czarne skrzynki. W końcowej części szkolenia zostaną zaprezentowane metody wykorzystywane do interpretacji modeli w sieciach typu Deep learning.

Szkolenie przeznaczone jest dla osób, które chcą poznać narzędzia ułatwiające interpretację modeli machine learning. Wykorzystując zdobytą wiedzę w praktyce będziesz potrafił zrozumieć dowolny model.

• Nauczysz się klasyfikować metody wykorzystywane do interpretacji modeli ML
• Dowiesz się co dają nam metody interpretacji modeli
• Poznasz skalę interpretowalności modeli
• Zobaczysz w jaki sposób ocenić wpływ zmiennych w ujęciu globalnym i lokalnym
• Nauczysz się interpretować modele w sieciach typu Deep learning
• Poznasz modele i algorytmy interpretowalne bezpośrednio

1. Interpretowalność modeli ML – wprowadzenie teoretyczne

• Definicja interpretowalności i wyjaśnialności modeli ML
• Motywacja i wyzwania
  • Wymóg interpretowalności wyników modelu – What?
  • Implikacje decyzji podejmowanych za pomocą modeli – Why?
  • Społeczny wymiar i postulaty ML
  • Regulacje
  • FAT ML – Fairness, Accountability and Transparence in ML
• Klasyfikacja metod wykorzystywanych do interpretacji modeli ML
  • Pre-model vs In-Model vs Post-Model
  • Intrinsic vs Post Hoc
  • Model-Specific vs Model Agnostic
• Wyniki metod interpretacji – Co dają nam metody interpretacji modeli
  • Feature summary – statystyki opisowe dla zmiennych
  • Model Internals – wewnętrzna interpretacja modeli
  • Data Point – Wyjaśnienie przez poszczególne obserwacje
  • Surrogate – interpretacja przez dodatkowe wyjaśnialne modele
• Skala interpretowalności modeli
  • Transparentnośc algorytmu – jak się uczy algorytm?
  • Globalna interpretowalność modelu
  • Lokalna interpretowalność modelu
• Przegląd interpretowalnych modeli i metody interpretacji
  • Interpretowalne modele – liniowość, monotoniczność, interakcja
  • Metody specyficzne dla wybranych modeli
  • Metody agnostyczne na poziomie modeli
• Ewaluacja interpretowalności
  • Kryteria wyjaśnialności modelu
  • Jakościowe indykatory interpretowalności
  • Ilościowe indykatory interpretowalności

2. Przegląd bibliotek Python wykorzystywanych w interpretacji modeli ML

3. Modele i algorytmy interpretowalne bezpośrednio

• Modele regresyjne – liniowe, logistyczne, GLM, GAM
• Algorytmy Drzew Decyzyjnych – drzewa, reguły, Rulefit
• K-NN
• Naive Bayes
• Zalety i wady algorytmów interpretowalnych

4. Ewaluacja kontrybucji i interakcji predyktorów na wynik

• Mean decrease Impurity – tree based model
• Permutation importance/Mean decrease accuracy – any model
• Feature contributions – eli5, treeinterpreter
• Joint Feature Contributions – only tree based algorithms
• Feature Interaction – Friedman H-statistic
• Break down plots
• What-if plots

5. Ocena wpływu zmiennych w ujęciu globalnym(wszystkie obserwacje)

• Partial Dependence Plot
• Accumulated Local Effects
• Omówienie metody budowy wykresów
• Przykład zastosowania
• Zalety i ograniczenia

6. Ocena wpływu zmiennej w ujęciu lokalnym(per obserwacja)

• Individual Conditional Expectation
• Omówienie metody budowy wykresu
• Przykład zastosowania
• Zalety i ograniczenia

7. Zastępcze modele(Surrogate models) wyjaśniające predykcje w ujęciu lokalnym (local variable importance)

• LIME
• Anchors
• LOCO
• Treeinterpreter
• Shapley values
• TreeSHAP
• Omówienie metod i konstrukcji interpretacji
• Przykłady zastosowania
• Zalety i ograniczenia

8. Interpretacja modelu na bazie wyselekcjonowanych przykładów

• Counterfactual Instances
• Counterfactual Instances Guided by Prototypes
• Contrastive explanation method – Foil trees
• Omówienie metod i konstrukcji interpretacji
• Przykłady zastosowania
• Zalety i ograniczenia

9. Interpretacja w sieciach typu Deep learning

• Gradient based attribution:
  • Feature Visualization
  • Integrated gradients
  • Saliency Maps
  • DeepLift
• Perturbation based attribution
  • Occlusion
  • Shapley value sampling
• Concept Activation Vectors
• Omówienie metod i konstrukcji interpretacji
• Przykłady zastosowania
• Zalety i ograniczenia