1. Interpretowalność modeli ML – wprowadzenie teoretyczne
- Definicja interpretowalności i wyjaśnialności modeli ML
- Motywacja i wyzwania
- Wymóg interpretowalności wyników modelu – What?
- Implikacje decyzji podejmowanych za pomocą modeli – Why?
- Społeczny wymiar i postulaty ML
- Regulacje
- FAT ML – Fairness, Accountability and Transparence in ML
- Klasyfikacja metod wykorzystywanych do interpretacji modeli ML
- Pre-model vs In-Model vs Post-Model
- Intrinsic vs Post Hoc
- Model-Specific vs Model Agnostic
- Wyniki metod interpretacji – Co dają nam metody interpretacji modeli
- Feature summary – statystyki opisowe dla zmiennych
- Model Internals – wewnętrzna interpretacja modeli
- Data Point – Wyjaśnienie przez poszczególne obserwacje
- Surrogate – interpretacja przez dodatkowe wyjaśnialne modele
- Skala interpretowalności modeli
- Transparentnośc algorytmu – jak się uczy algorytm?
- Globalna interpretowalność modelu
- Lokalna interpretowalność modelu
- Przegląd interpretowalnych modeli i metody interpretacji
- Interpretowalne modele – liniowość, monotoniczność, interakcja
- Metody specyficzne dla wybranych modeli
- Metody agnostyczne na poziomie modeli
- Ewaluacja interpretowalności
- Kryteria wyjaśnialności modelu
- Jakościowe indykatory interpretowalności
- Ilościowe indykatory interpretowalności
2. Przegląd bibliotek Python wykorzystywanych w interpretacji modeli ML
3. Modele i algorytmy interpretowalne bezpośrednio
- Modele regresyjne – liniowe, logistyczne, GLM, GAM
- Algorytmy Drzew Decyzyjnych – drzewa, reguły, Rulefit
- K-NN
- Naive Bayes
- Zalety i wady algorytmów interpretowalnych
4. Ewaluacja kontrybucji i interakcji predyktorów na wynik
- Mean decrease Impurity – tree based model
- Permutation importance/Mean decrease accuracy – any model
- Feature contributions – eli5, treeinterpreter
- Joint Feature Contributions – only tree based algorithms
- Feature Interaction – Friedman H-statistic
- Break down plots
- What-if plots
5. Ocena wpływu zmiennych w ujęciu globalnym(wszystkie obserwacje)
- Partial Dependence Plot
- Accumulated Local Effects
- Omówienie metody budowy wykresów
- Przykład zastosowania
- Zalety i ograniczenia
6. Ocena wpływu zmiennej w ujęciu lokalnym(per obserwacja)
- Individual Conditional Expectation
- Omówienie metody budowy wykresu
- Przykład zastosowania
- Zalety i ograniczenia
7. Zastępcze modele(Surrogate models) wyjaśniające predykcje w ujęciu lokalnym (local variable importance)
- LIME
- Anchors
- LOCO
- Treeinterpreter
- Shapley values
- TreeSHAP
- Omówienie metod i konstrukcji interpretacji
- Przykłady zastosowania
- Zalety i ograniczenia
8. Interpretacja modelu na bazie wyselekcjonowanych przykładów
- Counterfactual Instances
- Counterfactual Instances Guided by Prototypes
- Contrastive explanation method – Foil trees
- Omówienie metod i konstrukcji interpretacji
- Przykłady zastosowania
- Zalety i ograniczenia
9. Interpretacja w sieciach typu Deep learning
- Gradient based attribution:
- Feature Visualization
- Integrated gradients
- Saliency Maps
- DeepLift
- Perturbation based attribution
- Occlusion
- Shapley value sampling
- Concept Activation Vectors
- Omówienie metod i konstrukcji interpretacji
- Przykłady zastosowania
- Zalety i ograniczenia