Credit Risk Modeling Using Interpreted XGBoost

• Autorzy: Marcin Hernes , Jędrzej Adaszyński , Piotr Tutak

Warianty tytułu

Modelowanie ryzyka kredytowego z wykorzystaniem interpretowalnego algorytmu XGBoost

• Języki publikacji: EN

Abstrakty

EN

Purpose: The aim of the paper is to develop a credit risk assessment model usingb the XGBoost classifier supported by interpretation issues. Design/methodology/approach: The risk modeling is based on Extreme Gradient Boosting (XGBoost) in the research. It is a method used for regression and classification problems. It is based on a sequence of decision trees using a gradient-based optimization method of the loss function to minimize the errors of weak estimators. We use also methods for performing local and global interpretability: ceteris paribus charts, SHAP and feature importance approach. Findings: Based on the research results, it can be concluded that XGBoost achieved higher values of performance metrics than logistic regression, except sensitivity. It means that XGBoost indicated a smaller percentage of all bad client. Results of local interpretability enable a conclusion that in the case of the client in question, the credit decision is positively influenced by credit scores from external suppliers, while it is negatively influenced by minimal external scoring and short seniority. The number of years in the car and higher education are also positive. Such information helps to justify a negative credit decision. Results of global interpretability enable a conclusion that higher values of the traits associated with the z-scores are accompanied by negative Shapley values, which can be interpreted as a negative effect on the explanatory variable. Research limitations/implications: XGBoost, A ceteris paribus plot, SHAP, and feature importance methods can be used to develop a credit risk assessment model including machine learning interpretability. The main limitation of research is to compare the results of XGBoost only to the logistic regression results. Future research should focus on comparing the results of XGBoost to other machine learning methods, including neural networks. Originality/value: One of the key processes in a bank is the credit decision process, which is the evaluation of a client's repayment risk. In the consumer finance sector, the processes are usually largely automated, and increasingly the latest machine learning methods based on neural networks and ensemble learning methods are being used for the purpose. Although machine learning models allow for achieving higher accuracy of credit risk assessment compared to traditional statistical methods, the main problem is the low interpretability of machine learning models. The models often perform as the "black box". However, the interpretation of the results of risk assessment models is very important due to the need to explain to the client the reasons for assessing their credit risk. (original abstract)

Cel: Celem niniejszych badań jest opracowanie modelu oceny ryzyka kredytowego z wykorzystaniem klasyfikatora XGBoost z uwzględnieniem interpretowalności tego modelu. Metodologia: w niniejszych badaniach w celu modelowania ryzyka wykorzystano metodę Extreme Gradient Boosting (XGBoost). Jest to metoda stosowana do problemów regresji i klasyfikacji. Opiera się na sekwencji drzew decyzyjnych wykorzystujących gradientową metodę optymalizacji funkcji straty w celu minimalizacji błędów słabych estymatorów. Wykorzystano również metody umożliwiające dokonanie lokalnych i globalnych interpretacji: wykresy ceteris paribus, SHAP i badanie ważności cech. Wyniki: na podstawie wyników badań można stwierdzić, że XGBoost osiągnął wyższe wartości metryk efektywności niż regresja logistyczna, z wyjątkiem wartości metryki czułości, Oznacza to, że XGBoost wskazał mniejszy odsetek wszystkich złych klientów. Wyniki interpretacji lokalnej pozwalają stwierdzić, że w przypadku klienta na decyzję kredytową pozytywnie wpływają oceny punktowe od zewnętrznych dostawców, liczba lat samochodu oraz wykształcenie wyższe, natomiast negatywnie wpływają niska zewnętrzna ocena scoringowa oraz krótki staż pracy. Taka informacja pozwala na uargumentowanie negatywnej decyzji kredytowej. Wyniki interpretacji globalnej pozwalają wnioskować, że wyższym wartościom cech związanych ze wskaźnikami towarzyszą ujemne wartości Shapleya, co można interpretować jako negatywny efekt wpływu na zmienną objaśniającą. Ograniczenia/implikacje badawcze: metody XGBoost, A ceteris paribus plot, SHAP i feature importance mogą być wykorzystane do opracowania modelu oceny ryzyka kredytowego z uwzględnieniem interpretowalności uczenia maszynowego. Głównym ograniczeniem badań jest porównanie wyników XGBoost jedynie z wynikami regresji logistycznej. Przyszłe badania powinny skupić się na porównaniu wyników XGBoost z innymi metodami uczenia maszynowego, w tym z sieciami neuronowymi. Oryginalność/wartość: jednym z kluczowych procesów realizowanych w bankach, jest proces podej-mowania decyzji dotyczących udzielenia kredytów, czyli ocena ryzyka spłaty zobowiązania przez klienta. W sektorze finansów konsumenckich procesy te są zwykle w dużym stopniu zautomatyzowane, a coraz częściej wykorzystuje się w tym celu najnowsze metody uczenia maszynowego oparte na sieciach neuronowych i metodach uczenia zespołowego. Choć modele uczenia maszynowego pozwalają na osiągnięcie wyższej dokładności oceny ryzyka kredytowego w porównaniu z tradycyjnymi metodami statystycznymi, to głównym problemem jest niska interpretowalność modeli uczenia maszynowego. Modele te często występują jako "black box". Interpretacja wyników modeli oceny ryzyka jest jednak bardzo ważna ze względu na konieczność wyjaśnienia klientowi powodów oceny jego ryzyka kredytowego. (abstrakt oryginalny)

Słowa kluczowe

EN

Credit risk; Credit risk modelling; Machine learning

PL

Ryzyko kredytowe; Modelowanie ryzyka kredytowego; Uczenie maszynowe

• Czasopismo: Problemy Zarządzania
• Rocznik: 2023
• Tom: 21
• Numer: nr 3
• Strony: 46--70

Twórcy

autor

Marcin Hernes

• Wroclaw University of Economics and Business, Poland

autor

Jędrzej Adaszyński

• Wroclaw University of Economics and Business, Poland

autor

Piotr Tutak

• Wroclaw University of Economics and Business, Poland

Bibliografia

• 1. Addo, P.M., Guegan, D., & Hassani, B. (2018). Credit risk analysis using machine and deep learning models. Risks, 6(2), 38. https://doi.org/10.3390/risks6020038
• 2. Akhtar, M., Kraemer, M.U., & Gardner, L.M. (2019). A dynamic neural network model for predicting the risk of Zika in real-time. BMC Medicine, 17(1), 1-16. https://doi.org/10.1186/s12916-019-1389-3
• 3. Alibrahim, H., & Ludwig, S.A. (2021). Hyperparameter optimization: Comparing genetic algorithm against grid search and bayesian optimization. 2021 IEEE Congress on Evolutionary Computation (CEC), 1551-1559, IEEE. https://doi.org/10.1109/CEC45853.2021.9504761
• 4. Altman, E.I. (2018). A fifty-year retrospective on credit risk models, the Altman Z-score family of models and their applications to financial markets and managerial strategies. Journal of Credit Risk, 14(4). https://doi.org/10.21314/JCR.2018.243
• 5. Bazarbash, M. (2019). Fintech in financial inclusion: machine learning applications in assessing credit risk. IMF Working Paper, 19(109). https://doi.org/10.5089/9781498314428.001
• 6. Björkegren, D., & Grissen, D. (2020). Behavior revealed in mobile phone usage predicts credit repayment. The World Bank Economic Review, 34(3), 618-634. https://doi.org/10.1093/wber/lhz006
• 7. Bluhm, C., Overbeck, L., & Wagner, C. (2016). Introduction to credit risk modeling. Chapman and Hall/CRC. https://doi.org/10.1201/9781584889939
• 8. Botari, T., Izbicki, R., & de Carvalho, A.C.P.L.F. (2020). Local interpretation methods to machine learning using the domain of the feature space. In P. Cellier, K. Driessens (Eds), Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2019. Communications in Computer and Information Science (vol 1167, p. 241-252). Springer International Publishing. https://doi.org/10.1007/978-3-030-43823-4_21
• 9. Chen, T., & Guestrin, C. (2016, August). Xgboost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 785-794). https://doi.org/10.1145/2939672.2939785
• 10. Di Cicco, V., Firmani, D., Koudas, N., Merialdo, P., & Srivastava, D. (2019). Interpreting deep learning models for entity resolution: an experience report using LIME. In Proceedings of the Second International Workshop on Exploiting Artificial Intelligence Techniques for Data Management (pp. 1-4). https://doi.org/10.1145/3329859.3329878
• 11. Du, M., Liu, N., & Hu, X. (2019). Techniques for interpretable machine learning. Communications of the ACM, 63(1), 68-77. https://doi.org/10.1145/3359786
• 12. Duffie, D., & Singleton, K.J. (2012). Credit risk. In Credit Risk. Princeton University Press. https://doi.org/10.2307/j.ctv30pnvpg.17
• 13. Falconieri, N., Van Calster, B., Timmerman, D., & Wynants, L. (2020). Developing risk models for multicenter data using standard logistic regression produced suboptimal predictions: a simulation study. Biometrical Journal, 62(4), 932-944. https://doi. org/10.1002/bimj.201900075
• 14. Givari, M.R., Sulaeman, M.R., & Umaidah, Y. (2022). Perbandingan Algoritma SVM, Random Forest Dan XGBoost Untuk Penentuan Persetujuan Pengajuan Kredit. Nuansa Informatika, 16(1), 141-149. https://doi.org/10.25134/nuansa.v16i1.5406
• 15. Goel, A., & Rastogi, S. (2023). Credit scoring of small and medium enterprises: a behavioural approach. Journal of Entrepreneurship in Emerging Economies, 15(1), 46-69. https://doi.org/10.1108/JEEE-03-2021-0093
• 16. Harris, T. (2013). Quantitative credit risk assessment using support vector machines: Broad versus Narrow default definitions. Expert Systems with Applications, 40(11), 4404-4413. https://doi.org/10.1016/j.eswa.2013.01.044
• 17. Kou, G., Peng, Y., & Wang, G. (2014). Evaluation of clustering algorithms for financial risk analysis using MCDM methods. Information Sciences, 275, 1-12. https://doi.org/10.1016/j.ins.2014.02.137
• 18. Kuźba, M., Baranowska, E., & Biecek, P. (2019). pyCeterisParibus: explaining machine learning models with ceteris paribus profiles in Python. Journal of Open Source Software, 4(37), 1389. https://doi.org/10.21105/joss.01389
• 19. Kuziak, K., & Piontek, K. (2022). Assessment of the Systemic Risk in the German Banking Industry. In T. Klein, S. Loßagk, M. Straßberger, Th. Walther (Eds.), Modern Finance and Risk Management: Festschrift in Honour of Hermann Locarek-Junge (pp. 313-332). World Scientific Publishing Company. https://doi.org/10.1142/9781800611917_0014
• 20. Li, J., Liu, H., Yang, Z., & Han, L. (2021). A credit risk model with small sample data based on G-XGBoost. Applied Artificial Intelligence, 35(15), 1550-1566. https://doi.org/10.1080/08839514.2021.1987707
• 21. Louzada, F., Ara, A., & Fernandes, G.B. (2016). Classification methods applied to credit scoring: Systematic review and overall comparison. Surveys in Operations Research and Management Science, 21(2), 117-134. https://doi.org/10.1016/j.sorms.2016.10.001
• 22. Metawa, N., Hassan, M.K., & Elhoseny, M. (2017). Genetic algorithm based model for optimizing bank lending decisions. Expert Systems with Applications, 80, 75-82. https://doi.org/10.1016/j.eswa.2017.03.021
• 23. Molnar, C., König, G., Herbinger, J., Freiesleben, T., Dandl, S., Scholbeck, C.A., Casalicchio, G., Grosse-Wentrup, M., & Bischl, B. (2022). General pitfalls of modelagnostic interpretation methods for machine learning models. In A. Holzinger, R. Goebel, R. Fong, T. Moon, K.R. Müller, W. Samek, W. (Eds.), xxAI - Beyond Explainable AI. xxAI 2020. Lecture Notes in Computer Science(), vol 13200. Springer, Cham. https://doi.org/10.1007/978-3-031-04083-2_4
• 24. Mvula Chijoriga, M. (2011). Application of multiple discriminant analysis (MDA) as a credit scoring and risk assessment model. International Journal of Emerging Markets, 6(2), 132-147. https://doi.org/10.1108/17468801111119498
• 25. Nielsen, D. (2016). Tree Boosting with XGBoost. Tree boosting with XGBoost. Norwegian University of Science and Technology.
• 26. Siddiqi, N. (2017). Intelligent credit scoring: Building and implementing better credit risk scorecards. John Wiley & Sons. https://doi.org/10.1002/9781119282396
• 27. Silva, S.J., Keller, C.A., & Hardin, J. (2022). Using an Explainable Machine Learning Approach to Characterize Earth System Model Errors: Application of SHAP Analysis to Modeling Lightning Flash Occurrence. Journal of Advances in Modeling Earth Systems, 14(4), e2021MS002881. https://doi.org/10.1029/2021MS002881
• 28. Sundararajan, M., Taly, A., & Yan, Q. (2017). Axiomatic attribution for deep networks. Proceedings of the 34th International Conference on Machine Learning. Proceedings of Machine Learning Research, 70, 3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html.
• 29. Yeh, C.C., Lin, F., & Hsu, C.Y. (2012). A hybrid KMV model, random forests and rough set theory approach for credit rating. Knowledge-Based Systems, 33, 166-172. https://doi.org/10.1016/j.knosys.2012.04.004
• 30. Zhou, X., Cheng, S., Zhu, M., Guo, C., Zhou, S., Xu, P., Xue, Z., & Zhang, W. (2018). A state of the art survey of data mining-based fraud detection and credit scoring. MATEC Web of Conferences, 189(3), 03002. https://doi.org/10.1051/matecconf/201818903002

Identyfikatory

DOI

10.7172/2956-7602.101.3