On Selected Methods for Evaluating Classification Models

• Autorzy: Małgorzata Misztal

Warianty tytułu

O wybranych metodach oceny modeli klasyfikacyjnych

• Języki publikacji: EN

Abstrakty

EN

Traditional measures for assessing the performance of classification models for binary outcomes are the ROC curve and the area under the ROC curve (AUC). Reclassification tables (Cook, 2008), net reclassification improvement (NRI) and integrated discrimination improvement (IDI) (Pencina et al., 2008) or decision - analytic measures with decision curve analysis (Vickers & Elkin, 2006) have been recently proposed for evaluating the predictive ability of classifiers. This paper analyzes the measures mentioned above with some credit taking application. (original abstract)

Tradycyjnym narzędziem oceny jakości modeli klasyfikacyjnych w przypadku zagadnienia klasyfikacji obiektów do dwóch klas jest krzywa ROC oraz wielkość pola pod krzywą (AUC). Wśród nowych, zaproponowanych w ostatnich latach metod oceniających zdolność predykcyjną klasyfikatorów wymienić można tablice reklasyfikacyjne (reclassification tables - Cook, 2008), zaproponowane przez Pencinę et al. (2008) wskaźniki: NRI (Net Reclassification Improvement) i IDI (Integrated Discrimination Improvement) oraz analizę krzywych decyzyjnych (decision curve analysis - Vickers & Elkin, 2006). W artykule zaprezentowano wymienione metody oceny klasyfikatorów a rozważania zilustrowano przykładami zastosowań tych metod w klasyfikacji kredytobiorców. (abstrakt oryginalny)

Słowa kluczowe

EN

Classification methods; Classification of loans

PL

Metody klasyfikacyjne; Klasyfikacja kredytów

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2014
• Numer: vol. 3, t. 302 Multivariate Statistical Analysis. New methods and innovative applications
• Strony: 161--173

Twórcy

autor

Małgorzata Misztal

• University of Lodz, Poland

Bibliografia

• Cook N. R. (2008), Statistical Evaluation of Prognostic versus Diagnostic Models: Beyond the ROC Curve, "Clinical Chemistry" 54:1, pp. 17-23.
• Fawcett T. (2006), An Introduction to ROC analysis, "Pattern Recognition Letters", 27, pp. 861-874.
• Fielding A. H. (2007), Cluster and Classification Techniques for the Biosciences, Cambridge University Press, Cambridge.
• Krzanowski W. J., Hand D. J. (2009), ROC Curves for Continuous Data, CRC Press, Boca Raton - London - New York.
• Kundu S., Aulchenko Y. S., Janssens A. C. J. W., (2011), PredictABEL: an R package for the assessment of risk prediction models, "European Journal of Epidemiology", 2011; 26, pp. 261-264.
• Peirce C. S. (1884), The Numerical Measure of the Success of Predictions, "Science", Vol. 4, No. 93, pp. 453-454.
• Pencina M. J., D'Agostino R. B. Sr, D'Agostino R. B. Jr, Vasan R. S. (2008), Evaluating the added predictive ability of a new marker: From area under the ROC curve to reclassification and beyond, "Statistics in Medicine", 27, pp. 157-172.
• Pencina M. J., D'Agostino R. B. Sr, Steyerberg E. W. (2011), Extensions of net reclassification improvement calculations to measure usefulness of new biomarkers, "Statistics in Medicine", 30, pp. 11-21.
• Steyerberg E. W., Van Calster B., Pencina M. J. (2011), Performance Measures for Prediction Models and Markers: Evaluation of Predictions and Classifications, "Revista Española de Cardiología", 64(9), pp. 788-794.
• Steyerberg E. W., Vickers A. J., Cook N. R., Gerds T., Gonen M., Obuchowski N., Pencina M. J., Kattan M. W. (2010), Assessing the Performance of Prediction Models. A Framework for Traditional and Novel Measures, "Epidemiology", Vol. 21, No 1, pp. 128-138.
• Vickers A. J., Cronin A. M., Elkin E. B., Gonen M. (2008), Extensions to decision curve analysis, a novel method for evaluating diagnostic tests, prediction models and molecular markers, "BMC Medical Informatics and Decision Making", 2008, 8:53.
• Vickers A. J., Elkin E. B. (2006), Decision curve analysis: a novel method for evaluating prediction models, "Medical Decision Making", 26, pp. 565-574.
• Youden W. J. (1950), Index for Rating diagnostic Tests, "Cancer", 3, pp. 32-35.