PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
2014 | vol. 3, t. 302 Multivariate Statistical Analysis. New methods and innovative applications | 161--173
Tytuł artykułu

On Selected Methods for Evaluating Classification Models

Treść / Zawartość
Warianty tytułu
O wybranych metodach oceny modeli klasyfikacyjnych
Języki publikacji
EN
Abstrakty
Tradycyjnym narzędziem oceny jakości modeli klasyfikacyjnych w przypadku zagadnienia klasyfikacji obiektów do dwóch klas jest krzywa ROC oraz wielkość pola pod krzywą (AUC). Wśród nowych, zaproponowanych w ostatnich latach metod oceniających zdolność predykcyjną klasyfikatorów wymienić można tablice reklasyfikacyjne (reclassification tables - Cook, 2008), zaproponowane przez Pencinę et al. (2008) wskaźniki: NRI (Net Reclassification Improvement) i IDI (Integrated Discrimination Improvement) oraz analizę krzywych decyzyjnych (decision curve analysis - Vickers & Elkin, 2006). W artykule zaprezentowano wymienione metody oceny klasyfikatorów a rozważania zilustrowano przykładami zastosowań tych metod w klasyfikacji kredytobiorców. (abstrakt oryginalny)
EN
Traditional measures for assessing the performance of classification models for binary outcomes are the ROC curve and the area under the ROC curve (AUC). Reclassification tables (Cook, 2008), net reclassification improvement (NRI) and integrated discrimination improvement (IDI) (Pencina et al., 2008) or decision - analytic measures with decision curve analysis (Vickers & Elkin, 2006) have been recently proposed for evaluating the predictive ability of classifiers. This paper analyzes the measures mentioned above with some credit taking application. (original abstract)
Twórcy
  • University of Lodz, Poland
Bibliografia
  • Cook N. R. (2008), Statistical Evaluation of Prognostic versus Diagnostic Models: Beyond the ROC Curve, "Clinical Chemistry" 54:1, pp. 17-23.
  • Fawcett T. (2006), An Introduction to ROC analysis, "Pattern Recognition Letters", 27, pp. 861-874.
  • Fielding A. H. (2007), Cluster and Classification Techniques for the Biosciences, Cambridge University Press, Cambridge.
  • Krzanowski W. J., Hand D. J. (2009), ROC Curves for Continuous Data, CRC Press, Boca Raton - London - New York.
  • Kundu S., Aulchenko Y. S., Janssens A. C. J. W., (2011), PredictABEL: an R package for the assessment of risk prediction models, "European Journal of Epidemiology", 2011; 26, pp. 261-264.
  • Peirce C. S. (1884), The Numerical Measure of the Success of Predictions, "Science", Vol. 4, No. 93, pp. 453-454.
  • Pencina M. J., D'Agostino R. B. Sr, D'Agostino R. B. Jr, Vasan R. S. (2008), Evaluating the added predictive ability of a new marker: From area under the ROC curve to reclassification and beyond, "Statistics in Medicine", 27, pp. 157-172.
  • Pencina M. J., D'Agostino R. B. Sr, Steyerberg E. W. (2011), Extensions of net reclassification improvement calculations to measure usefulness of new biomarkers, "Statistics in Medicine", 30, pp. 11-21.
  • Steyerberg E. W., Van Calster B., Pencina M. J. (2011), Performance Measures for Prediction Models and Markers: Evaluation of Predictions and Classifications, "Revista Española de Cardiología", 64(9), pp. 788-794.
  • Steyerberg E. W., Vickers A. J., Cook N. R., Gerds T., Gonen M., Obuchowski N., Pencina M. J., Kattan M. W. (2010), Assessing the Performance of Prediction Models. A Framework for Traditional and Novel Measures, "Epidemiology", Vol. 21, No 1, pp. 128-138.
  • Vickers A. J., Cronin A. M., Elkin E. B., Gonen M. (2008), Extensions to decision curve analysis, a novel method for evaluating diagnostic tests, prediction models and molecular markers, "BMC Medical Informatics and Decision Making", 2008, 8:53.
  • Vickers A. J., Elkin E. B. (2006), Decision curve analysis: a novel method for evaluating prediction models, "Medical Decision Making", 26, pp. 565-574.
  • Youden W. J. (1950), Index for Rating diagnostic Tests, "Cancer", 3, pp. 32-35.
Typ dokumentu
Bibliografia
Identyfikatory
Identyfikator YADDA
bwmeta1.element.ekon-element-000171337095

Zgłoszenie zostało wysłane

Zgłoszenie zostało wysłane

Musisz być zalogowany aby pisać komentarze.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.