Methods of Classification Error Decompositions and Their Properties

• Autorzy: Dorota Rozmus

Warianty tytułu

Analiza własności metod dekompozycji błędu klasyfikacji

• Języki publikacji: EN

Abstrakty

EN

The idea of error decomposition originates in regression where squared loss function is applied. More recently, several authors have proposed corresponding decompositions for classification problem, where 0-1 loss is used. The paper presents the analysis of some properties of recently developed decompositions for 0-1 loss. (original abstract)

Pojęcie dekompozycji błędu wywodzi się z regresji, gdzie stosuje się kwadratową funkcję straty. Mając dany obiekt x, dla którego prawdziwa wartość zmiennej objaśnianej wynosi y, algorytm uczący, na podstawie każdego podzbioru uczącego ze zbioru prób uczących Z, przewiduje dla tego obiektu wartość ŷ. Błąd predykcji można poddać wtedy następującej dekompozycji: E_z{E_y[(y -ŷ)²]} = N(x)+ B(x) + V(x). Błąd resztowy (N(x)) jest elementem składowym błędu, który nie podlega redukcji i który jest niezależny od algorytmu uczącego. Stanowi hipotetyczną dolną granicę błędu predykcji. Obciążeniem algorytmu uczącego dla obiektu x (B(x)), nazywamy błąd systematyczny spowodowany różnicą między predykcją, otrzymaną na podstawie modelu optymalnego (y_*), a predykcją na podstawie modelu zagregowanego (y_m), gdzie y_* i y_m definiowane są jako y_* = Е_y[у], y_m = E_z[ŷ]. Wariancja dla obiektu x (D²(x)) to przeciętny błąd wynikający z różnicy między predykcją na podstawie modelu zagregowanego (y_m) a predykcją uzyskaną na podstawie pojedynczych modeli (ŷ). W literaturze pojawiły się także liczne koncepcje przeniesienia idei dekompozycji do zagadnienia klasyfikacji. Celem artykułu jest analiza własności różnych sposobów dekompozycji błędu przy zastosowaniu zero-jedynkowej funkcji straty. (abstrakt oryginalny)

Słowa kluczowe

EN

Classification error; Algorithms; Classification methods

PL

Błąd klasyfikacji; Algorytmy; Metody klasyfikacyjne

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2007
• Tom: 206 Methods of Multivariate Statistical Analysis and Their Applications
• Strony: 221--233

Twórcy

autor

Dorota Rozmus

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Blake С., Keogh E., Merz C. J. (1998), UCI Repository of Machine Learning Databases. Department of Information and Computer Science, University of California, Irvine.
• Breiman L. (1996), Arcing classifiers. Technical Report, Department of Statistics, University of California, California.
• Breiman L. (2000), Randomizing outputs to increase prediction accuracy, "Machine Learning", 40, 3, 229-242.
• Domingos P. (2000), A unified bias-variance decomposition for zero-one and squared loss, "Proceedings of the Seventeenth National Conference on Artificial Intelligence", AAAI Press, Austin, 564-569.
• Geman S., Bienenstock E., Doursat R. (1992), Neural networks and the bias/variance dilemma, "Neural Computation", 4, 1-58.
• Kohavi R., Wolpert D. H. (1995), Bias plus variance decomposition for zero-one loss functions, "Proceedings of the Twelfth International Conference on Machine Learnig", Morgan Kaufmann, Tahoe City, 275-283.
• Kong E. В., Dietterich T. G. (1995), Error-correcting output coding corrects bias and variance, "Proceedings of the Thirteenth International Conference on Machine Learnig", Morgan Kaufmann, 313-321.
• Tibshirani R. (1996), Bias, variance and prediction error for classification rules, Technical Report, Department of Statistics, University of Toronto, Toronto.