Liniowy model prawdopodobieństwa z regularyzacją jako metoda doboru zmiennych

• Autorzy: Mariusz Kubus

Warianty tytułu

Regularized Linear Probability Model as a Filter

• Języki publikacji: PL

Abstrakty

W artykule zaproponowano zastosowanie liniowego modelu prawdopodobieństwa z regularyzacją jako narzędzia doboru zmiennych przed regresją logistyczną. W etapie selekcji zmiennych dodatkowo stosowano sprawdzanie krzyżowe. Takie podejście zapewnia skuteczniejszą eliminację zmiennych nieistotnych od powszechnie stosowanej regularyzowanej regresji logistycznej, a błędy klasyfikacji porównywanych metod nie różnią się w sposób statystycznie istotny. W badaniach empirycznych wykorzystano zbiory z repozytorium Uniwersytetu Kalifornijskiego, a sztucznie wprowadzane zmienne nieistotne generowano z rozkładów zero-jedynkowego lub normalnego.(abstrakt oryginalny)

EN

The application of regularized linear probability model as a filter which precedes the logistic regression is proposed in this paper. Additionally the cross-validation is applied in the feature selection stage. Such an approach guaranties more efficient elimination of the irrelevant variables than commonly used regularized logistic regression and classification errors of compared methods do not differ significantly. The datasets from UCI Repository were used in empirical study and noisy variables were generated from Bernoulli or normal distributions.(original abstract)

Słowa kluczowe

PL

Dobór zmiennych; Bazy danych

EN

Variables selection; Databases

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2013
• Tom: 21
• Numer: nr 279 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 201--208

Twórcy

autor

Mariusz Kubus

• Politechnika Opolska

Bibliografia

• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least angle regression, ,,Annals of Statistics" 32(2), s. 407-499.
• Frank A., Asuncion A. (2010), UCI Machine Learning Repository, Irvine, CA: University of California, School of Information and Computer Science [http://archive.ics.uci.edu/ml].
• Friedman J., Hastie T., Tibshirani R. (2010), Regularization paths for generalized linear models via coordinate descent, ,,Journal of Statistical Software", 33(1), s. 1-22.
• Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applications. Springer, New York.
• Hoerl A.E., Kennard R. (1970), Ridge regression: biased estimation for nonorthogonal problems, ,,Technometrics" 12, s. 55-67.
• Kubus M. (2011), On model selection in some regularized linear regression methods, XXX Konferencja Wielowymiarowa Analiza Statystyczna, Łódź (w druku).
• Lee S., Lee H., Abbeel P., Ng A.Y. (2006), Efficient L1 regularized logistic regression, In 21th National Conference on Artificial Intelligence (AAAI), s. 401-407.
• Tibshirani R. (1996), Regression shrinkage and selection via the lasso, ,,J.Royal. Statist. Soc. B." 58, s. 267-288.
• Yuan G., Ho C., Lin C. (2012), An improved GLMNET for L1-regularized logistic regression, ,,Journal of Machine Learning Research" 13, s.1999-2030.
• Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, ,,Journal of the Royal Statistical Society" Series B. 67(2): s. 301-320.