SVM Kernel Selection for Categorization of Images Described by the Bag of Visual Words

• Autorzy: Przemysław Górecki , Krzysztof Sopyła , Paweł Drozda

Warianty tytułu

Wybór funkcji jądra w kategoryzacji obrazów reprezentowanych metodą słownika wizualnego

• Języki publikacji: EN

Abstrakty

EN

This paper studies the problem of SVM kernel selection for image categorization domain. In particular, linear, RBF, chi2 , histogram and Cauchy kernels were compared in terms of classification accuracy and performance. The methodology utilizes the Bag of Visual Words approach with the SIFT feature extractors to obtain the key points collection for each considered image, the k-means algorithm for visual dictionary construction and SVM for the classification process. In an experimental session subcategorization of the images depicting objects which belong to the same high level visual category is examined. In particular, the impact of different kernels on accuracy and performance of categorization is evaluated. (original abstract)

Artykuł porusza problem wyboru jądra SVM w problemie kategoryzacji obrazów. W szczególności porównano jądra liniowe, RBF, chi² , histogramowe i Cauchy pod kątem ich wydajności i jakości klasyfikacji. Do reprezentacji obrazów użyto podejścia słownika wizualnego ("Bag of Visual Words"), gdzie punkty kluczowe obrazu zostały otrzymane przy pomocy detektora SIFT. Słownik wizualny został zbudowany poprzez klasteryzację punktów kluczowych algorytmem k-średnich, a sama klasyfikacja obrazów została wykonana w oparciu o klasyfikator SVM. W części doświadczalnej dokonano klasyfikacji zdjęć obiektów należących do podobnych wizualnie kategorii, przy zastosowaniu różnych jąder SVM. Pozwoliło to na wyciągnięcie wniosków dotyczących ich wydajności i przydatności do tego typu klasyfikacji. (abstrakt oryginalny)

Słowa kluczowe

EN

Algorithms; Numeric algorithms

PL

Algorytmy; Algorytmy numeryczne

• Czasopismo: Studia i Materiały Polskiego Stowarzyszenia Zarządzania Wiedzą
• Rocznik: 2012
• Tom: 60
• Strony: 71--82

Twórcy

autor

Przemysław Górecki

• University of Warmia and Mazury, Olsztyn, Poland

autor

Krzysztof Sopyła

• University of Warmia and Mazury, Olsztyn, Poland

autor

Paweł Drozda

• University of Warmia and Mazury, Olsztyn, Poland

Bibliografia

• [1] Bay, H., Tuytelaars, T. and Van Gool, L. Surf: Speeded up robust features. In In ECCV, pp. 404-417, 2006.
• [2] Boser, B. E., Guyon, I. M. and Vapnik, V. N. A training algorithm for optimal margin classifiers. In Proceedings of the fifth annual workshop on Computational learning theory, COLT '92, pp. 144-152, New York, NY, USA, 1992. ACM.
• [3] Chapelle, O., Haffner, P., and Vapnik, V. N. Support vector machines for histogram-based image classification. Neural Networks, IEEE Transactions on, 10(5):pp. 1055-1064, September 1999.
• [4] Csurka, G., Dance, Ch. R., Fan, L., Willamowski, J, and Bray, C. Visual categorization with bags of keypoints. In In Workshop on Statistical Learning in Computer Vision, ECCV, pp. 1- 22, 2004.
• [5] Deselaers, T., Pimenidis, L., and Ney, H. Bag-of-visual-words models for adult image classification and filtering. In ICPR, pages 1-4. IEEE, 2008.
• [6] Fan, R., Chen, P., and Lin, Ch. Working set selection using the second order information for training svm. Journal of machine learning research, 6: pp. 1889-1918, 2005.
• [7] Górecki, P., Artiemjew, P., Drozda, P., and SopyŃa, K. Categorization of Similar Objects using Bag of Visual Words and Support Vector Machines. In Fourth International Conference on Agents and Artificial Intelligence. IEEE, 2012.
• [8] Górecki, P., Sopyla, K., and Drozda, P. Ranking by k-means voting algorithm for similar image retrieval. In Leszek Rutkowski, Marcin Korytkowski, Rafal Scherer, Ryszard Tadeusiewicz, Lotfi A. Zadeh, and Jacek M. Zurada, editors, ICAISC (1), volume 7267 of Lecture Notes in Computer Science, pp. 509-517. Springer, 2012.
• [9] Herbrich, R., Graepel, T., and Obermayer, K. Large margin rank boundaries for ordinal regression. MIT Press, Cambridge, MA, 2000.
• [10] Jiang, Y. G., Ngo, Ch. W., and Yang, J. Towards optimal bag-of-features for object categorization and semantic video retrieval. In Proceedings of the 6th ACM international conference on Image and video retrieval, CIVR '07, pp. 494-501, New York, NY, USA, 2007. ACM.
• [11] Joachims, T. Optimizing search engines using click-through data. In ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), pp. 133-142, 2002.
• [12] Jurie, F. and. Triggs, B. Creating efficient codebooks for visual recognition. In Proceedings of the Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1 - Volume 01, ICCV '05, pp. 604-610, Washington, DC, USA, 2005. IEEE Computer Society.
• [13] Lewis, D. D. Naive (bayes) at forty: The independence assumption in information retrieval. pp. 4-15. Springer Verlag, 1998.
• [14] Lowe, D. G. Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision, 60: pp. 91-110, November 2004.
• [15] Mak, M. W., Guo, J. and Kung, S. Y. Pairprosvm: Protein subcellular localization based on local pairwise profile alignment and svm. IEEE/ACM Trans. Comput. Biol. Bioinformatics, 5(3): pp. 416-422, July 2008.
• [16] Mikolajczyk, K., Leibe, B. and Schiele, B. Local Features for Object Class Recognition. In Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1, pp. 1792- 1799. IEEE, 2005.
• [17] Moosmann, F., Triggs, B. and Jurie, F. Fast discriminative visual codebooks using randomized clustering forests. In In NIPS, 2007.
• [18] Nistér, D. and Stewénius, H. Scalable recognition with a vocabulary tree. In IN CVPR, pp. 2161-2168, 2006.
• [19] Sopyla, K., Drozda, P. and Gorecki, P. Svm with cuda accelerated kernels for big sparse problems. In L. Rutkowski, M. Korytkowski, R. Scherer, R. Tadeusiewicz, L. A. Zadeh, and J. M. Zurada, eds., ICAISC (1),Artificial Intelligence and Soft Computing - 11th International Conference, ICAISC 2012, Zakopane, Poland, April 29-May 3, 2012, Proceedings, Part I, Vol. 7267 of Lecture Notes in Computer Science, pp. 439-447. Springer, 2012.
• [20] Thorsten, J. Text categorization with support vector machines: learning with many relevant features. In C. Nédellec and C. Rouveirol, eds., Proceedings of ECML-98, 10th European Conference on Machine Learning, No. 1398, pp. 137-142. Springer Verlag, Heidelberg, DE, 1998.
• [21] Tuytelaars, T. and Mikolajczyk, K. Local invariant feature detectors: a survey. Found. Trends. Comput. Graph. Vis., 3: pp. 177-280, July 2008.