Graficzna forma kwestionariusza w badaniach AHP/ANP

• Autorzy: Anna Prusak , Piotr Stefanów , Magdalena Gardian

Warianty tytułu

Graphic Form of Questionnaire in AHP/ANP Research

• Języki publikacji: PL

Abstrakty

AHP, czyli Analityczny Proces Hierarchiczny oraz jej rozszerzenie ANP, czyli Analityczny Proces Sieciowy to jedne z najbardziej znanych w świecie wielokryterialnych metod wspomagania decyzji. Gromadzenie danych w metodach AHP/ANP polega na dokonaniu przez eksperta porównań parami między sobą wszystkich elementów modelu hierarchicznego bądź sieciowego. Celem artykułu jest weryfikacja tezy, że wysoka wartość współczynnika CR (ang. Consistency Ratio) w badaniach AHP/ANP, wskazującego na brak logiczności (zgodności) wyników, jest związana z brakiem symetrii osądów wynikającego z niewłaściwie zaprojektowanego kwestionariusza. Zaprojektowano eksperyment, którego celem było sprawdzenie, czy frakcja odpowiedzi powyżej i poniżej wartości środkowej jest probabilistycznie jednakowa, a jeśli nie, to czy miało to wpływ na wysoką wartość współczynnika CR. Postawiona hipoteza stanowi, że frakcja, obliczana jako iloraz odpowiedzi powyżej wartości środkowej do odpowiedzi leżących powyżej i poniżej wartości środkowej, powinna wynosić w przybliżeniu Do weryfikacji hipotezy o symetrycznym rozkładzie odpowiedzi wykorzystano test serii. W kilku badaniach, w których przeprowadzono w sumie 8434 porównań, wzięło udział ponad 400 respondentów poproszonych o ocenę różnych obiektów. Kolejność porównywanych obiektów oraz liczba kryteriów oceny była różna i ułożona losowo. Do eksperymentu wykorzystano 9-stopniową, dwubiegunową skalę werbalną w formie pionowej tabelarycznej. W prawie każdym przypadku uzyskano wynik wskazujący, że symetria odpowiedzi została zachowana. Stąd też można uznać, że ankieta została zaprojektowana w sposób właściwy, a źródła wysokiego poziomu niezgodności należy szukać gdzie indziej. Przedstawiony sposób weryfikacji kwestionariusza ankiety nie dotyczy tylko metody AHP/ANP, a zaniechanie sprawdzenia "jakości" kwestionariusza może prowadzić do sytuacji, w której uzyskane wyniki będą obarczone błędami. (abstrakt oryginalny)

EN

Analytic Hierarchy Process (AHP) and its extension, Analytic Network Process (ANP) are the most popular multi-criteria decision support methods. Data collection is based on pairwise comparisons of the elements of hierarchical or network models and must be made by the experts. The objective of this paper is to verify a thesis that high Consistency Ratio (CR) in the AHP/ANP methods, which indicates inconsistency (lack of logic) of the results, stems from the lack of symmetry of judgments in the wrongly designed questionnaire. The experiments were designed to test whether fraction of responses below and above the midpoint is probabilistically the same, and if not, whether it influences the value of CR. The hypothesis states that the fraction (quotient of responses below and above the scale midpoint) should be approximately The series test was used to verify this hypothesis. The research consisted of several experiments involving 8434 comparisons and over 400 respondents asked to evaluate different objects. The order and criteria of evaluation were different and random. The experiments used a 9-point, bipolar verbal and vertical scale in tabular form. In almost each case the results indicated symmetry of the responses. Hence, it can be said that the questionnaire was designed properly, and the source of high inconsistency is somewhere else. The proposed way of the questionnaire verification can be applied also in other methods. The results may also indicate that failure in controlling the "quality" of the questionnaire leads to the biases of final results. (original abstract)

Słowa kluczowe

PL

Analityczny proces hierarchiczny; Analityczny proces sieciowy; Kwestionariusze; Badania ankietowe

EN

Analytic Hierarchy Process (AHP); Analytic Network Process (ANP); Questionnaire; Questionnaire survey

• Czasopismo: Modern Management Review
• Rocznik: 2013
• Tom: 18 (XVIII)
• Numer: nr 20 (4)
• Strony: 171--189

Twórcy

autor

Anna Prusak

• Uniwersytet Ekonomiczny w Krakowie

autor

Piotr Stefanów

• Krakowska Akademia im. Andrzeja Frycza Modrzewskiego w Krakowie

autor

Magdalena Gardian

Bibliografia

• Alonso J.A. i Lamata M.T.: A Statistical Criterion of Consistency in the Analytic Hierarchy Process, 2005. w:] Torra, V. i in. (Wyd.), MDAI 2005, 67-76, Springer-Verlag Berlin Heidelberg.
• Babbie E.: Badania społeczne w praktyce, Wydawnictwo Naukowe PWN, Warszawa 2004.
• Bradburn N., Sudman S. i Wansink B.: Asking questions: the definitive guide to questionnaire design, Jossey-Bass, San Francisco 2004.
• Costa J.F., Wanderley A.J.M. i Cosenza C.A.N.: A proposition to solve inconsistency problem in decision matrices using genetic algorithms, "3rd International Conference on Production Research - Americas' Region 2006" (ICPR-AM06).
• Dillman D.: Constructing the questionnaire. Mail and internet surveys, John Wiley & Sons, New York 2000.
• Fanning E.: Formatting a Paper-based Survey Questionnaire: Best Practices., "Practical Assessment Research & Evaluation", 10(12), 2005, s. 1-14.
• Ishizaka H. i Labib A.: Analytic Hierarchy Process and Expert Choice: Benefits and Limitations, "ORInsight", 22(4), 2009, s. 201-220.
• Joshi R., Banwet D.K. i Shankar R.: A Delphi-AHP-TOPSIS based benchmarking framework for performance improvement of a cold chain, "Expert Systems with Applications", 38(8), 2011, s. 10170-10182.
• Goryl A., Jędrzejczyk Z., Kukuła K., Osiewalski J. i Walkosz A.: Wprowadzenie do ekonometrii w przykładach i zadaniach, pod red. Kukuły K., Wydawnictwo Naukowe PWN, Warszawa 2007.
• Lee S. i Walsh P.: SWOT and AHP hybrid model for sport marketing outsourcing using a case of intercollegiate sport, "Sport Management Review", 14(4), 2011, s. 361-369.
• Miller D.: The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information, "The Psychological Review", 63, 1956, s. 81-97.
• Prusak A. i Stefanów P.: Badania nad właściwościami operacyjnymi metody AHP, "Folia Oeconomica Cracoviensia", 52, 2011, s. 87-104.
• Redline C. i Dillman D.: The influence of alternative visual designs on respondents' performance with branching instructions in self-administered questionnaires, [w:] Groves R., Dillman D., Eltinge, J. i Little R. (Wyd.), "Survey Nonresponse", Wiley, New York 2002.
• Saaty T.L. i Ozdemir M.: Why the magic number seven plus or minus two, "Mathematical and Computer Modelling", 38, 2003, s. 233-244.
• Saaty T.L. i Peniwati K.: Group Decision Making: Drawing out and Reconcilling Differences, RWS Publications, Pittsburgh, USA 2008.
• Saaty T.L. I Vargas L.G.:, The Logic of Priorities, Kluwer Nijhoff Publishing, Massachusetts 1982.
• Saaty T.L.: Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy Process, RWS Publications, Pitssburgh 1994.
• Saaty T.L.: Decision Making for Leaders: The Analytical Hierarchy Process for Decisions in a Complex World, "The Analytical Hierarchy Process Series", 2, 1996, s. 71-74.
• Saaty T.L.: Decision making with the analytic hierarchy process, "Int. J. Services Sciences", 1(1), 2008, s. 83-98.
• [Sinuany-Stern et al. 2000] Sinuany-Stern Z., Mehrez A. i Hadad Y.: An AHP/DEA methodology for ranking decision making units, "International Transactions in Operational Research", 7(2), 2000, s. 109-124.
• Sztumski J., Wstęp do metod i technik badań społecznych, "Śląsk", Sp. z o.o., Katowice 1995.
• Weathers D., Sharmab S. i Niedricha R.W.: The impact of the number of scale points, dispositional factors, and the status quo decision heuristic on scale reliability and response accuracy, "Journal of Business Research", 58, 2005, s. 1516-1524.
• Webber S.A., Apostolou B. & Hassel J.M.: The sensitivity of the analytic hierarchy process to alternative scale and cue presentations, "European Journal of Operational Research", 96, 1996, s. 351-362.