PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
2014 | 12 | nr 1 (45) Wkład badań psychologicznych w naukach o zarządzaniu | 137--155
Tytuł artykułu

Ewaluacja projektów i abstraktów - wpływ indywidualnego stylu ewaluacji na oceny

Warianty tytułu
Evaluation of Grant Proposals and Abstracts - the Influence of Individual Evaluation Style on Ratings
Języki publikacji
PL
Abstrakty
W artykule przedstawiamy zarys psychologicznego modelu ewaluacji oraz wynik analizy ocen 673 abstraktów zgłoszonych na międzynarodową konferencję i 323 projektów badawczych. W obu przypadkach jeden ewaluator (recenzent) dokonywał oceny wielu projektów lub abstraktów, co pozwoliło na wykazanie wpływu indywidualnych stylów ewaluacji (dla 18 ewaluatorów projektów badawczych i 33 recenzentów abstraktów), operacjonalizowanych przez poziom łagodności/surowości i stopień różnicowania ocen. Pokazano także związek kolejności oceniania z surowością ocen (pierwsze 15 abstraktów ocenianych było surowiej niż reszta), co zinterpretowano za pomocą dwóch alternatywnych wyjaśnień: stabilizacji utajonego wzorca porównawczego oraz zmęczenia. (abstrakt oryginalny)
EN
In this article we present an outline of psychological model of evaluation and results of ratings analysis for 673 abstracts submitted to international conference and 323 grant proposals. In both cases one evaluator (reviewer) evaluated many proposals or abstracts, which allowed us to demonstrate individual evaluation style (for 18 grant proposals evaluators and 33 abstract reviewers), operationalized by leniency/severity level and degree of ratings differentiation. We showed as well relation between rank order and severity rating (first 15 abstracts were rated more severely than others). It is suggested that this relation can be explained by two alternative explanations: stabilization of implicit comparative standard and fatigue. (original abstract)
Rocznik
Tom
12
Strony
137--155
Opis fizyczny
Twórcy
  • Uniwersytet Warszawski
  • Uniwersytet Warszawski
Bibliografia
  • Bernardin, H.J. i Pence, E.C. (1980). Effects of Rater Training. Journal of Applied Psychology, 65, 60-66, http://dx.doi.Org/10.1037/0021-9010.65.1.60.
  • Bruine de Bruin, W. (2006). Save the Last Dance II: Unwanted Serial Position Effects in Figure Skating Judgments. Acta Psychologica, 123, 299-311, http://dx.doi.org/10.1016/ j.actpsy.2006.01.009.
  • Brzezińska, A., Brzeziński, J. i Eliasz, A. (red.). (2004). Ewaluacja a jakość kształcenia w szkole wyższej. Warszawa: Wydawnictwo SWPS "Academica".
  • Ciężka, B. (2005). Ewaluacja - kwestie ogólne. Warszawa: Polskie Towarzystwo Ewaluacyjne.
  • Eckes, T. (2012). Operational Rater Types in Writing Assessment: Linking Rater Cognition to Rater Behavior. Language Assessment Quarterly, 9 (3), 270-292, http://dx.doi. org/10.1080/15434303.2011.649381.
  • Feldman, J.M. (1981). Beyond Attribution Theory: Cognitive Processes in Performance Appraisal. Journal or Applied Psychology, 66 (2), 127-148, http://dx.doi. org/10.1037/0021-9010.66.2.127.
  • Flores Jr., R.G., i Ginsburgh, V.A. (1996). The Queen Elisabeth Musical Competition: How Fair Is the Wnal Ranking? The Statistician, 45, 97-104, http://dx.doi. org/10.2307/2348415.
  • Forgas, J.P. i Vargas, P.T. (2005). Wpiyw nastroju na społeczne oceny i rozumowanie. W: M. Lewis i J.M. Haviland-Jones (red.), Psychologia emocji. Gdańsk: GWP.
  • Gailliot, M.T. i Baumeister, R.F. (2007). The Physiology of Willpower: Linking Blood Glucose to Self-Control. Personality and Social Psychology Review, 11 (4), 303-327, http://dx.doi.org/10.1177/1088868307303030.
  • Gailliot, M.T, Baumeister, R.F, DeWall, C., Maner, J., Plant, E., Tice, D. i Schmeichel, B. (2007). Self-Control Relies on Glucose as a Limited Energy Source: Willpower Is More Than a Metaphor. Journal Of Personality And Social Psychology, 92 (2), 325-336, http://dx.doi.org/ 10.1037/0022-3514.92.2.325.
  • Hainger, S., Jenewein, S., Müller, H.-C. i Wakolbinger, F. (2010). The First Shall Be Last: Serial Position Effects in the Case Contestants Evaluate Each Other. Economics Bulletin, 30 (4), 3170-3176.
  • Holzbach, R.L. (1978). Rater Bias in Performance Ratings: Superior, Self-, and Peer Ratings. Journal of Applied Psychology, 63 (5), 579-588, http://dx.doi.org/10.2307/2348415.
  • Hoyt, W.T. (2000). Rater Bias in Psychological Research: When Is It a Problem and What Can We Do about It? Psychological Methods, 5 (1), 64-86, http://dx.doi.org/ I0.I037//I082-9S9X.5.1.64.
  • Johnson, J.S. i Lim, G.S. (2009). The Influence of Rater Language Background on Writing Performance Assessment. Language Testing, 26, 485-505, http://dx.doi. org/10.1177/0265532209340186.
  • Jones, E.E., Rock, L., Shaver, K.G., Goethals, G.R. i Ward, L.M. (1968). Pattern of Performance and Ability Attribution: An Unexpected Primacy Effect. Journal of Personality and Social Psychology, 10, 317-349, http://dx.doi.org/10.1037/h0026818.
  • Kahneman, D. (2011). Pułapki myślenia. Poznań: Wydawnictwo Media Rodzina.
  • Landy, F.J., Vance, R.J., Barnes-Farrell, J.L. i Steele, J.W. (1980). Statistical Control of Halo Error in Performance Ratings. Journal of Applied Psychology, 65 (5), 501-506, http://dx.doi.org/10.1037/0021-9010.75.3.290.
  • Marsh, H.W., Jayasinghe, U.W. i Bond, N.W. (2008). Improving the Peer-Review Process for Grant Applications. Reliability, Validity, Bias, and Generalizability. American Psychologist, 63 (3), 160-168, http://dx.doi.org/10.1037/0003-066X.63.3.160.
  • Michałowicz, B. (2013). Koncepcja rozprawy doktorskiej pt. Ankiety ewaluacyjne w szkolnictwie wyższym: wpływ wyboru ewaluatorów. Warszawa: Wydział Zarządzania Uniwersytetu Warszawskiego.
  • Nosal, C. (1990). Psychologiczne modele umysłu. Warszawa: PWN.
  • Nosal, C. (2001). Psychologia myślenia i działania menedżera. Rozwiązywanie problemów. Podejmowanie decyzji. Kreowanie strategii. Wrocław: Wydawnictwo AKADE.
  • Pirsig, R.M. (2005). Zen i sztuka oporządzania motocykla. Poznań: Dom Wydawniczy Rebis.
  • Polskie Towarzystwo Ewaluacyjne. (2008). Standardy ewaluacji. Pozyskano z: http://www. ewaluacja.org.pl/download/Standardy_ewaluacji_PTE.pdf (08.12.2013).
  • Raymond, M.R. i Huston, W.M. (1990). Detecting and Correcting for Rater Effects in Performance Assessment. Act Research Report Series, (December), 90-14.
  • Raymond, M.R. i Viswesvaran, C. (1991). Least Squares Models to Correct for Rater Effects in Performance Assessment. Journal of Educational Measurement, 30 (3), 253-268, http://dx.doi.org/10.1111/j.1745-3984.1993.tb00426.x.
  • Skład, M. i Wieczorkowska, G. (2001). Sztuka układania ankiet ewaluacyjnych. W: Psychologia społeczna: Jednostka - społeczeństwo - państwo (s. 250-266). Gdańsk: GWP.
  • Wieczorkowska-Nejtardt, G. (1998). Inteligencja motywacyjna: mądre strategie wyboru celu i sposobu działania. Warszawa: WISS.
  • Wieczorkowska-Siarkiewicz, G. (1992). Punktowe i przedziałowe reprezentacje celu. Uwarunkowania i konsekwencje. Warszawa: Oficyna Wydawnicza Wydziału Psychologii Uniwersytetu Warszawskiego.
  • Wieczorkowska-Wierzbińska, G. (2011). Psychologiczne ograniczenia. Warszawa: Wydawnictwo Naukowe Wydziału Zarządzania UW.
Typ dokumentu
Bibliografia
Identyfikatory
Identyfikator YADDA
bwmeta1.element.ekon-element-000171275745

Zgłoszenie zostało wysłane

Zgłoszenie zostało wysłane

Musisz być zalogowany aby pisać komentarze.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.