Heterogenita ve způsobu odpovídání na dotazníkové položky u českých žáků v PISA 2012 : analýza dle kraje, typu a velikosti školy

Název: Heterogenita ve způsobu odpovídání na dotazníkové položky u českých žáků v PISA 2012 : analýza dle kraje, typu a velikosti školy
Variantní název:
  • Heterogeneity in reporting behavior in surveys of Czech students in PISA 2012 : analysis according to region, type, and size of school
Zdrojový dokument: Studia paedagogica. 2022, roč. 27, č. 3, s. [127]-159
Rozsah
[127]-159
  • ISSN
    1803-7437 (print)
    2336-4521 (online)
Type: Článek
Licence: Neurčená licence
 

Upozornění: Tyto citace jsou generovány automaticky. Nemusí být zcela správně podle citačních pravidel.

Abstrakt(y)
Rozdíly ve způsobu odpovídání na dotazníkové položky mezi žáky mohou zkreslit data (nejen) z mezinárodních výzkumů. Na vzorku z PISA 2012 zkoumáme, jak se liší způsob odpovídání českých žáků s vybranými charakteristikami (gender, vzdělání rodičů) na různých školách (kraj, typ a velikost školy) a jak způsob odpovídání souvisí s jejich výsledky v testech. Způsob odpovídání určujeme pomocí identifikace tendence souhlasit, analýzy chybějících odpovědí, metody identifikace nadhodnocování vlastních znalostí (MINa) a hodnocení ukotvujících vinět. Významné rozdíly ve způsobu odpovídání mezi žáky jsou zejména dle kraje, typu školy a genderu, a to například v hodnocení ukotvující viněty popisující nejnižší úroveň učitelova řízení třídy. Výsledky žáků v testech výrazně souvisejí se způsobem odpovídání na individuální i školní úrovni, např. korelace mezi čtenářskou gramotností a MINa indexem přesnosti je 0,49 a 0,71. Další výzkum se může zaměřit i na jiné přístupy, např. analýzu časů odpovídání na položky.
Differences in reporting behavior among students can bias data (not only) in international surveys. Using PISA 2012 data, we analyze the differences in reporting behavior of Czech students with selected characteristics (gender, parents' education) at various schools (region, school type, and school size) and the relationship between their reporting behavior and test results. We identify reporting behavior using acquiescence response style identification, item nonresponse analysis, overclaiming technique (OCT), and anchoring vignettes. There were notable differences in reporting behavior particularly between regions, school types, and genders, such as in the evaluations of the lowest level classroom management vignette. Student test results are markedly related to their reporting behavior at both individual and school levels; for example, the correlations between reading literacy and OCT accuracy are 0.49 and 0.71, respectively. Future research may focus on different approaches, e.g., item response time analysis.
Note
Studie vznikla v rámci řešení projektu GA ČR: "Heterogenita ve způsobu odpovídání v dotazníkových šetřeních napříč různými zeměmi, školami a skupinami respondentů (21-09064S)".
Reference
[1] Bachman, J. G., O'Malley, P. M., & Freedman-Doan, P. (2010). Response styles revisited: Racial/ethnic and gender differences in extreme responding. Institute for Social Research, University of Michigan. https://deepblue.lib.umich.edu/bitstream/handle/2027.42/137850/occ72.pdf

[2] Baumgartner, H., & Steenkamp, J.-B. E. M. (2001). Response styles in marketing research: A cross-national investigation. Journal of Marketing Research, 38(2), 143–156. https://doi.org/10.1509/jmkr.38.2.143.18840

[3] Bertling, J. P., Marksteiner T., & Kyllonen P. C. (2016). General noncognitive outcomes. In S. Kuger, E. Klieme, N. Jude, & D. Kaplan (Eds.), Assessing contexts of learning: Methodology of educational measurement and assessment (pp. 255–281). Springer. https://doi.org/10.1007/978-3-319-45357-6_10

[4] Blažek, R., Janotová, Z., Potužníková, E., & Basl, J. (2019). Mezinárodní šetření PISA 2018: Národní z práva. Česká školní inspekce. https://www.csicr.cz/Csicr/media/Prilohy/PDF_el._publikace/Mezin%c3%a1rodn%c3%ad%20%c5%a1et%c5%99en%c3%ad/PISA_2018_narodni_zprava.pdf

[5] Buckley, J. (2009). Cross-national response styles in international educational assessments: Evidence from PISA 2006. New York University. http://edsurveys.rti.org/PISA/documents/Buckley_PISAresponsestyle.pdf

[6] Čeněk, J., & Urbánek, T. (2019). Adaptace a ekvivalence testových metod: inspirace pro psychologické testování minorit v ČR. Československá psychologie, 63(1), 42–54.

[7] Černá, P. (2017). Sebehodnocení znalostí studentů pedagogických oborů v oblasti informačních a komunikačních technologií [Diplomová práce, Univerzita Karlova]. Digitální repozitář Univerzity Karlovy. http://hdl.handle.net/20.500.11956/92085

[8] Černochová, M., Voňková, H., Štípek, J., & Černá, P. (2018). How do learners perceive and evaluate their digital skills? International Journal of Smart Education and Urban Society, 9(1), 37–47. https://doi.org/10.4018/IJSEUS.2018010104

[9] Česká školní inspekce. (2022, 2. dubna). PISA 2012. https://www.csicr.cz/cz/Mezinarodni-setreni/PISA/Datove-soubory-a-dotazniky/PISA-2012

[10] Duckworth, A. L., & Yeager, D. S. (2015). Measurement matters: Assessing personal qualities other than cognitive ability for educational purposes. Educational Researcher, 44(4), 237–251. https://doi.org/10.3102/0013189X15584327

[11] Enders, C. K. (2010). Applied missing data analysis. The Guilford Press.

[12] Fell, C. B., König, C. J., Jung, S., Sorg, D., & Ziegler, M. (2019). Are country level prevalences of rule violations associated with knowledge overclaiming among students? International Journal of Psychology, 54(1), 17–22. https://doi.org/10.1002/ijop.12441

[13] Goecke, B., Weiss, S., Steger, D., Schroeders, U., & Wilhelm, O. (2020). Testing competing claims about overclaiming. Intelligence, 81, 2–11. https://doi.org/10.1016/j.intell.2020.101470

[14] He, J., Chung, J. M., & Van de Vijver, F. J. (2020). An examination of different scale usage correction procedures to enhance cross-cultural data comparability. Journal of Cross-Cultural Psychology, 51(10), 794–813. https://doi.org/10.1177/0022022120960815

[15] He, J., & Van de Vijver, F. (2016a). Correcting for scale usage differences among Latin American countries, Portugal, and Spain in PISA. RELIEVE, 22(1), 1–10. http://dx.doi.org/10.7203/relieve.22.1.8282

[16] He, J., & Van de Vijver, F. (2016b). The motivation-achievement paradox in international educational achievement tests: Toward a better understanding. In R. B. King & A. B. I. Bernardo (Eds.), The psychology of Asian learners: A festschrift in honor of David Watkins (pp. 253–268). Springer Science. https://doi.org/10.1007/978-981-287-576-1

[17] Hitt, C., Trivitt, J., & Cheng, A. (2016). When you say nothing at all: The predictive power of student effort on surveys. Economics of Education Review, 52, 105–119. https://doi.org/10.1016/j.econedurev.2016.02.001

[18] Jude, N., & Kuger, S. (2018). Questionnaire development and design for international large-scale assessments (ILSAs): Current practice, challenges, and recommendations. National Academy of Education. https://naeducation.org/wp-content/uploads/2018/04/Jude-and-Kuger-2018-FINAL.pdf

[19] King, G., Murray, C. J., Salomon, J. A., & Tandon, A. (2004). Enhancing the validity and cross-cultural comparability of measurement in survey research. American political science review, 98(1), 191–207. https://doi.org/10.1017/S000305540400108X

[20] Kyllonen, P. C., & Bertling, J. (2013). Innovative questionnaire assessment methods to increase cross-country comparability. In L. Rutkowski, M. von Davier, & D. Rutkowski (Eds.), A handbook of international large-scale assessment data analysis: Background, technical issues, and methods of data analysis (pp. 277–285). Chapman and Hall/CRC Press.

[21] Lebeda, T., Lysek, J., Marek, D., Meislová, M. B., Navrátilová, A., Soukop, M., Zymová, K., Zapletalová, M., Hájek, O., Zatloukal, T., Basl, J., Boudová, S., Andrys, O., Folowarczný, R., Novosák, J., Daniel, S., & Pražáková, D. (2021). Sekundární analýza PISA 2018: Well-being žáků, třídní klima, používání ICT a vnímání role učitele. Česká školní inspekce. https://www.csicr.cz/Csicr/media/Prilohy/2021_p%C5%99%C3%ADlohy/Dokumenty/Sekundarni-analyza-PISA-2018.pdf

[22] Lee, J., & Stankov, L. (2018). Non-cognitive predictors of academic achievement: Evidence from TIMSS and PISA. Learning and Individual Differences, 65, 50–64. https://doi.org/10.1016/j.lindif.2018.05.009

[23] Lu, Y. (2012). A multilevel multidimensional item response theory model to address the role of response style on measurement of attitudes in PISA 2006 [Disertační práce]. The University of Wisconsin-Madison.

[24] Minarčíková, N., Příhodová, T., Maliňaková, J., Riegel, K., Marková, J., & Preiss, M. (2017). Česká verze dotazníku přehánění vlastních znalostí–převod metody a pilotní studie. E-psychologie (E-psychology), 11(2), 34–46. https://e-psycholog.eu/pdf/minarcikova_etal.pdf

[25] Muszyński, M., Pokropek, A., & Żółtak, T. (2021). Structural Validity of Overclaiming Scores: Analysing PISA 2012 data. Psychological Test and Assessment Modeling, 63(1), 119–145.

[26] OECD. (n.d.). Database – PISA. https://www.oecd.org/pisa/data/pisa2012database-downloadabledata.htm

[27] OECD. (2014). PISA 2012 Technical Report. OECD Publishing. https://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf

[28] OECD. (2009). PISA data analysis manual: SPSS, second edition. OECD Publishing. https://doi.org/10.1787/9789264056275-en

[29] Otgonbaatar, K. (2021). Effectiveness of anchoring vignettes in re-evaluating self-rated social and emotional skills in mathematics. International Journal of Evaluation and Research in Education, 10(1), 237–244. http://doi.org/10.11591/ijere.v10i1.20716

[30] Palečková, J., Tomášek, V., Basl, J., Blažek, R., & Boudová, S. (2013). Hlavní z jištění PISA 2012: matematická gramotnost patnáctiletých žáků. Česká školní inspekce. http://www.csicr.cz/html/PISA2012-HZ/resources/_pdfs_/Hlavni_zjisteni_PISA2012__.pdf

[31] Paulhus, D. L. (2011). Overclaiming on personality questionnaires. In M. Ziegler, C. MacCann, & R. D. Roberts (Eds.), New perspectives on faking in personality assessment (pp. 151–164). Oxford University Press.

[32] Paulhus, D. L., & Dubois, P. J. (2014). Application of the overclaiming technique to scholastic assessment. Educational and Psychological Measurement, 74(6), 975–990. https://doi.org/10.1177/0013164414536184

[33] Paulhus, D. L., Harms, P. D., Bruce, M. N., & Lysy, D. C. (2003). The over-claiming technique: Measuring self-enhancement independent of ability. Journal of Personality and Social Psychology, 84(4), 890–904. https://doi.org/10.1037/0022-3514.84.4.890

[34] Soland, J., Zamarro, G., Cheng, A., & Hitt, C. (2019). Identifying naturally occurring direct assessments of social-emotional competencies: The promise and limitations of survey and assessment disengagement metadata. Educational Researcher, 48(7), 466–478. https://doi.org/10.3102/0013189X19861356

[35] Straková, J. (2016). Mezinárodní výzkumy výsledků vzdělávání: metodologie, přínosy, rizika a příležitosti. Univerzita Karlova.

[36] Swami, V., Papanicolaou, A., & Furnham, A. (2011). Examining mental health literacy and its correlates using the overclaiming technique. British Journal of Psychology, 102(3), 662–675. https://doi.org/10.1111/j.2044-8295.2011.02036.x

[37] Štípek, J., Králová, K., Hrabák, J., Černochová, M., Papajoanu, O., & Voňková, H. (2018). Overclaiming technique a její aplikace v různých oblastech výzkumu sebehodnocení znalostí a dovedností: výsledky pilotní studie. In A. Wiegerová & H. Navrátilová (Eds.), Transdisciplinarita v pedagogických vědách (pp. 137–138). Univerzita Tomáše Bati. https://capv.cz/wp-content/uploads/2020/11/Sbornik_forum_2018_final.pdf

[38] Van de Vijver, F., & Tanzer, N. K. (2004). Bias and equivalence in cross-cultural assessment: An overview. European Review of Applied Psychology, 54(2), 119–135. https://doi.org/10.1016/j.erap.2003.12.004

[39] Vonkova, H. (2019). Life satisfaction among different groups of children: Self-reports, differential scale usage and anchoring vignettes. Child Indicators Research, 12(6), 2111–2136. https://doi.org/10.1007/s12187-019-09629-3

[40] Voňková, H. (2017). Metoda ukotvujících vinět a její využití v pedagogickém výzkumu. Univerzita Karlova. https://pages.pedf.cuni.cz/uvrv/files/2017/09/Vonkova-Ukotvujici-vinety.pdf

[41] Voňková, H. (2012). Metoda ukotvujících vinět a možnosti využití v pedagogice. Orbis scholae, 6(1), 27–40. https://doi.org/10.14712/23363177.2015.47

[42] Vonkova, H., Bendl, S., & Papajoanu, O. (2017). How students report dishonest behavior in school: Self-assessment and anchoring vignettes. The Journal of Experimental Education, 85(1), 36–53. https://doi.org/10.1080/00220973.2015.1094438

[43] Vonkova, H., & Hrabak, J. (2015). The (in) comparability of ICT knowledge and skill self-assessments among upper secondary school students: The use of the anchoring vignette method. Computers & Education, 85, 191–202. https://doi.org/10.1016/j.compedu.2015.03.003

[44] Vonkova, H., Hrabak, J., Kralova, K., & Papajoanu, O. (2021a). Developing a framework for the examination of anchoring vignette assumptions using cognitive interviews: A demonstration in the ICT skills domain. Field Methods, 33(4), 355 –371. https://doi.org/10.1177/1525822X21991281

[45] Voňková, H., Papajoanu, O., & Bendl, S. (2016). Aplikace metody ukotvujících vinět v pedagogickém výzkumu: přehled literatury a metodologická doporučení. Pedagogická orientace, 26(3), 537–559. https://doi.org/10.5817/PedOr2016-3-537

[46] Vonkova, H., Papajoanu, O., & Kralova, K. (2022). Student online communication skills: Enhancing the comparability of self-reports among different groups of students. Education and Information Technologies, 27(2), 2181–2205. https://doi.org/10.1007/s10639-021-10685-y

[47] Vonkova, H., Papajoanu, O., & Stipek, J. (2018a). Enhancing the cross-cultural comparability of self-reports using the overclaiming technique: An analysis of accuracy and exaggeration in 64 cultures. Journal of Cross-Cultural Psychology, 49(8), 1247–1268. https://doi.org/10.1177/0022022118787042

[48] Vonkova, H., Papajoanu, O., Stipek, J., & Kralova, K. (2021b). Identifying the accuracy of and exaggeration in self-reports of ICT knowledge among different groups of students: The use of the overclaiming technique. Computers & Education, 164(1), 104–112. https://doi.org/10.1016/j.compedu.2020.104112

[49] Vonkova, H., Zamarro, G., & Hitt, C. (2018b). Cross' country heterogeneity in students' reporting behavior: The use of the anchoring vignette method. Journal of Educational Measurement, 55(1), 3–31. https://doi.org/10.1111/jedm.12161

[50] West, M. R., Kraft, M. A., Finn, A. S., Martin, R. E., Duckworth, A. L., Gabrieli, C. F. O., & Gabrieli, J. D. E. (2016). Promise and paradox: Measuring students' non-cognitive skills and the impact of schooling. Educational Evaluation and Policy Analysis, 38(1), 148–170. https://doi.org/10.3102/0162373715597298

[51] Yang, Z., Barnard-Brak, L., & Lan, W. Y. (2019). Examining the association of over-claiming with mathematics achievement. Learning and Individual Differences, 70(5), 30–38. https://doi.org/10.1016/j.lindif.2019.01.004

[52] Zamarro, G., Hitt, C., & Mendez, I. (2019). When students don't care: Reexamining international differences in achievement and student effort. Journal of Human Capital, 13(4), 519–552. https://doi.org/10.1086/705799