Reanalýza testu DISMAS: reliabilita a obsahová validita

Hynek Cígler ORCID logo
Jan Širůček ORCID logo
Pavel Traspe
Ivana Skalková

Abstrakt

Cílem textu je reanalýza testu Diagnostika struktury matematických schopností (Traspe a Skalková, 2013), který slouží k zjišťování obtíží v rozvoji matematických schopností u dětí ve věkovém rozmezí od doby těsně před nástupem do základní školy až do pátého ročníku. Test obsahuje 14 vývojových škál a celkové skóry, celkem je k dispozici 22 škál s percentilovými normami. Tato studie pracuje se standardizačním (N = 878) a poradenským (N = 877) vzorkem a zaměřuje se na tři hlavní témata: (1.) ověření reliability součtových skórů prostřednictvím stratifikovaného Cronbachovo alfa, ověření obsahové validity testu a jeho férovosti pomocí (2.) série konfirmačních faktorových analýz a (3.) analýzy diferenciálního fungování položek (DIF). Odhady reliability se zohledněním vícedimenzionální struktury součtových skórů docílily až dvakrát (v případě celkového skóre až třikrát) menších standardních chyb měření a tedy i intervalů spolehlivosti. Strukturní modely podpořily předpoklad slabé faktorové invariance u dětí v 2.–5. ročníku ZŠ vyjma subtestu automatizace početních dovedností (jehož vztah s celkovými matematickými schopnostmi vzrůstá spolu s věkem dětí), faktorová struktura pro žáky prvních tříd a předškolní děti je nicméně odlišná a v poradenské populaci pak nelze identifikovat žádné stabilní faktory. Ukázalo se ale také, že subtest matematické pojmy lze samostatně použít u běžné populace pro kratší skríning celkové úrovně matematických schopností. Jednotlivé škály se pak během analýzy DIF ukázaly být ne zcela invariantní napříč ročníky i oběma vzorky: zdá se tedy, že nižší skóre v testu nemusí znamenat jen „kvantitativně nižší“ míru schopností v příslušných rysech, ale do jisté míry též kvalitativní odlišnosti od běžné populace. Článek poskytuje konkrétní doporučení pro další používání testu v běžné diagnostické praxi.

Klíčová slova

DISMAS, CFA, konfirmační faktorová analýza, DIF, obsahová analýza, reanalýza

Literatura

Cígler, H., Jabůrek, M., Straka, O., & Portešová, Š. (n.d.). Test pro identifikaci nadaných dětí v matematice pro 3.–5. třídu. Brno: Masarykova univerzita.

Cígler, H., Jabůrek, M., & Širůček, J. (2014). Reanalyzing the DISMAS Test Data: Comparing IRT and CTT Based Estimates of the Error of Measurement. In The 9th Conference of The International Test Commission : Global and Local Challenges for Best Practices in Assessment, 2014. (pp. 211–212). San Sebastián: International Test Commission. Retrieved from http://www.itc2014ss.com/uploads/Libro grab CD Ong.pdf

Cronbach, L. J., Schonemann, P., & McKie, D. (1965). Alpha coefficients for stratified-parallel tests. Educational and Psychological Measurement, 25(2), 291–312. http://doi.org/…446502500201

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. http://doi.org/…7/BF02310555

Epskamp, S. (2014). semPlot: Path diagrams and visual analysis of various SEM packages’ output. R package version 1.0.1. Retrieved from http://cran.r-project.org/package=semPlot

Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Los Angeles, CA: Sage.

Gadermann, A. M., Guhn, M., & Zumbo, B. D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research & Evaluation, 17(3). Retrieved from http://eric.ed.gov/?…

Geary, D. C., Hoard, M. K., & Hamson, C. O. (1999). Numerical and arithmetical cognition: Patterns of functions and deficits in children at risk for a mathematical disability. Journal of Experimental Child Psychology, 74(3), 213–239. http://doi.org/…cp.1999.2515

Hogan, T. P. (2013). Psychological Testing: A Practical Introduction. New York: Wiley.

Hönigová, S. (2014). Diagnostika struktury matematických schopností (DISMAS): Recenze metody. Testfórum, 3(4), 58–64. http://doi.org/…/TF2014-4-29 IBM Corp. (2013). IBM SPSS Statistics for Windows, Version 22.0. Armonk, NY: IBM Corp.

Jensen, A. R., & Weng, L.-J. (1994). What is a good g? Intelligence, 18(3), 231–258. http://doi.org/…16/0160-2896(94)90029–9

Linacre, J. M. (2015). Winsteps® Rasch measurement computer program. Beaverton: Winsteps.com.

Linacre, J. M. (2016). Winsteps® Rasch measurement computer program User's Guide. Beaverton, Oregon: Winsteps.com.

Linacre, J. M. (2017, 5. ledna). Local dependencies in DIF analyses. Zpráva v internetové diskuzi. Dostupné na http://raschforum.boards.net/…dif-analyses.

Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.

Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnos­tických nástrojov. Testfórum, 5(7). http://doi.org/…/TF2016-7-90 Masters, G. N. (1982). A rasch model for partial credit scoring. Psychometrika, 47(2), 149–174. http://doi.org/…7/BF02296272

R Core Team. (2015). R: A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing. Retrieved from https://www.r-project.org

Raykov, T., & Marcoulides, G. A. (2011). Introduction to psychometric theory. New York: Routledge.

Revelle, W., & Zinbarg, R. E. (2009). Coefficients Alpha, Beta, Omega, and the glb: Comments on Sijtsma. Psychometrika, 74(1), 145–154. http://doi.org/…6-008-9102-z

Rosseel, Y. (2012). lavaan: An R Package for Structural Equation Modeling. Journal of Statistical Software, 48(2), 1–36. Retrieved from http://www.jstatsoft.org/v48/i02/

Russell, R. L., & Ginsburg, H. P. (1984). Cognitive analysis of children’s mat­hematics difficulties. Cognition and Instruction, 1(2), 217–244. http://doi.org/…690xci0102_3

Satorra, B., & Bentler, P. M. (1994). Corrections to test statistics and standard errors in covariance structure analysis. In A. von Eye & C. C. Clogg (Eds.), Latent variables analysis: Applications for developmental research (pp. 399–419). Thousand Oaks, CA: Sage.

Scott, N. W., Fayers, P. M., Aaronson, N. K., Bottomley, A., Graeff, A. de, Groenvold, M., … Sprangers, M. A. (2010, August 4). Differential item functioning (DIF) analyses of health-related quality of life instruments using logistic regression. Health and Quality of Life Outcomes. BioMed Central. http://doi.org/…77-7525-8-81

semTools Contributors. (2015). Useful tools for structural equation modeling. R package version 0.4–9. Retrieved from http://cran.r-project.org/…age=semTools

Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness of Cronbach’s Alpha. Psychometrika, 74(1), 107–120. http://doi.org/…6-008-9101-0

Traspe, P., & Skalková, I. (2013). DISMAS: Diagnostika struktury matematických schopností. Praha: Národní ústav pro vzdělávání.

Walker, C. M., & Beretvas, S. N. (2003). Comparing multidimensional and unidimensional proficiency classifications: multidimensional IRT as a diagnostic aid. Journal of Educational Measurement, 40(3), 255–275. http://doi.org/…03.tb01107.x

Wang, M. W., & Stanley, J. C. (1970). Differential Weighting: A review of methods and empirical studies. Review of Educational Researchch, 40(5), 663–705.

Wechsler, D. (2002). WISC-III – Wechslerova inteligenční škála pro děti. Přeložili D. Krejčířová, P. Boschek, P., J. Dan. Praha: Testcentrum.

Woodhouse, B., & Jackson, P. H. (1977). Lower bounds for the reliability of the total score on a test composed of non-homogeneous items: II: A search procedure to locate the greatest lower bound. Psychometrika, 42(4), 579–591. http://doi.org/…7/BF02295980

Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Otawa: Directorate of Human Resources Research and Evaluation, Department of National Defense.

Zumbo, B., Gadermann, A., & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of Modern Applied Statistical Methods. Retrieved from http://digitalcommons.wayne.edu/…/vol6/iss1/4

Patefield, W. (1981). An efficient method of generating random r × c tables with given row and column totals. Journal of the Royal Statistical Society. Series C (Applied Statistics), 30(1), 91–97.

Zobrazit celé Skrýt