scholarly journals Survey Item-Response Behavior as an Imperfect Proxy for Unobserved Ability: Theory and Application

2018 ◽  
Author(s):  
Sonja C. de New ◽  
Stefanie Schurer
Keyword(s):  
Item Response ◽  
Response Behavior ◽  
Survey Item ◽  
Unobserved Ability

scholarly journals Apples and Oranges? The Problem of Equivalence in Comparative Research

2011 ◽  
Vol 19 (4) ◽  
pp. 471-487 ◽  
Author(s):  
Daniel Stegmueller
Keyword(s):  
Item Response ◽  
Comparative Research ◽  
Large Scale ◽  
Structural Parameters ◽  
Simultaneous Estimation ◽  
Response Behavior ◽  
Item Response Model ◽  
Individual Level ◽  
Level Data ◽  
Cross National

Researchers in comparative research are increasingly relying on individual level data to test theories involving unobservable constructs like attitudes and preferences. Estimation is carried out using large-scale cross-national survey data providing responses from individuals living in widely varying contexts. This strategy rests on the assumption of equivalence, that is, no systematic distortion in response behavior of individuals from different countries exists. However, this assumption is frequently violated with rather grave consequences for comparability and interpretation. I present a multilevel mixture ordinal item response model with item bias effects that is able to establish equivalence. It corrects for systematic measurement error induced by unobserved country heterogeneity, and it allows for the simultaneous estimation of structural parameters of interest.

scholarly journals A Mixture IRTree Model for Performance Decline and Nonignorable Missing Data

2020 ◽  
Vol 80 (6) ◽  
pp. 1168-1195
Author(s):  
Hung-Yu Huang
Keyword(s):  
Item Response ◽  
International Student ◽  
Missing Values ◽  
Student Assessment ◽  
Response Behavior ◽  
Parameter Recovery ◽  
Test Items ◽  
International Student Assessment ◽  
Performance Decline ◽  
Nonignorable Missing

In educational assessments and achievement tests, test developers and administrators commonly assume that test-takers attempt all test items with full effort and leave no blank responses with unplanned missing values. However, aberrant response behavior—such as performance decline, dropping out beyond a certain point, and skipping certain items over the course of the test—is inevitable, especially for low-stakes assessments and speeded tests due to low motivation and time limits, respectively. In this study, test-takers are classified as normal or aberrant using a mixture item response theory (IRT) modeling approach, and aberrant response behavior is described and modeled using item response trees (IRTrees). Simulations are conducted to evaluate the efficiency and quality of the new class of mixture IRTree model using WinBUGS with Bayesian estimation. The results show that the parameter recovery is satisfactory for the proposed mixture IRTree model and that treating missing values as ignorable or incorrect and ignoring possible performance decline results in biased estimation. Finally, the applicability of the new model is illustrated by means of an empirical example based on the Program for International Student Assessment.

scholarly journals Survey Item Response Rates by Survey Modality, Language, and Sociodemographic Factors in a Large U.S. Cohort

2020 ◽  
Vol 29 (4) ◽  
pp. 724-730 ◽  
Author(s):  
Melissa Rittase ◽  
Elizabeth Kirkland ◽  
Daniela M. Dudas ◽  
Alpa V. Patel
Keyword(s):  
Item Response ◽  
Response Rates ◽  
Sociodemographic Factors ◽  
Survey Item

scholarly journals Psychometric Properties of the Standardized Cosmesis and Health Nasal Outcomes Survey: Item Response Theory Analysis

2018 ◽  
Vol 20 (6) ◽  
pp. 519-521 ◽  
Author(s):  
Mikhail Saltychev ◽  
Cherian K. Kandathil ◽  
Mohamed Abdelwahab ◽  
Emily A. Spataro ◽  
Sami P. Moubayed ◽  
...  
Keyword(s):  
Item Response Theory ◽  
Psychometric Properties ◽  
Item Response ◽  
Response Theory ◽  
Theory Analysis ◽  
Survey Item ◽  
Item Response Theory Analysis

Applying Item Response Theory Modeling to Identify Social (Pragmatic) Communication Disorder

2020 ◽  
Vol 63 (6) ◽  
pp. 1916-1932 ◽  
Author(s):  
Haiying Yuan ◽  
Christine Dollaghan
Keyword(s):  
Item Response Theory ◽  
Item Response ◽  
Sensitivity And Specificity ◽  
Social Communication ◽  
National Database ◽  
Communication Disorder ◽  
Social Communication Questionnaire ◽  
Autism Research ◽  
The Social ◽  
Pragmatic Communication

Purpose No diagnostic tools exist for identifying social (pragmatic) communication disorder (SPCD), a new Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition category for individuals with social communication deficits but not the repetitive, restricted behaviors and interests (RRBIs) that would qualify them for a diagnosis of autism spectrum disorder (ASD). We explored the value of items from a widely used screening measure of ASD for distinguishing SPCD from typical controls (TC; Aim 1) and from ASD (Aim 2). Method We applied item response theory (IRT) modeling to Social Communication Questionnaire–Lifetime ( Rutter, Bailey, & Lord, 2003 ) records available in the National Database for Autism Research. We defined records from putative SPCD ( n = 54), ASD ( n = 278), and TC ( n = 274) groups retrospectively, based on National Database for Autism Research classifications and Autism Diagnostic Interview–Revised responses. After assessing model assumptions, estimating model parameters, and measuring model fit, we identified items in the social communication and RRBI domains that were maximally informative in differentiating the groups. Results IRT modeling identified a set of seven social communication items that distinguished SPCD from TC with sensitivity and specificity > 80%. A set of five RRBI items was less successful in distinguishing SPCD from ASD (sensitivity and specificity < 70%). Conclusion The IRT modeling approach and the Social Communication Questionnaire–Lifetime item sets it identified may be useful in efforts to construct screening and diagnostic measures for SPCD.

Indikatoren schulischen Wohlbefindens bei gesunden und chronisch kranken Kindern: Psychometrische Prüfung und Validierung adaptierter FEESS-Skalen

2020 ◽  
Vol 34 (3-4) ◽  
pp. 201-219
Author(s):  
Kathleen Schnick-Vollmer ◽  
Christiane Diefenbach ◽  
Christine Gräf ◽  
Dorle Hoffmann ◽  
Isabell Hoffmann ◽  
...  
Keyword(s):  
Item Response ◽  
Mean Square ◽  
Weighted Mean ◽  
Externe Validität ◽  
Chronisch Kranke

Zusammenfassung. Das schulbezogene Wohlbefinden (SBWB) ist eine wichtige Voraussetzung für schulischen Erfolg. Trotzdem existieren – insbesondere mit Blick auf die Erfassung des SBWB von Erstklässlern – im deutschsprachigen Raum nur vereinzelt Studien. Dies lässt sich möglicherweise durch das Fehlen geeigneter Instrumente begründen. Dies gilt auch und insbesondere dann, wenn der Gesundheitszustand der Kinder berücksichtigt werden soll. Das Ziel der vorliegenden Arbeit besteht in der Validierung des adaptierten Fragebogens zur Erfassung von emotionalen und sozialen Schulerfahrungen (FEESS 1 – 2; Rauer & Schuck, 2004 ) mit Fokus auf die Eignung des Instruments für chronisch kranke und gesunde Kinder. Dafür wird zunächst das Konstrukt Wohlbefinden (WB) resp. SBWB definiert und in einschlägige Theorien – die Selbstbestimmungstheorie nach Deci und Ryan (1985) und das Erwartung-mal-Wert-Modell nach Wigfield und Eccles (2000) – eingebettet. Die Bedeutung der verwendeten FEESS-Skalen und ihr Zusammenhang zum schulischen Erfolg werden aufgezeigt. 1491 Kinder wurden zu ihrer Lernfreude (LF), sozialen Integration (SI) und zu ihrem schulbezogenen Fähigkeitsselbstkonzept (SK) befragt. Die Erfassung des Gesundheitszustands wurde über Elternfragebögen und Schuleingangsuntersuchungen eruiert. Zudem wurden die Eltern zur gesundheitsbezogenen Lebensqualität (LQ) ihrer Kinder mit Hilfe eines Fragebogens zur Erfassung der Lebensqualität von Kindern (KINDL; Bullinger, Mackensen & Kirchberger, 1994 ) befragt. Die psychometrische Qualität der adaptierten FEESS-Skalen wurde für beide Gruppen (erkrankt / gesund) auf Skalen- und Itemebene untersucht. Hierzu kamen sowohl klassische Verfahren als auch Verfahren der Item-Response-Theorie zum Einsatz. Die Ergebnisse untermauern die Validität des Konstruktes SBWB und stützen die Annahme der Dreidimensionalität (LF, SI, SK). Alle drei Skalen zeigen eine zufriedenstellende bis sehr gute Reliabilität. Die Items zeigen sehr gute MNSQ-Werte (weighted mean-square; gewichtete Abweichungsquadrate) und geeignete Trennschärfen. Die externe Validität, für deren Berechnung der Zusammenhang zwischen den Angaben der Kinder und den Angaben der Eltern zur gesundheitsbezogenen LQ untersucht wurde, konnte noch nicht ausreichend nachgewiesen werden. Bis auf diese Einschränkung kann mit Hilfe der adaptierten FEESS-Skalen im nächsten Schritt das SBWB von gesunden und erkrankten Kindern verglichen werden, um mögliche Chancenungleichheiten auszugleichen.

Sign in / Sign up

Export Citation Format

Share Document