Compiling Measurement Invariant Short Scales in Cross–Cultural Personality Assessment Using Ant Colony Optimization

Examining the influence of culture on personality and its unbiased assessment is the main subject of cross–cultural personality research. Recent large–scale studies exploring personality differences across cultures share substantial methodological and psychometric shortcomings that render it difficult to differentiate between method and trait variance. One prominent example is the implicit assumption of cross–cultural measurement invariance in personality questionnaires. In the rare instances where measurement invariance across cultures was tested, scalar measurement invariance—which is required for unbiased mean–level comparisons of personality traits—did not hold. In this article, we present an item sampling procedure, ant colony optimization, which can be used to select item sets that satisfy multiple psychometric requirements including model fit, reliability, and measurement invariance. We constructed short scales of the IPIP–NEO–300 for a group of countries that are culturally similar (USA, Australia, Canada, and UK) as well as a group of countries with distinct cultures (USA, India, Singapore, and Sweden). In addition to examining factor mean differences across countries, we provide recommendations for cross–cultural research in general. From a methodological perspective, we demonstrate ant colony optimization's versatility and flexibility as an item sampling procedure to derive measurement invariant scales for cross–cultural research. © 2020 The Authors. European Journal of Personality published by John Wiley & Sons Ltd on behalf of European Association of Personality Psychology

KOMPARASI ESTIMASI RERATA SKOR RESPONDEN ANTARA ITEM SAMPLING, EXAMINEE SAMPLING, DAN MULTIPLE MATRIX SAMPLING

Tujuan dari penelitian ini adalah untuk mengetahui mana yang lebih akurat dalam mengestimasi rerata skor responden antara item sampling, examinee sampling, dan multiple matrix sampling. Populasi penelitian ini adalah respon jawaban siswa pada Ujian Nasional 2013 provinsi DKI Jakarta untuk mata pelajaran Bahasa Indonesia. Pengambilan sampel pada penelitian ini menggunakan tiga rancangan, yaitu: item sampling, examinee sampling, dan multiple matrix sampling. Untuk mendapatkan rerata untuk masing-masing rancangan dilakukan replikasi sebanyak 30 kali, kemudian dilakukan uji statistik. Walaupun ketiga kelompok tersebut berdistribusi normal tetapi tidak bersifat homogen sehingga pengujian hipotesis dilakukan dengan uji Kruskal Wallis. Hasil uji hipotesis dinyatakan bahwa terdapat perbedaan yang signifikan dari ketiga rancangan tersebut. Kemudian pengujian dilanjutkan dengan uji Mann Whitney. Hasil penelitian menunjukkan bahwa examinee sampling lebih akurat dari pada item sampling, multiple matrix sampling lebih akurat dari pada item sampling, dan multiple matrix sampling lebih akurat dari pada examinee sampling.

Die Bedeutung der Itemauswahl und der Modellwahl für die längsschnittliche Erfassung von Kompetenzen

Zusammenfassung. In diesem Beitrag wird die Entwicklung der Lesekompetenz von Grundschülerinnen und Grundschülern anhand des ELFE-Tests ( Lenhard & Schneider, 2005 ) untersucht. Dabei wird die Bedeutung der Itemauswahl im verwendeten Test (sog. Item Sampling) als auch der Auswahl statistischer Modelle (sog. Multi Model Inferenz) im Hinblick auf Effektgrößen der Veränderung diskutiert und deren Variabilität quantifiziert. Es wird argumentiert, dass in einem Konzept der Generalisierbarkeit bei Tests (mindestens) drei Facetten eine wichtige Rolle spielen: die Stichprobenziehung oder Auswahl von Personen, Items und die Wahl statistischer Modelle. Die empirischen Befunde dieses Beitrags zeigen auf, dass die in Publikationen meist vernachlässigten Variationsquellen von Item Sampling und der Modellwahl gegenüber der Stichprobenziehung von Personen nicht vernachlässigbar sind.