Propensity Score Matching and Matched Sample Composition in Audit Research

2014 ◽  
Author(s):  
Quinn Thomas Swanquist ◽  
Jonathan Shipman ◽  
Robert Lowell Whited
2016 ◽  
Vol 92 (1) ◽  
pp. 213-244 ◽  
Author(s):  
Jonathan E. Shipman ◽  
Quinn T. Swanquist ◽  
Robert L. Whited

ABSTRACT Propensity score matching (PSM) has become a popular technique for estimating average treatment effects (ATEs) in accounting research. In this study, we discuss the usefulness and limitations of PSM relative to more traditional multiple regression (MR) analysis. We discuss several PSM design choices and review the use of PSM in 86 articles in leading accounting journals from 2008–2014. We document a significant increase in the use of PSM from zero studies in 2008 to 26 studies in 2014. However, studies often oversell the capabilities of PSM, fail to disclose important design choices, and/or implement PSM in a theoretically inconsistent manner. We then empirically illustrate complications associated with PSM in three accounting research settings. We first demonstrate that when the treatment is not binary, PSM tends to confine analyses to a subsample of observations where the effect size is likely to be smallest. We also show that seemingly innocuous design choices greatly influence sample composition and estimates of the ATE. We conclude with suggestions for future research considering the use of matching methods. Data Availability: All data used are available from sources cited in the text.


2010 ◽  
Vol 24 (1) ◽  
pp. 5-22 ◽  
Author(s):  
Jürgen Baumert ◽  
Michael Becker ◽  
Marko Neumann ◽  
Roumiana Nikolova

Der vorliegende Beitrag geht der Frage nach, ob Schülerinnen und Schüler, die nach der vierten Klasse in Berlin in ein grundständiges Gymnasium wechseln, in Abhängigkeit vom Profil des besuchten Gymnasiums im Vergleich zu Grundschülern mit vergleichbaren Lernvoraussetzungen unterschiedliche Lernzuwächse im Leseverständnis, in Mathematik und Englisch erreichen. Auf der Datengrundlage der ELEMENT-Studie wurde die Leistungsentwicklung von Schülerinnen und Schülern an grundständigen Gymnasien (N = 1758) und Grundschulen (N = 3169) während der 5. und 6. Jahrgangsstufe mithilfe von Propensity Score Matching-Analysen (PSM) modelliert. Nach Kontrolle von leistungsrelevanten Unterschieden zwischen den Schülergruppen am Ende der 4. Jahrgangsstufe zeigten sich für das Leseverständnis am Ende der 6. Klasse keine statistisch signifikanten Unterschiede. Für die Mathematikleistung ließen sich Unterschiede lediglich zugunsten eines grundständigen Gymnasiums, das zum Untersuchungszeitpunkt noch kein spezifisches Profil entwickelt hatte, nachweisen. In der Domäne Englisch, in der die curricularen Unterschiede zwischen den Schulzweigen stärker akzentuiert sind, wurden positive Ergebnisse im Vergleich zu den Grundschulen für die so genannten Schnellläuferzüge, die englisch-bilingualen Klassen und das grundständige Gymnasium ohne spezifisches Profil ermittelt. Die Lernstände am Ende der 6. Klasse in den altsprachlichen Gymnasien fielen dagegen im Vergleich zu den Grundschulen geringer aus. Die Befunde widersprechen der Annahme, dass mit dem frühen Übergang auf ein grundständiges Gymnasium automatisch eine besondere Förderung der Lesefähigkeit und des mathematischen Verständnisses besonders leistungsfähiger Schülerinnen und Schüler erreicht werde. Die Ergebnisse zu den Englischleistungen weisen hingegen darauf hin, dass Unterschiede in der Leistungsentwicklung auftreten können, sofern die Aufteilung auf Schulen mit unterschiedlichen Bildungsprogrammen mit curricularen Unterschieden im Unterricht einhergeht. Methodische und inhaltliche Implikationen der Befunde und Grenzen ihrer Generalisierbarkeit werden diskutiert.


2008 ◽  
Vol 24 (3) ◽  
pp. 165-173 ◽  
Author(s):  
Niko Kohls ◽  
Harald Walach

Validation studies of standard scales in the particular sample that one is studying are essential for accurate conclusions. We investigated the differences in answering patterns of the Brief-Symptom-Inventory (BSI), Transpersonal Trust Scale (TPV), Sense of Coherence Questionnaire (SOC), and a Social Support Scale (F-SoZu) for a matched sample of spiritually practicing (SP) and nonpracticing (NSP) individuals at two measurement points (t1, t2). Applying a sample matching procedure based on propensity scores, we selected two sociodemographically balanced subsamples of N = 120 out of a total sample of N = 431. Employing repeated measures ANOVAs, we found an intersample difference in means only for TPV and an intrasample difference for F-SoZu. Additionally, a group × time interaction effect was found for TPV. While Cronbach’s α was acceptable and comparable for both samples, a significantly lower test-rest-reliability for the BSI was found in the SP sample (rSP = .62; rNSP = .78). Thus, when researching the effects of spiritual practice, one should not only look at differences in means but also consider time stability. We recommend propensity score matching as an alternative for randomization in variables that defy experimental manipulation such as spirituality.


2012 ◽  
Author(s):  
Xin Liu ◽  
Xiaobin Zhou ◽  
Jianjun Zhu ◽  
Jing-Jen Wang

2019 ◽  
Vol 29 (05) ◽  
pp. 267-274 ◽  
Author(s):  
Franziska Maria Kessemeier ◽  
Markus Bassler ◽  
Franz Petermann ◽  
Axel Kobelt-Pönicke

Zusammenfassung Ziel der Studie Die therapeutische Allianz ist ein wichtiger Wirkfaktor in der psychotherapeutischen Behandlung. Der Zusammenhang von Rehabilitationszufriedenheit und therapeutischer Allianz ist gut belegt. Arbeiten zum Einfluss des Migrationshintergrundes stehen aus. Untersucht wird, ob der Migrationsstatus Einfluss auf die therapeutische Allianz und die Rehabilitationszufriedenheit von PatientInnen der psychosomatischen Rehabilitation hat. Methodik Zunächst werden PatientInnen mit und ohne Migrationshintergrund hinsichtlich soziodemografischer Variablen und der Symptomschwere verglichen. Die gefundenen Unterschiede werden in einem Propensity Score Matching berücksichtigt. Die Patientengruppen werden vor und nach dem Matching mittels Varianzanalyse auf Unterschiede hinsichtlich ihrer Reha-Zufriedenheit und therapeutischen Allianz analysiert. Ergebnisse PatientInnen mit Migrationshintergrund waren häufiger weiblich, hatten ein niedrigeres Bildungsniveau und berichteten eine stärkere Symptomschwere. PatientInnen mit Migrationshintergrund bewerteten sowohl die Rehabilitationszufriedenheit als auch die therapeutische Allianz negativer. Die gefundenen Effekte waren jedoch sehr klein und konnten nach dem Matching nicht repliziert werden. Schlussfolgerungen Die negativere Bewertung der Rehabilitationszufriedenheit und der therapeutischen Allianz durch PatientInnen mit Migrationshintergrund ist auf ihre problematischere soziodemografische und psychosomatische Ausgangslage zurückzuführen. Werden diese Merkmale konstant gehalten, werden keine Unterschiede zwischen den Patientengruppen gefunden. Der hohe Zusammenhang von therapeutischer Allianz und Rehabilitationszufriedenheit unterstreicht die Bedeutung der therapeutischen Allianz für eine gelingende psychosomatische Rehabilitation.


2020 ◽  
Vol 60 (6) ◽  
Author(s):  
Laura Pasin ◽  
Massimiliano M. Marrocco Trischitta ◽  
Giovanni Landoni ◽  
Desiderio Piras ◽  
Pasquale Nardelli ◽  
...  

Sign in / Sign up

Export Citation Format

Share Document