scholarly journals The use of bootstrapping when using propensity‐score matching without replacement: a simulation study

2014 ◽  
Vol 33 (24) ◽  
pp. 4306-4319 ◽  
Author(s):  
Peter C. Austin ◽  
Dylan S. Small
2021 ◽  
Vol 19 (1) ◽  
Author(s):  
Albee Ling ◽  
Maria Montez-Rath ◽  
Maya Mathur ◽  
Kris Kapphahn ◽  
Manisha Desai

Propensity score matching (PSM) has been widely used to mitigate confounding in observational studies, although complications arise when the covariates used to estimate the PS are only partially observed. Multiple imputation (MI) is a potential solution for handling missing covariates in the estimation of the PS. However, it is not clear how to best apply MI strategies in the context of PSM. We conducted a simulation study to compare the performances of popular non-MI missing data methods and various MI-based strategies under different missing data mechanisms. We found that commonly applied missing data methods resulted in biased and inefficient estimates, and we observed large variation in performance across MI-based strategies. Based on our findings, we recommend 1) estimating the PS after applying MI to impute missing confounders; 2) conducting PSM within each imputed dataset followed by averaging the treatment effects to arrive at one summarized finding; 3) a bootstrapped-based variance to account for uncertainty of PS estimation, matching, and imputation; and 4) inclusion of key auxiliary variables in the imputation model.


2019 ◽  
Vol 28 (6) ◽  
pp. 879-886 ◽  
Author(s):  
Rishi J. Desai ◽  
Richard Wyss ◽  
Younathan Abdia ◽  
Sengwee Toh ◽  
Margaret Johnson ◽  
...  

Author(s):  
Joris J. Komen ◽  
Svetlana V. Belitser ◽  
Richard Wyss ◽  
Sebastian Schneeweiss ◽  
Anne C. Taams ◽  
...  

2016 ◽  
Vol 27 (8) ◽  
pp. 2504-2518 ◽  
Author(s):  
Romain Pirracchio ◽  
Marco Carone

Consistency of the propensity score estimators rely on correct specification of the propensity score model. The propensity score is frequently estimated using a main effect logistic regression. It has recently been shown that the use of ensemble machine learning algorithms, such as the Super Learner, could improve covariate balance and reduce bias in a meaningful manner in the case of serious model misspecification for treatment assignment. However, the loss functions normally used by the Super Learner may not be appropriate for propensity score estimation since the goal in this problem is not to optimize propensity score prediction but rather to achieve the best possible balance in the covariate distribution between treatment groups. In a simulation study, we evaluated the benefit of a modification of the Super Learner by propensity score estimation geared toward achieving covariate balance between the treated and untreated after matching on the propensity score. Our simulation study included six different scenarios characterized by various degrees of deviation from the usual main term logistic model for the true propensity score and outcome as well as the presence (or not) of instrumental variables. Our results suggest that the use of this adapted Super Learner to estimate the propensity score can further improve the robustness of propensity score matching estimators.


2010 ◽  
Vol 24 (1) ◽  
pp. 5-22 ◽  
Author(s):  
Jürgen Baumert ◽  
Michael Becker ◽  
Marko Neumann ◽  
Roumiana Nikolova

Der vorliegende Beitrag geht der Frage nach, ob Schülerinnen und Schüler, die nach der vierten Klasse in Berlin in ein grundständiges Gymnasium wechseln, in Abhängigkeit vom Profil des besuchten Gymnasiums im Vergleich zu Grundschülern mit vergleichbaren Lernvoraussetzungen unterschiedliche Lernzuwächse im Leseverständnis, in Mathematik und Englisch erreichen. Auf der Datengrundlage der ELEMENT-Studie wurde die Leistungsentwicklung von Schülerinnen und Schülern an grundständigen Gymnasien (N = 1758) und Grundschulen (N = 3169) während der 5. und 6. Jahrgangsstufe mithilfe von Propensity Score Matching-Analysen (PSM) modelliert. Nach Kontrolle von leistungsrelevanten Unterschieden zwischen den Schülergruppen am Ende der 4. Jahrgangsstufe zeigten sich für das Leseverständnis am Ende der 6. Klasse keine statistisch signifikanten Unterschiede. Für die Mathematikleistung ließen sich Unterschiede lediglich zugunsten eines grundständigen Gymnasiums, das zum Untersuchungszeitpunkt noch kein spezifisches Profil entwickelt hatte, nachweisen. In der Domäne Englisch, in der die curricularen Unterschiede zwischen den Schulzweigen stärker akzentuiert sind, wurden positive Ergebnisse im Vergleich zu den Grundschulen für die so genannten Schnellläuferzüge, die englisch-bilingualen Klassen und das grundständige Gymnasium ohne spezifisches Profil ermittelt. Die Lernstände am Ende der 6. Klasse in den altsprachlichen Gymnasien fielen dagegen im Vergleich zu den Grundschulen geringer aus. Die Befunde widersprechen der Annahme, dass mit dem frühen Übergang auf ein grundständiges Gymnasium automatisch eine besondere Förderung der Lesefähigkeit und des mathematischen Verständnisses besonders leistungsfähiger Schülerinnen und Schüler erreicht werde. Die Ergebnisse zu den Englischleistungen weisen hingegen darauf hin, dass Unterschiede in der Leistungsentwicklung auftreten können, sofern die Aufteilung auf Schulen mit unterschiedlichen Bildungsprogrammen mit curricularen Unterschieden im Unterricht einhergeht. Methodische und inhaltliche Implikationen der Befunde und Grenzen ihrer Generalisierbarkeit werden diskutiert.


Sign in / Sign up

Export Citation Format

Share Document