Bifractal receiver operating characteristic curves: a formula for generating receiver operating characteristic curves in credit-scoring contexts

2021 ◽  
Author(s):  
Błażej Kochański
Keyword(s):  
Receiver Operating Characteristic ◽  
Operating Characteristic ◽  
Credit Scoring ◽  
Characteristic Curves ◽  
Receiver Operating Characteristic Curves ◽  
Receiver Operating

A conditional approach for the receiver operating characteristic curve construction to evaluate diagnostic test performance in a family-matched case–control design

2021 ◽  
pp. 096228022199595
Author(s):  
Yalda Zarnegarnia ◽  
Shari Messinger
Keyword(s):  
Receiver Operating Characteristic Curve ◽  
Receiver Operating Characteristic ◽  
Operating Characteristic ◽  
Characteristic Curve ◽  
Case Control ◽  
Paired Data ◽  
Characteristic Curves ◽  
Receiver Operating Characteristic Curves ◽  
Operating Characteristic Curve ◽  
Receiver Operating

Receiver operating characteristic curves are widely used in medical research to illustrate biomarker performance in binary classification, particularly with respect to disease or health status. Study designs that include related subjects, such as siblings, usually have common environmental or genetic factors giving rise to correlated biomarker data. The design could be used to improve detection of biomarkers informative of increased risk, allowing initiation of treatment to stop or slow disease progression. Available methods for receiver operating characteristic construction do not take advantage of correlation inherent in this design to improve biomarker performance. This paper will briefly review some developed methods for receiver operating characteristic curve estimation in settings with correlated data from case–control designs and will discuss the limitations of current methods for analyzing correlated familial paired data. An alternative approach using conditional receiver operating characteristic curves will be demonstrated. The proposed approach will use information about correlation among biomarker values, producing conditional receiver operating characteristic curves that evaluate the ability of a biomarker to discriminate between affected and unaffected subjects in a familial paired design.

Risikoberechnung mit Routinedaten? Entwicklung und Validierung multivariabler Modelle zur Prädiktion der 30- und 90-Tage-Mortalität nach chirurgischer Behandlung kolorektaler Karzinome

2018 ◽  
Vol 80 (11) ◽  
pp. 963-973
Author(s):  
Alexander Crispin ◽  
Brigitte Strahwald ◽  
Catherine Cheney ◽  
Ulrich Mansmann
Keyword(s):  
Receiver Operating Characteristic ◽  
Ridge Regression ◽  
Operating Characteristic ◽  
Pay For Performance ◽  
Characteristic Curves ◽  
Receiver Operating Characteristic Curves ◽  
Statistische Analyse ◽  
Icd 10 ◽  
Receiver Operating

Zusammenfassung Ziele Qualitätssicherung, Benchmarking und Pay for Performance (P4P) erfordern aussagekräftige Indikatoren sowie die adäquate Berücksichtigung der Risikostruktur der Patientenpopulation der jeweiligen Institution anhand geeigneter statistischer Modelle. Der Ansatz, Abrechnungsdaten zur Qualitätsmessung und Risikomodellierung zu verwenden, wird häufig kritisch gesehen. Ziel unserer Analysen war die exemplarische Entwicklung von Prädiktionsmodellen für die 30- und 90-Tage-Mortalität nach chirurgischer Therapie kolorektaler Karzinome mit Routinedaten. Studiendesign Vollerhebung der Patienten einer großen gesetzlichen Krankenkasse. Setting Chirurgische Kliniken im gesamten Bundesgebiet. Patienten 4283 bzw. 4124 Patienten mit Operationen kolorektaler Karzinome in den Jahren 2013 bzw. 2014. Prädiktoren Alter, Geschlecht, Haupt- und Nebendiagnosen sowie Tumorlokalisation aus den von den Kliniken an die Krankenkasse übermittelten Abrechnungsdaten gemäß §301 Sozialgesetzbuch V. Outcomes 30- und 90-Tage-Mortalität. Statistische Analyse Ableitung von Elixhauser Comorbidities, Charlson Conditions sowie Charlson Scores aus den ICD-10-Diagnosen. Entwicklung von Prädiktionsmodellen anhand eines penalisierten Regressionverfahrens (logistische Ridge Regression) in einer Lernstichprobe (Patienten des Jahres 2013). Beurteilung von Kalibrierung und Diskriminationsfähigkeit der Modelle in einer internen Validierungsstichprobe (Patienten des Jahres 2014) mithilfe von Kalibrierungskurven, Brier Scores und Analysen von Receiver Operating Characteristic Curves (ROC-Kurven) und der Flächen unter denselben (Areas Under the Curves, AUC). Ergebnisse Die 30- bzw. 90-Tage-Mortalität in der Lernstichprobe betrugen 5,7 bzw. 8,4%. Die entsprechenden Werte im Validierungssample waren 5,9% und gleichfalls 8,4%. Modelle auf der Basis der Elixhauser Comorbidities zeigten die beste Diskrimination mit AUC-Werten von 0,804 (95%-KI: 0,776–0,832) bzw. 0,805 (95%-KI: 0,782–0,828) für die 30- bzw. 90-Tage-Mortalität. Die zugehörigen Brier-Scores für die Elixhauser-Modelle betrugen 0,050 (95%-KI: 0,044–0,056) bzw. 0,067 (95%-KI: 0,060–0,074) und stimmten weitgehend mit denjenigen der konkurrierenden Modelle überein. Alle Modelle zeigten im Bereich niedriger prädizierter Wahrscheinlichkeiten eine gute Kalibrierung, bei höheren prädizierten Werten tendierten sie zur Überschätzung der Ereigniswahrscheinlichkeiten. Schlussfolgerung Trotz der augenscheinlich befriedigenden Ergebnisse zur Diskriminierung und Kalibrierung der vorgestellten Prädiktionsmodelle auf der Basis von Abrechnungsdaten ist deren Anwendung im Kontext von P4P kritisch zu sehen. Als Alternative bietet sich die Modellierung auf der Basis klinischer Register an, die ein umfassenderes, valideres Bild vermitteln dürften.

Sign in / Sign up

Export Citation Format

Share Document