Semiautomatische validatie van predictiemodellen goed en snel alternatief

Klinische predictiemodellen worden niet routinematig gevalideerd. Om de validatieprocedures te vergemakkelijken heeft Evidencio een instrument ontwikkeld om dit proces gedeeltelijk te automatiseren. Het doel van deze studie was dan ook te evalueren of semiautomatische validatie een betrouwbare vervanging kan zijn voor handmatige validatie.

Opzet en resultaten

De onderzoekers selecteerden vier verschillende predictiemodellen die in Nederland gebruikt worden binnen de borstkankerzorg: CancerMath, INFLUENCE, Predicted Probability of Axillary Metastasis en PREDICT v.2.0. Gegevens van patiënten werden verkregen uit de Nederlandse Kankerregistratie (NKR) volgens de inclusiecriteria van de oorspronkelijke populatie.

Vervolgens werden de kalibratie (“hoe goed voorspelt het model de uitkomst”) en discriminatie (“hoe goed onderscheidt het model casussen van non-casussen”) vergeleken tussen semiautomatische en handmatige validatie. Uit de vergelijking blijkt dat de gegenereerde kalibratielijnen van alle modellen minimaal (niet klinisch relevant) verschilden tussen semiautomatische validatie en handmatige validatie. De discriminatie was identiek voor beide validatiemethoden.

Conclusie en aanbevelingen

Cornelia van Steenbeek en collega’s concluderen op basis van deze bevindingen dat semiautomatische validatie met Evidencio een goed alternatief is voor handmatige validatie om het aantal validaties te verhogen van in de klinische praktijk gebruikte predictiemodellen. Bovendien wordt semiautomatische validatie beschouwd als een gebruiksvriendelijk alternatief dat veel tijd kan besparen in vergelijking met handmatige validatie. De verwachting is dat met behulp van semiautomatische validatie meer predictiemodellen gevalideerd zullen gaan worden. Dit draagt bij aan accuratere voorspelling van de uitkomsten van behandelingen en dus betere aanbevelingen voor de behandeling van specifieke patiënten met borstkanker.

Doordat de onderzoekers diverse onderliggende modelstructuren evalueerden in deze studie, kunnen de resultaten van dit onderzoek gegeneraliseerd worden naar andere predictiemodellen. Dit betekent dat het hele vertaalproces van formules en onderliggende scripts naar andere datasets in een statistisch programma kan worden voorkomen. Daarmee wordt veel tijd bespaard, doordat ervaring met statische programma’s niet langer een vereiste is om een validatie te kunnen uitvoeren.

Privacy patiënten

Een ander belangrijk voordeel is het behoud van de privacy van alle geïncludeerde patiënten tijdens het validatieproces. Dit wordt bereikt door in de dataset uitsluitend die variabelen op te nemen die nodig zijn voor de validatie. In geen enkel predictiemodel is specifieke informatie van patiënten nodig die in hoge mate herleidbaar zijn. Op deze manier komt er geen identificeerbare informatie online beschikbaar. Een tweede voordeel is dat de gebruikte data alleen tijdelijk worden opgeslagen tijdens het validatieproces en achteraf door de gebruiker verwijderd kunnen worden, waardoor deze gegevens niet beschikbaar zijn voor anderen. De privacy van patiënten is dus geborgd en het validatieproces vindt op veilige wijze plaats.

• Van Steenbeek CD*, van Maaren MC*, Siesling S, (* gedeeld eerste auteur), Witteveen A, Verbeek XAAM, Koffijberg H. ‘Facilitating validation of prediction models: a comparison of manual and semi-automated validation using registry-based data of breast cancer patients in the Netherlands.’ BMC Med Res Methodol. 2019 Jun 8;19(1):117.

• Meer informatie over deze publicatie is verkrijgbaar via bibliotheek@iknl.nl