Semiautomatische validatie van predictiemodellen goed en snel alternatief

Semiautomatische validatie van predictiemodellen met Evidencio, het eerste open platform voor online medische predictiemodellen ter wereld, is een goed alternatief voor handmatige validatie. Dat concluderen Cornelia van Steenbeek (IKNL, Universiteit Twente) en collega’s in een publicatie in BMC Medical Research Methodology. Een van de voordelen het Evidencio-model is dat hiermee het aantal gevalideerde predictiemodellen in de klinische praktijk sneller en gebruiksvriendelijker kan worden uitgebreid. Een ander pluspunt is dat er geen identificeerbare data nodig zijn, waardoor de privacy van patiënten maximaal is geborgd.

Klinische predictiemodellen worden niet routinematig gevalideerd. Om de validatieprocedures te vergemakkelijken heeft Evidencio een instrument ontwikkeld om dit proces gedeeltelijk te automatiseren. Het doel van deze studie was dan ook te evalueren of semiautomatische validatie een betrouwbare vervanging kan zijn voor handmatige validatie.

Opzet en resultaten

De onderzoekers selecteerden vier verschillende predictiemodellen die in Nederland gebruikt worden binnen de borstkankerzorg: CancerMath, INFLUENCE, Predicted Probability of Axillary Metastasis en PREDICT v.2.0. Gegevens van patiënten werden verkregen uit de Nederlandse Kankerregistratie (NKR) volgens de inclusiecriteria van de oorspronkelijke populatie.

Vervolgens werden de kalibratie (“hoe goed voorspelt het model de uitkomst”) en discriminatie (“hoe goed onderscheidt het model casussen van non-casussen”) vergeleken tussen semiautomatische en handmatige validatie. Uit de vergelijking blijkt dat de gegenereerde kalibratielijnen van alle modellen minimaal (niet klinisch relevant) verschilden tussen semiautomatische validatie en handmatige validatie. De discriminatie was identiek voor beide validatiemethoden.

Conclusie en aanbevelingen

Cornelia van Steenbeek en collega’s concluderen op basis van deze bevindingen dat semiautomatische validatie met Evidencio een goed alternatief is voor handmatige validatie om het aantal validaties te verhogen van in de klinische praktijk gebruikte predictiemodellen. Bovendien wordt semiautomatische validatie beschouwd als een gebruiksvriendelijk alternatief dat veel tijd kan besparen in vergelijking met handmatige validatie. De verwachting is dat met behulp van semiautomatische validatie meer predictiemodellen gevalideerd zullen gaan worden. Dit draagt bij aan accuratere voorspelling van de uitkomsten van behandelingen en dus betere aanbevelingen voor de behandeling van specifieke patiënten met borstkanker.

Doordat de onderzoekers diverse onderliggende modelstructuren evalueerden in deze studie, kunnen de resultaten van dit onderzoek gegeneraliseerd worden naar andere predictiemodellen. Dit betekent dat het hele vertaalproces van formules en onderliggende scripts naar andere datasets in een statistisch programma kan worden voorkomen. Daarmee wordt veel tijd bespaard, doordat ervaring met statische programma’s niet langer een vereiste is om een validatie te kunnen uitvoeren.

Privacy patiënten

Een ander belangrijk voordeel is het behoud van de privacy van alle geïncludeerde patiënten tijdens het validatieproces. Dit wordt bereikt door in de dataset uitsluitend die variabelen op te nemen die nodig zijn voor de validatie. In geen enkel predictiemodel is specifieke informatie van patiënten nodig die in hoge mate herleidbaar zijn. Op deze manier komt er geen identificeerbare informatie online beschikbaar. Een tweede voordeel is dat de gebruikte data alleen tijdelijk worden opgeslagen tijdens het validatieproces en achteraf door de gebruiker verwijderd kunnen worden, waardoor deze gegevens niet beschikbaar zijn voor anderen. De privacy van patiënten is dus geborgd en het validatieproces vindt op veilige wijze plaats.

Gerelateerd nieuws

Patiënt met kanker wil specifieke overlevingscijfers: voor vier kankersoorten is deze informatie nu beschikbaar

moeder en dochter

Vorig jaar leverde IKNL specifieke overlevingscijfers voor borstkanker, darmkanker, longkanker en prostaatkanker op basis van een aantal patiënt- en tumorkenmerken. In de pilot konden deelnemers van kanker.nl deze cijfers raadplegen, nadat zij waren ingelogd met hun account. De pilot is succesvol afgesloten en nu komen de specifieke overlevingscijfers voor deze vier tumorsoorten voor bezoekers aan kanker.nl openbaar beschikbaar en is inloggen met een account niet meer nodig.

lees verder

Behandelresultaten van ROS1 longkanker in Nederland

arts laptop longkanker

ROS1 translocatie is een zeldzame vorm van longkanker die gevoelig is voor behandeling met een eiwitremmer. In de studie van Deirdre Hekkelman-ten Berge, arts-onderzoeker in het Erasmus Medisch Centrum en radioloog in het Admiraal de Ruiter ziekenhuis, en collega's werd onderzocht hoe vaak ROS1 voorkomt in Nederland, hoe het behandeld werd en wat de praktijkresultaten waren. De tweejaars-overleving na behandeling met eiwitremmers was 53%. Progressievrije overleving was slechts 8.6 maanden en werd vooral beperkt door het optreden van uitzaaiingen in de hersenen. De onderzoekers concluderen dat bij deze patiëntengroep al op het moment van diagnose een hersenscan moet worden uitgevoerd en dat er behoefte bestaat aan nieuwe eiwitremmers die ook actief zijn in de hersenen.

lees verder