Onderzoek laat aanzienlijke verschillen zien tussen Watson en Oncoguide
Onderzoekers van AMC hebben een onderzoeksprotocol ontwikkeld, waarmee beslisondersteuningsinstrumenten systematisch kunnen worden geëvalueerd. Het protocol is gebaseerd op de evaluatie van 190 door experts opgestelde virtuele casussen voor adjuvante behandeling van patiënten met stadium I t/m III coloncarcinoom. Het protocol werd toegepast op het ‘cognitieve’ beslisondersteuningssysteem IBM Watson voor Oncologie en Oncoguide van IKNL dat ontwikkeld is op basis van Nederlandse richtlijnen. De aanbevelingen van de twee systemen werden met elkaar vergeleken. De aanbevelingen van IBM Watson werden bovendien vergeleken met de Amerikaanse NCCN richtlijnaanbevelingen.
De vergelijking laat aanzienlijke variatie zien in overeenkomstscores tussen IBM Watson en Oncoguide. In 69 van de casussen (36%) weken de aanbevelingen van IBM Watson af van Oncoguide. Daarnaast bleek dat in 96 casussen (51%) de aanbeveling “ter overweging” door IBM Watson niet overeen te komen met de aanbevelingen door Oncoguide. De verschillen tussen de aanbevelingen van IBM Watson en de NCCN-richtlijnaanbevelingen waren minder groot.
Verschillen in richtlijnen
De resultaten laten zien dat de verschillen in aanbevelingen tussen Watson en Oncoguide ten dele toegeschreven kunnen worden aan internationale verschillen in richtlijnen. De onderzoekers konden geen uitspraken doen of de Amerikaanse richtlijnen daadwerkelijk beter of slechter zijn dan de Nederlandse richtlijnaanbevelingen. Ze concluderen wel dat er voor implementatie van Watson buiten de Verenigde Staten lokale aanpassingen nodig zijn.
De onderzoekers benadrukken verder nog een belangrijk risico van ‘blackbox’ beslisondersteuningssystemen (zoals IBM Watson) ten opzichte van transparante, regelgebaseerde systemen zoals Oncoguide. Als bijvoorbeeld de leeftijd van een patiënt niet in een aanbeveling als overweging is meegenomen, dan is dat in een systeem als Oncoguide meteen duidelijk. Een arts kan dit vervolgens zelf compenseren. Bij blackbox-systemen is het niet duidelijk hoe een aanbeveling tot stand komt. Gebruikers van het systeem hebben dus geen idee of die leeftijd wel of niet is meegenomen en of dat verandert bij een nieuwe versie van het systeem. Het onderzoeksprotocol kan dan dienst doen als instrument voor regelmatige herijking.
- Lotte Keikes, Stephanie Medlock, Daniël J. van de Berg, Shuxin Zhang, Onno R. Guicherit, Cornelis J.A. Punt, Martijn G.H. van Oijen. ‘The first steps in the evaluation of a "black-box" decision support tool: a protocol and feasibility study for the evaluation of Watson for Oncology.’ Journal of Clinical and Translational Research 2017; 3(S3).
- Meer informatie over deze publicatie is verkrijgbaar via bibliotheek@iknl.nl
Oncoguide biedt zorgverleners digitale beslisondersteuning op basis van richtlijnen weergegeven in beslisbomen in een app en als website. Het instrument is ontwikkeld door IKNL. In Oncoguide zijn tot dusver beslisbomen opgenomen van de richtlijnen borstkanker, darmkanker, prostaatkanker en gynaecologie (CIN en cervixcytologie). Diverse (richtlijn)werkgroepen zijn bezig om een vertaalslag te maken van de tekstuele richtlijnen naar digitale beslisbomen. Ook voor andere kankersoorten komen dergelijke beslisbomen beschikbaar.
Het doel van Oncoguide is zorgprofessionals en patiënten te ondersteunen bij het nemen van behandelbeslissingen. Elke dag komen er nieuwe inzichten uit wetenschappelijk onderzoek bij die relevant kunnen zijn voor persoonsgerichte behandeling. Het wordt daarom steeds uitdagender voor medisch specialisten om alle kennis uit medische literatuur en databases actueel te houden. Oncoguide biedt hierbij ondersteuning door wetenschappelijke publicaties, data en andere afwegingen te combineren die relevant kunnen zijn voor individuele patiënten.
- Meer informatie: Oncoguide.
