Onderzoek laat aanzienlijke verschillen zien tussen Watson en Oncoguide

Onderzoekers van AMC hebben een onderzoeksprotocol ontwikkeld, waarmee beslisondersteuningsinstrumenten systematisch kunnen worden geëvalueerd. Het protocol is gebaseerd op de evaluatie van 190 door experts opgestelde virtuele casussen voor adjuvante behandeling van patiënten met stadium I t/m III coloncarcinoom. Het protocol werd toegepast op het ‘cognitieve’ beslisondersteuningssysteem IBM Watson voor Oncologie en Oncoguide van IKNL dat ontwikkeld is op basis van Nederlandse richtlijnen. De aanbevelingen van de twee systemen werden met elkaar vergeleken. De aanbevelingen van IBM Watson werden bovendien vergeleken met de Amerikaanse NCCN richtlijnaanbevelingen.

De vergelijking laat aanzienlijke variatie zien in overeenkomstscores tussen IBM Watson en Oncoguide. In 69 van de casussen (36%) weken de aanbevelingen van IBM Watson af van Oncoguide. Daarnaast bleek dat in 96 casussen (51%) de aanbeveling “ter overweging” door IBM Watson niet overeen te komen met de aanbevelingen door Oncoguide. De verschillen tussen de aanbevelingen van IBM Watson en de NCCN-richtlijnaanbevelingen waren minder groot.

Verschillen in richtlijnen

De resultaten laten zien dat de verschillen in aanbevelingen tussen Watson en Oncoguide ten dele toegeschreven kunnen worden aan internationale verschillen in richtlijnen. De onderzoekers konden geen uitspraken doen of de Amerikaanse richtlijnen daadwerkelijk beter of slechter zijn dan de Nederlandse richtlijnaanbevelingen. Ze concluderen wel dat er voor implementatie van Watson buiten de Verenigde Staten lokale aanpassingen nodig zijn. 

De onderzoekers benadrukken verder nog een belangrijk risico van ‘blackbox’ beslisondersteuningssystemen (zoals IBM Watson) ten opzichte van transparante, regelgebaseerde systemen zoals Oncoguide. Als bijvoorbeeld de leeftijd van een patiënt niet in een aanbeveling als overweging is meegenomen, dan is dat in een systeem als Oncoguide meteen duidelijk. Een arts kan dit vervolgens zelf compenseren. Bij blackbox-systemen is het niet duidelijk hoe een aanbeveling tot stand komt. Gebruikers van het systeem hebben dus geen idee of die leeftijd wel of niet is meegenomen en of dat verandert bij een nieuwe versie van het systeem. Het onderzoeksprotocol kan dan dienst doen als instrument voor regelmatige herijking.
 

Oncoguide biedt zorgverleners digitale beslisondersteuning op basis van richtlijnen weergegeven in beslisbomen in een app en als website. Het instrument is ontwikkeld door IKNL. In Oncoguide zijn tot dusver beslisbomen opgenomen van de richtlijnen borstkanker, darmkanker, prostaatkanker en gynaecologie (CIN en cervixcytologie). Diverse (richtlijn)werkgroepen zijn bezig om een vertaalslag te maken van de tekstuele richtlijnen naar digitale beslisbomen. Ook voor andere kankersoorten komen dergelijke beslisbomen beschikbaar. 

Het doel van Oncoguide is zorgprofessionals en patiënten te ondersteunen bij het nemen van behandelbeslissingen. Elke dag komen er nieuwe inzichten uit wetenschappelijk onderzoek bij die relevant kunnen zijn voor persoonsgerichte behandeling. Het wordt daarom steeds uitdagender voor medisch specialisten om alle kennis uit medische literatuur en databases actueel te houden. Oncoguide biedt hierbij ondersteuning door wetenschappelijke publicaties, data en andere afwegingen te combineren die relevant kunnen zijn voor individuele patiënten.

Gerelateerd

PSA-screening op prostaatkanker: een ‘snelle’ richtlijn voor de klinische praktijk

Door introductie van de PSA-test is het aantal mannen dat wordt gediagnosticeerd en behandeld vanwege prostaatkanker toegenomen, maar veel van deze mannen zouden nooit enige symptomen van prostaatkanker of sterfte als gevolg van deze ziekte hebben ondervonden. Een internationale groep urologen, patiënten, huisartsen en onderzoekers doen daarom in de British Journal of Medicine een voorstel voor een richtlijn met een ‘zwakke aanbeveling’ tégen het aanbieden van PSA-screening in de context van een bevolkingsonderzoek. De aanbeveling is ‘zwak’, omdat er slechts een klein maar onzeker voordeel is van screening op daling van de overlijdenskans door prostaatkanker, waarbij de voordelen niet opwegen tegen de nadelen.

lees verder

Inzet genexpressietest ligt deels buiten indicatiegebied richtlijn borstkanker

Genexpressieprofielen worden relatief vaak gebruikt in Nederland om de besluitvorming rond adjuvante chemotherapie te ondersteunen bij patiënten met een vroeg stadium van borstkanker, hoewel dat niet in alle gevallen wordt aanbevolen in oncologische richtlijnen. Dat blijkt uit onderzoek van Kay Schreuder (IKNL) en collega’s. Ook stellen zij vast dat de uitslag van genexpressieprofielen niet altijd wordt nageleefd. Dit duidt op de behoefte aan reproduceerbare en objectieve instrumenten om deze besluitvorming beter te kunnen onderbouwen.

lees verder