Een grote internationale onderzoeksgroep heeft een checklist ontwikkeld om rekenmodellen, die de kans op ziektes of sterfte voorspellen en vaak achter medische apps of websites zitten, op hun kwaliteit en effectiviteit te beoordelen. Het Julius Centrum is onderdeel van deze onderzoeksgroep.

Op dit moment zijn er meer dan honderdduizend medische apps. Het is voor gebruikers en zorgverleners onduidelijk welke voorspellende modellen en apps betrouwbaar zijn. De checklist ‘PROBAST’ verscheen op 1 januari in het medisch-wetenschappelijke tijdschrift Annals of Internal Medicine.

Veel medische rekenmodellen voorspellen de kans op ziektes en sterfte op basis van karakteristieken zoals leeftijd, geslacht, symptomen en testuitslagen. Zo bestaat er bijvoorbeeld een model dat de kans inschat of een vrouw tijdens haar zwangerschap complicaties krijgt. Of een model dat de kans berekent dat een veertigjarige binnen tien jaar suikerziekte ontwikkelt, of de kans dat een man met prostaatkanker binnen twee jaar overlijdt wanneer hij wel of juist niet behandeld wordt. Deze kansen gebruiken zorgverleners vervolgens om leefstijl- en voedingsadvies- of behandelbeslissingen te nemen. Ook vormen deze voorspelmodellen de basis van de tienduizenden medische apps en websites die voor iedereen toegankelijk zijn via het internet.

Wildgroei
“De afgelopen decennia vond een wildgroei aan dit soort klinische voorspelmodellen en medische apps plaats. Zorgverleners, patiënten en burgers zien nu door de bomen het bos niet meer,” stelt prof. dr. Carl Moons van het Julius Centrum. Hij is één van de initiatiefnemers van de checklist. “Er bestaan naar schatting meer dan honderdduizend medische voorspelmodellen. We hebben recent nog aangetoond dat er maar liefst meer dan driehonderdvijftig modellen bestaan om alleen al het optreden van hart- en vaatziekten bij gezonde burgers te voorspellen. En dit is een voorzichtige schatting; het zijn er waarschijnlijk veel meer. Zorgverleners hebben geen idee welk model het meest geschikt is in welke situatie. 

Toepassing
De nieuwe checklist ‘PROBAST’ bestaat uit twintig items. Deze items behandelen verschillende aspecten, zoals het minimale aantal proefpersonen waarop is getest én of de gegevens op adequate wijze zijn gedefinieerd, gemeten en verzameld. Maar ook of de aspecten op de juiste wijze met statistische technieken zijn gecombineerd, geanalyseerd en gerapporteerd. "Dat moet allemaal kloppen en op wetenschappelijk verantwoorde wijze zijn gebeurd. Voor de meerderheid van de tienduizenden modellen in omloop weten we dat niet echt. Door middel van deze checklist kunnen onderzoekers het gepubliceerde of gebruikte voorspelmodel goed controleren, reproduceren en zelfs eventuele fraude in de rapportage beter opsporen. Maar belangrijker nog: beter beoordelen hoe een voorspelmodel toegepast kan worden in de praktijk.”

Gevaar
Gebrekkig ontwikkelde en geteste voorspelmodellen kunnen nadelig zijn voor patiënten en burgers, zegt Moons. “Het kan leiden tot het verkeerd inlichten van patiënten en hun familie over bijvoorbeeld het beloop van hun ziekte, tot het verkeerd voorschrijven van medicijnen, of juist het onterecht afzien van de behandeling van patiënten. De kans op hart- en vaatziekten binnen tien jaar, bijvoorbeeld, bepaalt of je patiënten langdurige cholesterol- of bloeddrukverlagers moet geven. Deze kansschatting gebeurt door zo’n klinisch voorspelmodel en dat moet dus wel een goed voorspelmodel zijn. Zeker als deze voorspelmodellen in medische apps of websites terecht komen die voor iedereen toegankelijk zijn; dan moet men er van uit kunnen gaan dat deze voorspelmodellen juist zijn. En dat weten we nu vaak niet.”

Als onderzoekers, gebruikers, zorgverleners  en medische richtlijnontwikkelaars deze checklist gaan gebruiken, wordt het sneller duidelijk of, en hoe, bruikbaar voorspelmodellen echt zijn. Moons: “Het zal de invoering en acceptatie van goede modellen vergroten en een schifting creëren met slechte of slecht onderbouwde voorspelmodellen. Dat is hard nodig, want we zien deze voorspelmodellen steeds vaker lukraak op het internet of in medische apps verschijnen waarna ze voor iedereen beschikbaar zijn. Voor publicaties over bijvoorbeeld medicijnonderzoek en diagnostische testen bestaan al dergelijke checklists.” Meer informatie is te vinden op de website van PROBAST (www.probast.org).