Study design
De chirurgische literatuur kan grofweg worden ingedeeld in artikelen die primair betrekking hebben op therapie, prognose, schade, economische analyse of artikelen die zich richten op overzichten, om er een paar te noemen.5 Binnen elke indeling is er een hiërarchie van bewijs, dat wil zeggen dat sommige studies beter geschikt zijn dan andere, om bijvoorbeeld een vraag over therapie te beantwoorden, en wellicht de “waarheid” nauwkeuriger weergeven. Het vermogen van een studie om dit te doen berust op twee belangrijke bijdragende factoren, de studieopzet en de studiekwaliteit.3 In deze context zullen wij ons voor het grootste deel richten op die studies die therapie behandelen, aangezien dit over het algemeen de meest voorkomende studie is in de orthopedische chirurgische literatuur.
De beschikbare therapeutische literatuur kan grofweg worden gecategoriseerd als die studies van observationele aard en die studies die een gerandomiseerde experimentele opzet hebben.2 De reden waarom studies in een hiërarchie worden geplaatst, is dat de studies aan de top als het “beste bewijs” worden beschouwd.5 In het geval van therapeutisch onderzoek is dit de gerandomiseerde gecontroleerde trial (RCT) en meta-analyses van RCT’s. RCT’s hebben, door de aard van de randomisatie, de mogelijkheid om bias te helpen controleren.6,7 Bias (waarvan er vele soorten zijn) kan de uitkomst van een studie zodanig beïnvloeden dat de studie het ware effect van de behandeling kan over- of onderschatten.8 Randomisatie kan dit bereiken door niet alleen te controleren voor bekende prognostische variabelen, maar ook en vooral door te controleren voor onbekende prognostische variabelen binnen een steekproefpopulatie.7 Dat wil zeggen dat de randomisatie een gelijke verdeling van prognostische variabelen (zowel bekende als onbekende) binnen zowel de controle- als de behandelingsgroepen binnen een studie moet kunnen bewerkstelligen. Deze maatregel ter beheersing van de bias draagt bij tot een nauwkeuriger schatting van de waarheid.6 De studies van meer observationele aard hebben binnen hun opzet gebieden met bias die in de gerandomiseerde trial niet aanwezig zijn.
Meta-analyses van gerandomiseerde gecontroleerde trials gebruiken in feite de gegevens van individuele RCT’s en voegen deze statistisch samen.5,9 Dit vergroot effectief het aantal patiënten waarvan de gegevens werden verkregen, waardoor de effectieve steekproefgrootte toeneemt. Het grote nadeel van deze pooling is dat deze afhankelijk is van de kwaliteit van de gebruikte RCT’s.9 Als bijvoorbeeld drie RCT’s gunstig zijn voor een behandeling en twee niet, of als de resultaten tussen de verschillende RCT’s een grote variatie vertonen tussen de schattingen van het behandelingseffect met grote betrouwbaarheidsintervallen (d.w.z. de precisie van de puntschatting van het behandelingseffect is gering), dan is er een variabele (of zijn er variabelen) die inconsistente resultaten tussen de studies veroorzaakt (een van die variabelen kan in feite een verschil in studiekwaliteit zijn) en zal de kwaliteit van de bruikbare resultaten van statistische pooling gering zijn. Indien echter vijf methodologisch goed uitgevoerde RCT’s worden gebruikt, die alle ten gunste van een behandeling zijn en nauwkeurige metingen van het behandelingseffect hebben (d.w.z. nauwe betrouwbaarheidsintervallen), dan zijn de gegevens die door statistische pooling worden verkregen, veel geloofwaardiger. De eerstgenoemde studies kunnen heterogeen en de laatstgenoemde homogeen worden genoemd.9
Hiertegenover staat het laagste niveau in de hiërarchie (afgezien van de mening van deskundigen), namelijk de case report en de case series.3 Deze zijn gewoonlijk retrospectief van aard en hebben geen vergelijkingsgroep. Zij kunnen slechts uitkomsten geven voor één subgroep van de populatie (degenen met de interventie). Er is kans op vertekening, vooral als de gegevensverzameling of de follow-up onvolledig is, wat bij retrospectieve studies het geval kan zijn. Bovendien zijn deze studies meestal gebaseerd op de ervaring van één chirurg of één centrum, wat twijfels kan doen rijzen over de generaliseerbaarheid van de resultaten. Zelfs met deze nadelen kan deze studieopzet in vele opzichten nuttig zijn. Zij kunnen doeltreffend worden gebruikt voor het opstellen van hypothesen en kunnen informatie verschaffen over zeldzame ziekte-entiteiten of complicaties die met bepaalde procedures of implantaten kunnen worden geassocieerd. Bijvoorbeeld, het rapporteren van infectie percentages na een grote serie van tibiale fracturen behandeld met een geruimde intramedullary nagel10 of het percentage van hardware falen van een bepaald implantaat om er een paar te noemen.
Het volgende niveau van studie is de case-control. De case-control begint met een groep die een interessante uitkomst heeft gehad en kijkt terug naar andere soortgelijke personen om te zien welke factoren in de onderzoeksgroep aanwezig kunnen zijn geweest en met de uitkomst in verband kunnen worden gebracht. Laten we een hypothetisch voorbeeld nemen. De patiënten die een nonunion hebben na een tibiale schachtfractuur behandeld met een intramedullaire nagel. Als men zou willen zien welke prognostische factoren daartoe kunnen hebben bijgedragen, zou een groep die gematcht is voor de bekende prognostische variabelen zoals leeftijd, behandelingstype, fractuurpatroon enz. dan kunnen worden vergeleken en zou een analyse van andere prognostische variabelen zoals roken, niet-steroïdaal anti-inflammatoir gebruik of fractuurpatroon kunnen worden gedaan om te zien of er een verband bestaat tussen deze variabelen en de ontwikkeling van nonunion. Het nadeel van deze opzet is dat er onbekende of nog niet geïdentificeerde risicofactoren kunnen zijn die niet zouden kunnen worden geanalyseerd. In de gevallen die wel bekend zijn, kan de sterkte van de associatie echter worden bepaald en gegeven in de vorm van odds ratio’s of soms relatieve risico’s. Andere sterke punten van deze studieopzet zijn dat zij gewoonlijk minder duur is om uit te voeren en een sneller “antwoord” op een specifieke vraag kan opleveren. Zij kunnen ook analyse van meerdere prognostische factoren en relaties binnen deze factoren mogelijk maken om potentiële associaties met de uitkomst van keuze (in dit geval nonunion) te helpen bepalen.
In tegenstelling tot de case-control en iets hoger op de niveaus van bewijshiërarchie,3 wordt de cohortstudie gewoonlijk op een prospectieve manier uitgevoerd (hoewel het retrospectief kan worden gedaan) en volgt gewoonlijk twee groepen van patiënten. Een van deze groepen heeft een risicofactor of prognostische factor van belang en de andere niet. De groepen worden gevolgd om na te gaan hoe snel een ziekte of een specifiek resultaat zich ontwikkelt bij degenen met de risicofactor in vergelijking met degenen zonder risicofactor. Aangezien dit meestal prospectief gebeurt, valt het hoger in de hiërarchie, aangezien de gegevensverzameling en de follow-up nauwkeuriger kunnen worden gecontroleerd en kan worden getracht ze zo volledig en nauwkeurig mogelijk te maken. Dit type studieopzet kan in sommige gevallen zeer krachtig zijn. Indien men bijvoorbeeld zou willen nagaan wat het effect van roken is op het aantal nonunionen, zou het niet ethisch of algemeen mogelijk zijn om patiënten met fracturen te randomiseren in degenen die gaan roken en degenen die niet gaan roken. Door echter twee groepen patiënten te volgen, rokers en niet-rokers met bijvoorbeeld scheenbeenbreuken, kan men het percentage niet-unionen tussen de twee groepen documenteren. In dit geval kunnen, wegens de prospectieve opzet, de groepen tenminste gematched worden om te proberen de bias te beperken van tenminste die prognostische variabelen die bekend zijn, zoals leeftijd, fractuurpatroon of behandelingstype om er een paar te noemen.
Het is belangrijk om het onderscheid tussen studieontwerpen te begrijpen. Sommige onderzoekers stellen dat goed opgezette observationele studies tot vergelijkbare conclusies leiden als RCT’s.11 Anderen suggereren echter dat observationele studies een groter potentieel hebben om behandelingseffecten te over- of onderschatten. Er zijn inderdaad voorbeelden in zowel medische als orthopedische chirurgische specialismen die aantonen dat er discrepante resultaten kunnen worden gevonden tussen gerandomiseerde en niet-gerandomiseerde trials.6,8,12 Een recent niet-chirurgisch voorbeeld hiervan is hormoonvervangingstherapie bij postmenopauzale vrouwen.13,14 Eerdere observationele studies suggereerden dat er een significant effect was van hormoonvervangingstherapie op de botdichtheid met een gunstig risicoprofiel. Een recente grote RCT vond echter een toenemende incidentie van schadelijke cardiale en andere bijwerkingen bij degenen die hormoonvervangingstherapie ondergingen, risico’s die tot dan toe waren onderschat door observationele studies.13,14 Als gevolg hiervan heeft de behandeling van postmenopauzale osteoporose een verschuiving ondergaan in de eerstelijnstherapie.13 In de orthopedische literatuur is gesuggereerd dat bij de beoordeling van gerandomiseerde en niet-gerandomiseerde trials met studies van artroplastiek versus interne fixatie, niet-gerandomiseerde studies het risico van sterfte na artroplastiek overschatten en het risico van revisiechirurgie bij artroplastiek onderschatten.8 Interessant genoeg vonden zij ook dat in de niet-gerandomiseerde studies die vergelijkbare resultaten hadden als gerandomiseerde studies, tussen de groepen werd gecontroleerd voor de leeftijd van de patiënt, het geslacht en de verplaatsing van de fractuur.8 Dit illustreert het belang van zowel het controleren van variabelen als van randomisatie die zal controleren voor potentieel belangrijke maar nog onbekende variabelen.
Hiermee plaatst het gebruikte type studieopzet de studie in grote lijnen in een hiërarchie van bewijsmateriaal van de case series tot aan de gerandomiseerde gecontroleerde trial. Er is echter ook een interne hiërarchie binnen de algemene niveaus van bewijsvoering en die is gewoonlijk gebaseerd op de studiemethodologie en de algemene kwaliteit.