Metaanaliza, przegląd systematyczny i umbrella review – czym się różnią?

Przegląd systematyczny służy systematycznemu wyszukaniu, ocenie i syntezie badań. Metaanaliza jest metodą statystycznego łączenia ich wyników. Umbrella review, czyli przegląd parasolowy, syntetyzuje natomiast istniejące przeglądy systematyczne. Nie są to zatem trzy zamienne nazwy ani kolejne stopnie jakości publikacji.

W dalszej części artykułu pokazujemy, czym różnią się te podejścia, kiedy można połączyć wyniki badań oraz jakich błędów unikać przy planowaniu własnej pracy naukowej.

Co to jest przegląd systematyczny i jak powstaje?

Wyobraźmy sobie, że chcemy ocenić, czy określona interwencja dietetyczna zmniejsza objawy choroby. Możemy wyszukać kilka znanych publikacji i opisać ich wnioski. Możemy też wcześniej ustalić pytanie badawcze, kryteria kwalifikacji badań i sposób przeszukania literatury, a następnie konsekwentnie zastosować te zasady.

Właśnie to drugie podejście stanowi podstawę przeglądu systematycznego. Jego celem jest odnalezienie i ocena dostępnych badań spełniających określone kryteria oraz synteza ich wyników. W klasycznym przeglądzie badań pierwotnych analizujemy prace, w których autorzy zebrali dane, np. przeprowadzili badanie kliniczne lub obserwacyjne.

O systematyczności decyduje przejrzysta, zaplanowana metodologia, a nie długość bibliografii. W praktyce praca obejmuje:

• pytanie badawcze i protokół — ustalenie zakresu oraz metod przed rozpoczęciem właściwego przeglądu,
• wyszukiwanie i selekcję — udokumentowane poszukiwanie badań i kwalifikowanie ich według ustalonych kryteriów,
• zebranie danych i ocenę ryzyka błędu — sprawdzenie, jakie wyniki uzyskano i jakie ograniczenia mogą na nie wpływać,
• syntezę i interpretację — zestawienie wyników oraz sformułowanie wniosków z uwzględnieniem niepewności.

Taki proces ogranicza możliwość dobierania publikacji pod oczekiwany wniosek [1].

Do przejrzystego opisania pracy służy m.in. PRISMA 2020. PRISMA jest wytyczną raportowania, sama obecność diagramu selekcji nie gwarantuje poprawnego wykonania przeglądu. Diagram pokazuje przepływ publikacji, ale nie zastępuje uzasadnienia decyzji metodologicznych [2].

Co to jest metaanaliza i kiedy można połączyć wyniki badań?

Metaanaliza jest metodą statystycznego łączenia wyników badań. Może być częścią przeglądu systematycznego, gdy dostępne dane pozwalają oszacować wspólny efekt. W zależności od pytania może to być np. różnica średnich albo ryzyko względne, wraz z przedziałem ufności. W typowych metodach badania otrzymują wagi związane z precyzją ich wyników i przyjętym modelem analizy [3].

W naszym przykładzie sama informacja, że wszystkie publikacje dotyczą diety, nie wystarcza. Przed połączeniem wyników trzeba porównać:

• populację — np. wiek pacjentów i rozpoznanie choroby,
• interwencję i grupę kontrolną — co stosowano i z czym to porównywano,
• punkt końcowy — jaki objaw lub wynik oceniano i jak go mierzono,
• czas obserwacji — czy chodzi o efekt krótkotrwały, czy utrzymujący się przez dłuższy okres.

Przykładowo zmniejszenie nasilenia bólu po czterech tygodniach i poprawa jakości życia po roku mogą być ważnymi wynikami tej samej terapii. Odpowiadają jednak na różne pytania. Nie należy traktować ich jako wymiennych pomiarów jednego efektu.

Możliwość wykonania obliczeń nie oznacza jeszcze, że wspólny wynik będzie miał sens kliniczny. Model efektów losowych uwzględnia zmienność efektów między badaniami, lecz nie rozwiązuje problemu zasadniczej nieporównywalności badań [3].

Przegląd systematyczny bez metaanalizy – czy to możliwe?

Tak. Po wyszukaniu i ocenie literatury może się okazać, że statystyczne połączenie wyników byłoby nieuzasadnione. Badania mogą nadmiernie różnić się metodami, interwencjami lub sposobem raportowania. Czasem brakuje danych potrzebnych do obliczeń.

Wtedy nadal można przeprowadzić wartościową syntezę: uporządkować badania według porównań i punktów końcowych, zestawić wielkość oraz kierunek efektów, opisać ich niepewność i wskazać ograniczenia. Powód rezygnacji z metaanalizy powinien być jasno przedstawiony [4].

Wróćmy do diety. Jeżeli jedne badania oceniają ból, inne wzdęcia, a kolejne jakość życia, przegląd może pokazać, dla których obszarów dostępne są dane i gdzie pozostają luki. W obrębie niektórych wyników metaanaliza może być możliwa, a w innych konieczna będzie synteza bez łączenia statystycznego.

Nie należy zastępować metaanalizy liczeniem publikacji z „istotnym” i „nieistotnym” wynikiem. Takie głosowanie pomija wielkość efektu i precyzję oszacowań. Badania o podobnym wyniku mogą znaleźć się po różnych stronach progu p = 0,05 [4].

Czym jest umbrella review, czyli przegląd parasolowy?

Z czasem na podobny temat mogą powstać kolejne przeglądy systematyczne. Wówczas pytanie brzmi: co wynika z całego tego zbioru opracowań i na ile ich wnioski są zgodne?

Tym zajmuje się umbrella review, czyli przegląd parasolowy. Wyszukuje, ocenia i zestawia istniejące przeglądy systematyczne, z metaanalizą lub bez niej. Analiza obejmuje m.in. ich zakres, wyniki, jakość metodologiczną i aktualność. Nie powinna ograniczać się do streszczenia konkluzji autorów [5].

W naszym hipotetycznym przykładzie jeden przegląd mógł dotyczyć dorosłych, drugi dzieci, a trzeci wyłącznie krótkotrwałej poprawy objawów. Zbieżne tytuły nie oznaczają więc identycznych pytań. Rozbieżne wnioski mogą natomiast wymagać przyjrzenia się temu, jakie dane rzeczywiście uwzględniono.

Szczególnym problemem jest nakładanie się badań pierwotnych. Załóżmy, że trzy metaanalizy obejmują odpowiednio osiem, dziesięć i dwanaście badań, ale osiem prac powtarza się we wszystkich. Nie otrzymujemy wtedy trzydziestu niezależnych badań. Wielokrotnie patrzymy na część tych samych danych.

Dlatego umbrella review nie jest po prostu uśrednieniem wyników metaanaliz. Trzeba rozpoznać i uwzględnić ich zależność wynikającą ze wspólnych badań [5].

Metaanaliza a przegląd systematyczny i umbrella review

Poniższe zestawienie porządkuje różnice. Przykład dietetyczny ma charakter dydaktyczny, nie przedstawia oceny skuteczności konkretnej terapii.

Metaanaliza jest metodą analizy, a przegląd systematyczny i umbrella review opisują sposób organizacji syntezy dowodów. Te pojęcia mogą się zatem łączyć w jednym projekcie [1,3,5].

Najczęstsze błędy przy rozróżnianiu metaanalizy, przeglądu systematycznego i umbrella review

Pomyłki zaczynają się często od nazwy, ale mogą później wpływać na dobór publikacji i sposób analizy danych. Szczególnie łatwo o sześć nieporozumień:

1. Używanie słów „metaanaliza” i „przegląd systematyczny” zamiennie. Przegląd opisuje cały proces syntezy dowodów, a metaanaliza jest metodą statystyczną, którą można w nim zastosować. To powiązane, ale różne pojęcia.
2. Traktowanie przeglądu bez metaanalizy jako pracy narracyjnej. O systematycznym charakterze decydują metody wyszukiwania, kwalifikacji, oceny i syntezy badań. Brak wspólnego efektu liczbowego sam w sobie nie zmienia rodzaju przeglądu.
3. Nazywanie każdej pracy z wykresem forest plot przeglądem systematycznym. Wykres prezentuje wyniki. Nie dowodzi, że literaturę wyszukano i dobrano w sposób systematyczny.
4. Rozumienie umbrella review jako obowiązkowej „metaanalizy metaanaliz”. Przegląd parasolowy może porządkować i krytycznie oceniać wyniki bez obliczania kolejnego wspólnego efektu.
5. Uznawanie samego cytowania metaanaliz za umbrella review. W klasycznym przeglądzie metaanalizy mogą służyć jako tło lub pomoc w odnalezieniu badań. W umbrella review to przeglądy systematyczne są przedmiotem wyszukiwania, kwalifikacji i oceny.
6. Traktowanie trzech nazw jako drabiny jakości. Z samej etykiety publikacji nie wynika, że jej odpowiedź jest bardziej wiarygodna. Trzeba ocenić metody i materiał źródłowy.

Rozróżnienia te wynikają z odmiennych ról procesu przeglądu, syntezy statystycznej i przeglądu przeglądów. Cochrane: przegląd systematyczny, metaanaliza, umbrella review.

Czy umbrella review daje silniejsze dowody niż metaanaliza?

Warto oddzielić jakość wykonania opracowania od pewności dowodów dotyczących konkretnego wyniku.

Przegląd może zostać przeprowadzony bardzo starannie, a mimo to pozostawić istotną niepewność co do skuteczności interwencji. Jeżeli dostępne badania są obciążone błędami, wyniki są niespójne lub nieprecyzyjne, rzetelna synteza powinna tę niepewność pokazać. Znaczenie ma również to, czy dane rzeczywiście odnoszą się do interesujących nas pacjentów i czy nie brakuje części wyników z powodu wybiórczego publikowania. Te obszary uwzględnia ocena pewności dowodów GRADE, prowadzona dla poszczególnych punktów końcowych [6].

Z kolei AMSTAR 2 służy krytycznej ocenie przeglądów systematycznych dotyczących interwencji zdrowotnych. Pomaga rozpoznać słabości ich metodologii; nie jest narzędziem do prostego sumowania punktów i nadawania publikacji liczbowej „oceny jakości” [7].

Załóżmy, że przegląd diety jest poprawnie wykonany, lecz dla wpływu na ból dysponuje jedynie małymi badaniami z szerokimi przedziałami ufności. Ocena autorów może być wtedy bardzo ostrożna. To nie musi świadczyć o słabości przeglądu, może trafnie odzwierciedlać ograniczenia materiału źródłowego.

Jak wybrać podejście do własnej publikacji?

Zacznijmy od pytania, którego odpowiedź ma być przydatna czytelnikowi. Dopiero potem wybierzmy projekt i metody analizy.

Poniższe wskazówki są praktycznym wnioskiem z omówionych różnic.

Jeżeli interesują nas wyniki konkretnych badań klinicznych, punktem wyjścia będzie przegląd badań pierwotnych. Metaanalizę warto zaplanować warunkowo: dla takich porównań i wyników, dla których połączenie danych okaże się uzasadnione. Przydatność badań do syntezy trzeba oceniać osobno dla poszczególnych punktów końcowych.

Jeśli dostępnych jest już wiele przeglądów, należy sprawdzić, czy potrzebujemy ich krytycznego zestawienia. Może się też okazać, że ważniejsze będzie zaktualizowanie wcześniejszego przeglądu o nowe badania. Sam fakt istnienia kilku metaanaliz nie przesądza o wyborze umbrella review.

Warto także wrócić do początkowej sytuacji: w folderze znajdują się badania kliniczne i metaanalizy. Mogą one pełnić różne funkcje w pracy, ale nie należy automatycznie wpisywać ich do jednej tabeli jako niezależnych obserwacji. Najpierw trzeba ustalić, co kwalifikujemy do analizy i czy nie policzymy wielokrotnie tych samych danych.

Z perspektywy planowania projektu konsultacja metodologiczna jest najbardziej przydatna przed ostatecznym ustaleniem kryteriów i rozpoczęciem zbierania danych do analizy. To wtedy można ocenić, czy pytanie, dostępna literatura i planowana synteza rzeczywiście do siebie pasują.

Bibliografia:

1. Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358.
2. Lasserson TJ, Thomas J, Higgins JPT. Starting a review. W: Cochrane Handbook for Systematic Reviews of Interventions, rozdział 1.
3. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372.
4. Deeks JJ, Higgins JPT, Altman DG, McKenzie JE, Veroniki AA. Analysing data and undertaking meta-analyses. W: Cochrane Handbook for Systematic Reviews of Interventions, rozdział 10.
5. McKenzie JE, Brennan SE. Synthesizing and presenting findings using other methods. W: Cochrane Handbook for Systematic Reviews of Interventions, rozdział 12.
6. Pollock M, Fernandes RM, Becker LA, Pieper D, Hartling L. Overviews of Reviews. W: Cochrane Handbook for Systematic Reviews of Interventions, rozdział V.
7. Schünemann HJ, Higgins JPT, Vist GE, et al. Completing ‘Summary of findings’ tables and grading the certainty of the evidence. W: Cochrane Handbook for Systematic Reviews of Interventions, rozdział 14.