PrinsipMeta-Analisis

Program Magister Ilmu KesehatanMasyarakat, Sekolah Pascasarjana,

Universitas Sebelas Maret

Prof. Bhisma Murti

Studi k(nk)

Studi 1(n1)

Studi 2(n2)

Studi 3 (n3)

Meta-analisis

(systematic review)

Meta-analisis adalah desain studiepidemiologi yang bertujuan mengkaji

secara sistematis dan mensintesis(menggabungkan) hasil-hasil estimasi

secara kuantitatif dari sejumlahpenelitian terdahulu yang menjawab

masalah penelitian yang sama dan bisadigabungkan (combineable).

ApakahMeta-analisis?

1. Memberikan bukti ilmiahyang terkuat tentang efekdari intervensi ataupaparan di antara semuadesain studi

2. Meningkatkan validitasinternal

3. Memperluas kemampuanpenerapan bukti(generalizability, validitaseksternal)

Kelebihan Meta-analisis

4. Mengatasi masalahinkonsistensi/ kontroversihasil studi primer

5. Mengurangi kesalahanrandom, meningkatkan presisiestimasi, meningkatkan kuasastatistik (statistical power)

6. Memfasilitasi praktisi dalammenggunakan bukti risetdalam praktik berbasis bukti(evidence-based praktice)

Apakah ValiditasInternal?

Validitas internal adalahkebenaran kesimpulan sebuah

studi ketika menarikkesimpulan tentang parameter

populasi sasaran (target population), baik tentang

hubungan maupun efek suatuvariabel, dengan menggunakan

hasil analisis data sampel.

Riset yang bernilai ilmiahminimal harus menunjukkan

validitas internalSampel

(statistik)

Populasi sasaran/ target population

(parameter)

Populasi eksternal/ external population

Populasiumum/ general

population

Populasiterjangkau/ accessible population

Pemilihannsampel/ sampling

Validitasinternal/ internal validity Inferensi

statistik Validitaseksternal/

external validity (generalizability)

Apakah ValiditasEksternal?

Validitas eksternal adalahkebenaran kesimpulan sebuahstudi ketika digunakan untukmenarik kesimpulan tentangparameter populasi eksternal

(external population), baiktentang hubungan maupunefek suatu variabel, denganmenggunakan hasil analisis

data sampel.

Sampel(statistik)

Populasi sasaran/ target population

(parameter)

Populasi eksternal/ external population

Populasiumum/ general

population

Populasiterjangkau/ accessible population

Pemilihannsampel/ sampling

Validitasinternal/ internal validity Inferensi

statistik Validitaseksternal/

external validity (generalizability)

Manfaat riset lebih luas jikamenunjukkan validitas eksternal

Karena meta-analisis melakukanpenyaringan (skrining) yang ketat,

melakukan pembatasan (kriteria inklusidan eksklusi), menyingkirkan duplikasi, penilaian kualitas secara kritis (critical

appraisal), terhadap berbagai studiprimer yang dilakukan meta-analisis

Mengapa Meta-analisisMampu Memberikan

Validitas Internal yang Lebih Tinggi daripada

Studi Primer?

HirarkiBukti

Meta-analisis

Meta-analisismemberikan bukti

terkuat tentang efekintervensi/ paparan

ApakahHeterogenitasdalam Meta-

analisis?

Heterogenitas adalah variasi data di dalam masing-masing studi

(within-group variation) ataupunantar studi primer (between-group

variation). Kebalikannya adalahhomogenitas.

Validitas Internal (Internal Validity)

Validitas Eksternal(External Validity, Generalizability)

Kesalahansistematis

(bias, confounding)

Kesalahanrandom

(peluang/ kebetulan)

InferensiInferensi

Memperbesarsampel dan memperluas

lingkup sampeldari berbagai

populasi

Bagaimana Cara Meta-analisisMeningkatkan Validitas

Internal dan ValiditasEksternal dari Hasil Berbagai

Studi Primer?

Menerapkanskrining (kriteria

inklusi dan eksklusi) dan

penilaian kualitasbukti dari berbagai

studi primer

Sampelstudi

Populasisasaran(target

population)

Populasiumum

(general population)

Cara Meta-analisisMengurangi KesalahanRandom dan Kesalahan

Sistematis

Meta-analisis mengurangikesalahan random dengan

sampel yang lebih besar

Meta-analisis mengurangikesalahan sistematis denganmelakukan skrining/ kriteria

inklusi dan eksklusi dariberbagai studi primer:

1. Membatasi populasi tertentu (umur, jenis kelamin)

2. Desain studi yang sama (misal, kohorsaja)

3. Jenis dan durasi paparan/ intervensiyang sama

4. Model analisis data yang sama (misal, analisis regresi logistik ganda)

5. Effect measure (ukuran hubungan/ efek) yang sama (misalnya, Odds Ratio)

Kesalahansistematis

Kesalahan(error) dalam

sebuahpenelitian

Kesalahanrandom

Kesalahansistematis

Besar sampel

Kesalahanrandom

Cross-sectional Studies

(Prevalence Studies)

Meta-analisis DapatDilakukan untuk Studi

Eksperimentalmaupun Observasional

Apakah Meta-analisis Harus

Homogen?

Jawab:

Ya dan Tidak

Ya. Ada beberapa prinsip di mana beberapa hal tidakboleh dicampuradukkan

dalam satu studi primer dan studi primer lainnya, agar

tidak terjadi “Efek Apel dan Jeruk” (“Apple and Orange Effect”). Kesamaan prinsip

ini untuk meningkatkanvaliditas internal.

Hal yang harus sama dalammeta-analisis:

1. Masalah penelitian (PICO)2. Populasi studi (umur, jenis

kelamin) → meningkatkanvaliditas internal

3. Intervensi (paparan) →definisi operasional harussama/ semirip mungkin

4. Pembanding (tidakterpapar) → dibandingkanplasebo atau terapi standar

5. Desain studi → RCT jangandicampur denganeksperimen kuasi

6. Instrumen pengukurvariabel

7. Cara analisis statistik →hasil analisis bivariat tidakboleh dicampurkan denganmultivariat

Tidak. Meta-analisis tidakharus homogen dalam

beberapa aspek. Heterogenitas memberikannilai tambah, karena tujuan

meta-analisis tidak hanyameningkatkan validitas

internal, tetapi juga validitaseksternal, kemampuan hasil

penelitian untukdigeneralisasi.

Apakah Meta-analisis Harus

Homogen? Jawab:

Ya dan Tidak

Hal yang tidak harus samadalam meta-analisis:

1. Lokasi penelitian →

Berbagai benua, wilayahregional, dan negara

2. Besar sampel → Sampelboleh besar, sedang, dan kecil

3. Populasi → Umur, jeniskelamin, ras, boleh berbeda→ Meningkatkangeneralizability

4. Instrumen pengukur variabel→ Diatasi dengan ukuranefek terstandarisasi (Effect Size, Standarized Regression Coefficient)

5. Variabel lainnya yang tidakada hubungannya denganvariabel hasil

1. Penyaringan (skrining), kriteria inklusi dan ekslusi

2. Penilaian kualitas studi3. Analisis secara terpisah

(analisis kelompok, subgroup analysis)

4. Metaregresi

BagaimanaCara MengatasiHeterogenitas?

1. Rumuskan masalah penelitian▪ PICO

2. Identifikasi artikel full-text studi yang relevan▪ Penelusuran studi harus ekstensif▪ Database online, artikel unpublished▪ ResearchGate request fulltext▪ Skrining duplikasi, inklusi, eksklusi, dan

alasannya3. Nilai kualitas studi

▪ Lakukan critical appraisal (penilaian kritis) kualitas studi dan heterogenitas

▪ Lakukan inklusi, eksklusi, dan alasannya4. Analisis data dan ringkasan bukti

▪ Ekstraksi dan sintesis data (meta-analisis)▪ Eksplorasi heterogenitas

5. Interpretasikan temuan▪ Eksplorasi kemungkinan bias publikasi▪ Tarik kesimpulan dalam konteks

5 Langkah Melakukan Meta-analisis(Khan et al., 2003)

Systematic review merupakan studiyang mengumpulkan, menilai kualitas,

dan mensintesis bukti-bukti semuariset empiris dengan menggunakan

metode yang terinci, sistematis, dan transparan, untuk menjawab

pertanyaan penelitian dirumuskandengan jelas dalam PICO.

Meta-analisis merupakan kelanjutandari systematic review yang meliputi

prosedur statistik untuk menganalisisdan menggabungkan hasil-hasil

estimasi dari sejumlah studi yang dapat digabungkan (combineable)

Apakah Perbedaan antaraSystematic Review dan Meta-analisis?

Langkah pertama dari meta-analisis adalah merumuskan

masalah penelitian dalamakronim PICO

MasalahPenelitian dalam

Meta-analisis

Wanita dengankanker payudara

Kemoterapi

Bedah

Mortalitas

Apakah kemoterapi lebihefektif daripada tindakanbedah dalam mengurangi

kematian pada pasienwanita dengan kanker

payudara?

ContohMasalah

Penelitian

▪ Rasio Risiko (RR)▪ Odds Ratio (OR)▪ Hazard Ratio (HR)▪ Risk Difference (RD)▪ Log Odds Ratio ▪ Log Risk Ratio dsb.

Apakah Effect Measures (UkuranEfek, Ukuran Pengaruh) yang

Digunakan dalam Meta-analysis?

Variabel dependenkontinu:

▪ Effect Size (Cohen’s d, Hedges g, atau Glass ∆), disebutjuga Standardized Mean Difference

Variabel dependendikotomi:

Perhatian: Effect Size ≠ Effect Measure → Jangancampuradukkan kedua terminologi!

Cara Analisis Data pada Randomized

Controlled Trial (RCT)

Effect Measure:Effect Size(Cohen’s d)RCT

Variabeldependen(Outcome) Kontinu

Analisis Data:Cukup Analisis

Bivariat(Membandingkan

KelompokEksperimen dan

Kontrol)Uji Statistik (p):

Uji t

Sintesis Data (Meta-analisis)

Effect Size+

Variabel dependen(Outcome) Kontinu:

Effect Size=

Effect Size= Cohen’s d= Hedges g= Glass ∆

ApakahEffect Size?

Effect Size adalah ukuran efek yang dihitungdari perbedaan Mean dua kelompok studi

setelah distandarisasi dengan rata-rata Standar Deviasi kedua kelompok

Mean kelompokkontrol

Mean kelompok

eksperimen

Variasisedang,

effect size sedang

Variasitinggi,

effect size kecil

Variasirendah,

effect size besar

Effect Size

Sumber: McLeod, 2019

Interpretasi

Effect Size

PerbandinganBeberapa

Effect Size

Contoh 4 baris pasangan kelompok denganberbagai Beda Mean namun dengan variansyang sama, sehingga menghasilkan Effect

Size yang berbeda (terbesar baris terbawah).

Konversi Effect Size MenjadiKoefisien Korelasi

Effect Measure SimbolAmbang Effect Size

Kecil Sedang Besar Sangat besar

StandardiziedMean Difference

KoefisienKorelasi

Sumber: Rosenthal dan Rosnow, 1984 dikutip Ellis, 2020

Hubungan antaraEffect Size dan

Koefisien Korelasi

Effect Measure:Risk Ratio (RR), Odss Ratio (OR)

RCTVariabel

dependen(Outcome) Dikotomi

Analisis Data:Cukup Analisis

Bivariat(Membandingkan

KelompokEksperimen dan

Kontrol) Uji Statistik (p):Uji Chi Square

Sintesis Data (Meta-analisis)

RR, OR+

Cara Analisis Data pada Randomized

Controlled Trial (RCT)

Variabel dependen(Outcome) Dikotomi:

RR= 30%/ 40%= 0.75

Cara Analisis data pada StudiObservasional (Studi Kohor, Kasus-Kontrol,

Cross-Sectional) dan Eksperimen Kuasi

Effect Measure:Adjusted

Regression Coefficient (adjusted b)Desain

studi

Variabeldependen(Outcome) Kontinu

Analisis Data:Harus Analisis

Multivariat(Membandingkan Dua

Kelompok denganMengontrol SejumlahConfounding Factor) Uji Statistik (p):

Uji t

Sintesis Data (Meta-analisis)

Adjusted Regression Coefficient

+

Note:

Adjusted Regression Coefficient (adjusted b) diperoleh dari hasilAnalisis Regresi Linier Ganda

Cara Analisis data pada StudiObservasional (Studi Kohor, Kasus-Kontrol,

Cross-Sectional) dan Eksperimen Kuasi

Effect Measure:Adjusted Odds

Ratio (aOR), Adjusted Hazard

Ratio (aHR)Desainstudi

Variabeldependen(Outcome) Dikotomi

Analisis Data:Harus Analisis

Multivariat(Membandingkan Dua

Kelompok denganMengontrol SejumlahConfounding Factor)

Uji Statistik (p):Maximum Likelihood;

Uji Wald

Sintesis Data (Meta-analisis)

Adjusted Odds Ratio (aOR),

Adjusted Hazard Ratio

+

Adjusted Odds Ratio (aOR) diperoleh dari hasil Analisis

Regresi Logistik Ganda

Adjusted Hazard Ratio (aHR) diperolehdari hasil Cox Proportional Hazard

Model (Analisis Regresi Cox)

Note:

Estimasi efeksangatheterogen __> Random Effect

Estimasi efekkurangheterogen →

Fixed Effect

Sumber: Siebert, 2018

I2 dikembangkan oleh Professor Julian Higgins:

▪ I2< 50% heterogenitas sedang/ rendah

▪ I2≥50% heterogenitas tinggi

Chi Square Test:

▪ P ≥ 0.05 heterogenitasrendah/ sedang

▪ P< 0.05 heterogensitastinggi

Ukuran Heterogenitas Efek

Fixed effect model mengasumsikan, ke 3 studi

berasal dari sebuahpopulasi, misal populasi

Indonesia

Heterogenitas lebih kecilI2 <50%

Random effect model mengasumsikan, ke 3 studiberasal dari 3 populasi yang

berbeda, misal populasiIndia, Japan, dan USA

Heterogenitas lebih besarI2 ≥50%

Studi 1 Studi 2Studi 3 Studi 3

Studi 2Studi 1

Indonesia USAJapan

IndiaHeterogenitas

effect estimate lebih kecil

Heterogenitaseffect estimate

lebih besar

Sumber: Modifikasi

Michael Bigby, 2014

(DerSimonian and Laird)(Peto dan Mantel-Haenszel)

Heterogenitas dan Pendekatan untukmenghitung rata-rata estimasi efek

dari berbagai studidalam meta-analisis

ContohForest Plot dari Effect

Size

Mendukung intervensiMendukung kontrolForest plot efek senam konsentrasi

terhadap kecemasan (Blanck et al., 2018)

Random Effect Model

Contoh Forest Plot dari Risk Ratio

Forest plot efektivitas pengobatan antibiotikadibandingkan dengan apendektomi dalam mencegah

komplikasi pada pasien dengan apendisitas akut tanpakomplikasi (Varadhan et al., 2012)

ContohForest Plot dari Risk

RatioForest plot efektivitas dexamethasone dibandingkandengan plasebo untuk mencegah rekurensi migrenberat akut pada orang dewasa (Colman et al., 2008)

ContohForest Plot dari Odds

Ratio

Forest plot perbandingan perbaikan kualitashidup antara kelompok eksperimen

(cinobufotalin + kemoterapi) dan kelompokkontrol (kemoterapi) pada pasien kanker

lambung lanjut (Sun et al., 2019)

Peneliti menggunakan fixed effect model karena heterogenitas rendah, mengasumsikan studi primer berasal

dari sebuah populasi

Forest plot studikohor prospektifmenilai hubunganantara penyakit

jantung koroner dan gangguan kognitif

atau demensia

Contoh Forest Plot dari Odds Ratio

Sumber: Deckerset al., 2017

Peneliti menggunakanrandom effect model

meskipunheterogenitas rendah, karena mengasumsikan

studi primer berasaldari populasi yang

berbeda

Sumber: Wang et al, 2012

Forest plot hazard ratiotentang Lymphatic

Vessel Invasion (LVI) sebagai faktor prognostikkelangsungan hidup tanparelaps (rekurensi ) populasipasien non-small cell lung

cancer (NSCLC)

Contoh Forest Plot dari

Hazard Ratio

LVI memprediksipeningkatan

kematian dan relaps

LVI memprediksipenurunan

kematian dan relaps

Kekurangan Meta-analisis

“GIGO” (”Garbage-In, Garbage-Out) – “Sampah Masuk, Sampah Keluar”

Validitas hasil meta-analisistergantung dari validitas masing-masing studi primer. Bias yang

bertalian dengan pengumpulan data studi primer untuk sebagian di luarkendali peneliti meta-analisis untukmengontrolnya, sebagian lainnya bisa

dikendalikan lewat critical appraisal.

Kekurangan Meta-analisis

“Apples and Oranges Effect” –“Efek Apel dan Jeruk”

Kecenderunganpeneliti meta-analisis untukmencampur-adukkan segalaestimasi efek dari berbagai

studi primer yang heterogen. Untuk mencegah “efek apel

dan jeruk” pentingmenerapkan skrining, kriteria

inklusi dan eksklusi, dan melakukan penilaian kualitas.

Kelemahan inimengingatkan peneliti

meta-analisis bahwa adahal-hal prinsip yang tidak

bisa dicampur, karena akanmencederai validitas meta-

analisis itu sendiri.

Sebagai contoh, desainstudi yang berbeda tidak

bisa dicampur, estimasi darianalisis multi-variat

(adjusted) analysis) jangandicampur dengan analisisbivariat (analisis kasar).

Kekurangan Meta-analisis

“Publication Bias” (“File Drawer Effect”)

Kecenderungan peneliti, editor, dan penerbit untuk menerbitkan hasil

studi primer yang menunjukkan efeksignifikan, khususnya sering terjadi

pada studi dengan besar sampel kecil.

Batasi besar sampel minimal (misal, n ≥ 100), cek konflik kepentingan

dengan sponsor, masukkan hasil studiyang tidak diterbitkan unpublished)

Sumber: Scherer, 2020.

Sebaran Effect Size simetrisdi seputar Mean → Indikasitidak terdapat bias publikasi

Nilai d (Effect Size) Nilai d (Effect Size)

Besarsampel

Besarsampel

Funnel Plot

Funnel plot Begg merupakan diagram sebar yang digunakan dalam meta-analisis untuk mendeteksi

secara visual kemungkinan terjadinya bias publikasi

Sebaran Effect Size asimetrisdi seputar Mean → Indikasi

terdapat bias publikasi

Babar T (2020). 8 Questions Powerful People Ask Themselves Every Day. https://www.lifehack.org/articles/productivity/8-questions-powerful-people-ask-themselves-every-day.html. Diakses Juli 2020.

Bigby M (2014). Understanding and evaluating systematic reviews and meta-analyses. Indian Journal of Dermatology. 59(2): 134-139

Blanck P, Perleth S, Heidenreich T, Kröger P, Ditzen B, Bents H, & Mander J (2018). Effects of mindfulness exercises as stand-alone intervention on symptoms of anxiety and depression: Systematic review and meta-analysis. Behaviour research and therapy, 102, 25–35.

Referensi:Colman I, Friedman BW, Brown MD, Innes GD, Grafstein E, Roberts TE, Rowe BH (2008). Parenteral dexamethasone for acute severe migraine headache: meta-analysis of randomisedcontrolled trials for preventing recurrence. BMJ: 1-7. doi:10.1136/bmj.39566.806725.BE

Deckers K, Schievink SHJ, Rodriquez MMF, van Oostenbrugge RJ, van Boxtel MPJ, Verhey FRJ, et al. (2017) Coronary heart disease and risk for cognitive impairment or dementia: Systematic review and meta-analysis. PLoS ONE 12(9): e0184244. https://doi.org/10.1371/journal. pone.0184244

Ellis PD (2020). Thresholds for interpreting effect sizes. https://www.polyu.edu.hk/mm/effectsizefaqs/thresholds_for_interpreting_effect_sizes2.html. Diakses Desember 2020.

Khan KS, Kunz R, Kleijnen J, Antes G (2003). Five steps to conducting a systematic review. J R Soc Med; 96:118–121

McLeod SA (2019). What does effect size tell you? Simply psychology: https://www.simplypsychology.org/effect-size.html. Diakses Juli 2020.

Scherer S (2020). Bias in psychology: bring in all significant results. http://blog.efpsa.org/2012/06/01/falsification-of-previous-results/. Diakses Desember 2020.

Siebert M (2018). Heterogeneity: what is it and why does it matter?https://www.students4bestevidence.net/blog/2018/11/29/what-is-heterogeneity/ DiaksesJuli 2020.

Referensi:

Sun H, Wang W, Bai M, Liu D (2019). Cinobufotalin as an effective adjuvant therapy for advanced gastric cancer: a meta-analysis of randomized controlled trials. OncoTargets and Therapy. 12: 3139–3160

Varadhan KK, Neal KR, Lobo DN. (2012). Safety and efficacy of antibiotics compared with appendicectomy for treatment of uncomplicated acute appendicitis: meta-analysis of randomisedcontrolled trials. BMJ. 344:e2156 doi: 10.1136/bmj.e2156 (Published 5 April 2012)

Wang J, Wang B, Zhao W, Guo Y, Chen H, et al. (2012) Clinical Significance and Role of Lymphatic Vessel Invasion as a Major Prognostic Implication in Non-Small Cell Lung Cancer: A Meta-Analysis. PLoS ONE 7(12): e52704. doi:10.1371/journal.pone.0052704

Thank You...Coffee Time