1

PENDAHULUAN

Evaluasi karya ilmiah yang otentik pada publikasi ilmiah jurnal nasional (Indonesia) sampai saat ini belum pernah dilakukan kajian yang mendalam, sebaliknya di kalangan penerbit jurnal internasional karya ilmiah yang diterbitkan harus memenuhi aspek asli dan otentik (genuine and verified). Di beberapa negara, tindakan pemalsuan karya ilmiah (dan segala bentuknya) bisa dikenakan sanksi tegas mulai dari sanksi administratif, sanksi akademis, hingga sanksi pidana. Sebagai contoh di Amerika, telah terbentuk lembaga khusus untuk mengendalikan mutu kegiatan ilmiah (penelitian, publikasi, dll) yang dilakukan oleh para peneliti, dosen, mahasiswa, industri, laboratorium, dsb. Lembaga tersebut adalah Office of Research Integrity (ORI).

Beberapa kasus berikut adalah contoh pemalsuan yang dilakukan oleh para peneliti. Woo Suk Hwang (2005), seorang peneliti stem cell dari Seoul National University mempublikasikan hasil penelitian bahwa kloning embryo manusia dapat dilakukan melalui inti sel yang dimasukkan ke dalam sel telur yang belum dibuahi. Hasil penelitian yang kontroversial ini kemudian diselidiki oleh Harvard Stem Cell Institute yang kemudian menyimpulkan bahwa penelitian tersebut palsu. Ram B Singh (1992), seorang dokter umum dari Morodabad (India) mempublikasikan temuannya bahwa diet rendah serat selama 1 tahun dapat mengurangi resiko kematian sebesar setengah kali. Publikasi ilmiah dilakukan melalui British Medical Journal (BMJ). Di kemudian hari, dr. RB Singh kemudian secara berulang memasukkan beberapa tulisan dengan hasil yang hampir mirip, pihak BMJ mencurigai hasil karya dr. RB Singh yang kemudian meminta editor untuk memeriksa keabsahan seluruh karya ilmiah dr. RB Singh. Ternyata peneliti (dr. RB Singh ) tidak bisa memberikan bukti otentik data penelitian yang disangkakan palsu sehingga dr. RB Singh dinyatakan telah melakukan research misconduct dalam bentuk fabrikasi data (data fabrication).

Research misconduct (US Federal Register, 2005) terdapat beberapa jenis: 1) Fabrication, yaitu pembuatan data atau hasil penelitian dan pencatatan serta pelaporan palsu pada sebuah kegiatan ilmiah. 2) Falsification, yaitu manipulasi bahan penelitian, perlengkapan, atau proses, atau merubah, atau menghilangkan data atau hasil dari penelitian yang menyebabkan berkurangnya ketepatan penelitian. 3) Plagiarism, yaitu mengutip ide orang lain, proses, hasil atau tulisan orang lain tanpa memberikan pengakuan.

Berdasarkan beberapa hal diatas, penulis kemudian tertarik untuk melakukan critical appraisal jurnal terutama mengenai metode deteksi statistik untuk mengetahui research misconduct.

2

PEMBAHASAN

Judul : Are these data real? Statistical methods for the detection of data fabrication in clinical trial

Critical appraisal - Judul

Untuk tata cara penulisan judul, sebaiknya dihindari penggunaan tanda !, ? sehingga penulisan Are these data real ? kurang tepat. Untuk penulisan judul cukup dituliskan Statistical methods for the detection of data fabrication in clinical trial.

Penulis : Sanaa Al Marzouki Research student, Department of Epidemiology and Population Health, London School of Hygiene and Tropical Medicine, London

Stephen Evans Professor of Pharmacoepidemiology, Medical Statistics Unit, London School of Hygiene and Tropical Medicine, London

Tom Marshall Senior lecturer in Medical Statistics, London School of Hygiene and Tropical Medicine, London

Ian Roberts Professor of Epidemiology and Public Health, Department of Epidemiology and Population Health, London School of Hygiene and Tropical Medicine, London

Critical appraisal - Penulis

Dari susunan penulis jurnal bisa dilihat bahwa kapabilitas dari masing-masing penulis sesuai dibidangnya. Dari judul dapat diketahui bahwa garis besar topik penelitian pada publikasi ini adalah metode statistik dan dari daftar penulis dapat dilihat hampir semua penulis berkiprah di bidang statistik. Ada 1 orang research student, tetapi sayang tidak dijelaskan apakah research student tersebut adalah level master student atau doctorate student.

Publikasi : British Medical Journal, Vol 331 July 2005

Critical appraisal - Penerbit

Jurnal ini diterbitkan melalui British Medical journal (BMJ). BMJ merupakan salah satu sumber rujukan jurnal biomedis yang sangat terpercaya. Bahkan ada yang menyebut bahwa BMJ is Biblical source of medical journal, pernyataan tersebut mungkin dikeluarkan untuk menyatakan bahwa kredibilitas jurnal yang dipublikasikan oleh BMJ dapat dipertanggung jawabkan. BMJ merupakan salah satu penerbit jurnal ilmiah yang memberikan perhatian

3

besar pada research misconduct. Fraud and Misconduct in Biomedical Research (2001 telah memasuki edisi ke-3) merupakan buku yang diterbitkan oleh BMJ yang membahas masalah research misconduct terutama dibidang penelitian biomedis.

Metode : Penelitian yang dibandingkan yaitu data dari 2 penelitian yang dicurigai yaitu Penelitian 1) Single blind (tersamar tunggal), randomised controlled trial, dampak diet yang diperkaya oleh buah dan sayuran terhadap 831 pasien dengan penyakit jantung koroner (PJK). Penelitian ini dilakukan dengan tujuan untuk mengetahui dampak diet terhadap faktor yang berhubungan dengan PJK. Waktu penelitian prospektif follow up selama 2 tahun. Penelitian 2) Randomised controlled trial, dampak pemberian obat pada 21.750 pasien hipertensi, dimana penelitian ini dilakukan dengan tujuan untuk mengurangi angka kematian yang disebabkan oleh stroke sebagai akibat dari hipertensi dan peristiwa koroner lain pada pria dan wanita usia 35-64 tahun. Waktu penelitian prospektif follow up selama 2 tahun.

Data yang digunakan adalah data yang telah dientri ke dalam komputer dan diperoleh dari hasil penelitian asli.

Uji statistik : Uji statistik yang digunakan pada jurnal ini untuk deteksi research misconduct pada baseline data secara berturut-turut adalah sebagai berikut : 1. Basic descriptive statistics yang meliputi mean, median, modus,

standar deviasi, nilai minimum dan maksimum.

2. Conventional statistical significance test yang meliputi uji t (untuk membandingkan mean), dan uji F (untuk membandingkan varians atau standar deviasi) dengan membandingkan antara kelompok intervensi dan kelompok kontrol dari penelitian diet dan penelitian obat

Asumsinya bahwa jika data penelitian adalah asli, maka rata-rata, variabilitas, distribusi, dan pola data yang dihasilkan akan mirip. Perbedaan hanya akan terjadi oleh faktor random.

3. Digit preference, diuji dengan menggunakan uji 2 . Digit preferens adalah preferensi dalam pemilihan nomer tertentu, misalnya pembulatan mendekati 5 atau 10, uji 2 untuk mendeteksi apakah terdapat digit preferens pada digit terakhir untuk pemilihan angka tertentu. Asumsi yang digunakan, digit preferens memang dapat terjadi pada setiap penelitian tetapi pola digit preferens harus sama pada setiap kelompok yang dibentuk oleh randomisasi.

Pengolahan hasil statistik dibantu dengan menggunakan SPSS versi 12.0 update 1 (Chicago, USA). Hasil analisa ditampilkan secara tabel tekstular tanpa grafis.

4

Critical appraisal Metode dan Uji statistik Metode : Data penelitian yang dibandingkan merupakan penelitian intervensional

yaitu penelitian true experimental (dilakukan pemisahan antara kelompok perlakuan dan kelompok kontrol). Penelitian jenis ini memiliki derajad kekuatan yang lebih tinggi jika dibandingkan dengan penelitian observasional. Dari segi waktu, penelitian ini juga kuat karena penelitian ini dilakukan secara prospektif dilakukan selama 2 tahun. Penelitian prospektif lebih unggul dibandingkan penelitian retrospektif karena pada penelitian prospektif, validitas data terutama yang disebabkan oleh memory bias bisa dihindari.

Pada penelitian 1 (penelitian diet) secara jelas disebutkan bahwa untuk meningkatkan obyektifitas dilakukan juga langkah penyamaran tunggal (single blind) tetapi pada penelitian 2 (penelitian obat) dari jurnal tidak ada keterangan apakah penelitian obat tersebut dilakukan dengan atau tanpa menggunakan penyamaran. Seyogyanya penulis juga menyebutkan apakah pada penelitian 2 (penelitian obat) digunakan penyamaran atau tidak.

Uji statistik : Dalam melakukan deteksi research misconduct tidak cukup hanya dengan melakukan studi dokumen ataupun dengan menggunakan bukti-bukti fisik. Uji statistik merupakan salah satu cara yang digunakan untuk membuktikan adanya pemalsuan/fabrikasi data. Sayangnya penggunaan statistik terapan dibidang ini sangat jarang dan hingga saat ini belum ada metode baku/standar yang dapat dipergunakan dalam mendeteksi research misconduct. Evans (2001) menyatakan bahwa dalam mendeteksi data, statistika matematis tidak bisa membantu banyak jika dibandingkan dengan metode grafis khususnya pada penelitian dengan menggunakan beberapa kelompok misalnya melalui grafik Cooks distance, Mahalanobis distance, grafik residual, dll. Secara sederhana, Evans (2001) memberikan tahapan dalam statistical aspect of the detection of fraud sebagai berikut :

Evans (2001) juga menambahkan adanya aspek corroborotive evidence yang meliputi: 1) Predefine a protocol, 2) Use as simple method as possible, 3) Consider innocent explanations.

Dengan perbandingan teori Evans diatas, dari jurnal dapat diketahui bahwa deskriptif statistik, uji-t, dan uji F termasuk dalam tahapan routine checking karena digunakan untuk melihat variabilitas dan bentuk distribusi dari outcome data dan uji 2 masuk dalam tahapan more extensive checking dimana uji ini digunakan untuk melihat ada tidaknya digit preferens.

Routine checking : - Variability and kurtosis - Baseline imbalance in outcome variable - Scatter plot matrix by investigator

More extensive checking : - Digit preference - Within individual variation look for reduced variation - Cluster analysis - Mahalanobis distance

5

Sehingga bisa disimpulkan bahwa tahapan-tahapan pengujian statistik pada penelitian ini secara teoritis sudah bisa dinyatakan telah memenuhi langkah-langkah yang dipersyaratkan.

Meskipun telah memenuhi 2 langkah dasar yang dipersyaratkan, namun hal yang terlewat pada publikasi ini adalah penyajian hasil yang hanya menggunakan tabel tekstual padahal jika melihat prinsip awalnya yaitu Statistical mathematics will not usually be as helpful as graphics in detection of problems (Evans, 2001). Mungkin penulis terkendala oleh keterbatasan ruang tulisan atau batasan lain yang dikeluarkan oleh penerbit, tapi akan tampak lebih kuat jika ditambah dengan grafik misalnya mahalanobis distance mengingat penelitian ini adalah penelitian true experimental dengan adanya kelompok intervensi dan kelompok kontrol.

Penggunaan software statistik yang hanya menggunakan SPSS versi 12.0 update 1 juga memberikan batasan dalam metode uji statistik yang digunakan dalam mendeteksi research misconduct. Penambahan software uji statistik yang dapat dipergunakan misalnya STATA dan DataDesk.

Hasil : Tidak terdapat perbedaan standar deviasi, pada uji F didapatkan hasil tidak terdapat perbedaan signifikan pada 5 variabel yang diuji, pada uji-t tidak terdapat perbedaan signifikan pada 5 variabel yang diuji pada penelitian obat. Terdapat perbedaan standar deviasi pada penelitian diet, dari uji F didapatkan terdapat perbedaan yang signifikan pada 16 dari 22 variabel, pada uji-t terdapat perbedaan yang signifikan pada 10 variabel dari 22 variabel yang diuji pada penelitian diet. Pada uji 2, untuk penelitian diet didapatkan adanya perbedaan signifikansi yang mencolok pada digit preferens dari kelompok kontrol dan kelompok intervensi yang diuji. Pada penelitian obat juga terjadi digit preferens akan tetapi karena besaran angka signifikansi berada pada level yang sama menandakan bahwa digit preferens pada penelitian obat terjadi karena faktor randomisasi.

6

Critical appraisal Hasil

Meskipun kekurangan pada jurnal ini tidak menggunakan grafis untuk memvisualisasikan data, tetapi kekurangan ini ditutupi oleh penggunaan penjelasan yang sederhana, lugas dan penggunaan metode statistik yang sederhana dan mudah dipahami. Pemaparan hasil telah memenuhi prinsip Corroborotive evidence yaitu use as simple methods as possible dan consider innocent explanations.

Kesimpulan : Data pada penelitian diet menunjukkan adanya tindakan fabrikasi atau falsifikasi data sedangkan pada penelitian obat data yang dihasilkan adalah asli.

Critical appraisal Kesimpulan

Sesuai dengan kerangka teoritis dan diperkuat dengan bukti-bukti statistik yang didapatkan, data pada penelitian dampak diet yang diperkaya oleh buah dan sayuran dengan penyakit jantung koroner (PJK) merupakan penelitian yang research misconduct terutama kemungkinan adanya tindakan fabrikasi atau falsifikasi data, sedangkan pada penelitian obat terhadap penderita hipertensi melalui bukti-bukti statistik yang ada tidak ditemukan adanya research misconduct.

Pustaka : Jurnal ini menggunakan kepustakaan dengan rincian 3 jurnal (tahun 1985, 1999, dan 2002) dan 3 textbook (1991, 1994, dan 2001)

Critical appraisal Pustaka

Sepintas kepustakaan yang digunakan sangat sedikit dengan rentang tahun terbit pustaka yang sangat jauh dengan jurnal ini (2005). Hal ini bisa dimaklumi karena meskipun metode deteksi research misconduct sudah banyak dijelaskan tetapi penelitian terapan dalam bidang ini masih sangat sedikit.

Critical appraisal Lain-lain

Jurnal ini secara sederhana memaparkan langkah-langkah sistematis dalam mendeteksi data pada penelitian yang dicurigai research misconduct. Sangat disayangkan bahwa sumber data yang digunakan dirahasiakan dan tidak disediakan data asli yang bisa diunduh (download) sehingga pembaca tidak bisa mencoba melakukan tahapan-tahapan analisis statistik yang dipaparkan.

7

PENUTUP

Filosofi dasar dalam penelitian eksperimental adalah Semua hasil penelitian adalah otentik hal ini mengakibatkan tidak adanya kendali untuk memverifikasi apakah data yang didapat adalah riil atau merupakan hasil rekayasa. Fenomena di lapangan kemudian menunjukkan bahwa kecurangan dalam penelitian ilmiah dapat dilakukan oleh siapa saja mulai dari peneliti biasa hingga peneliti yang diramalkan akan menjadi kandidat penerima nobel (kasus Hendrik Schon) (BBC, 2004). Berangkat dari fenomena inilah kemudian dalam metode penelitian lahir cabang spesialisasi ilmu baru yaitu statistical detection method of research misconduct.

Dalam membuktikan adanya research misconduct, penggunaan metode statistik saja tidak cukup. US Federal Register (2005) menggariskan penggunaan bukti (evidence), testimoni/hearing, catatan penelitian, dan pengawasan oleh lembaga yang berwenang untuk memutuskan apakah seorang peneliti dinyatakan melakukan research misconduct atau tidak.

8

DAFTAR PUSTAKA

BBC, The dark secret of Hendrik Schn, http://www.bbc.co.uk/science/horizon/-2004/hendrikshontrans.shtml - serial online - diakses pada 12 November 2009

Evans, Stephen, Statistical aspects of the detection of fraud in: Fraud and misconduct in Biomedical Research 3rd edition, BMJ Books, 2001, London

Federal Register, Department of Health and Human Services, Public Health Service Policies on Research Misconduct Final Rule, 2005, Maryland

Scientific misconduct http://en.wikipedia.org/wiki/Scientific_misconduct - serial online - diakses pada 12 November 2009

Saxena, D., P.Kumar, Data Fabrication Scientific Misconduct, Indian Journal of Community Medicine, Vol 31 No. 3, 2006 - http://www.indmedica.com/journals.php?journalid=7&issueid=79&articleid=1050&action=article serial online - diakses 12 November 2009

Woo Suk Hwang, Who Faked Research, Made Spectator Breakthrough - http://www.medicalnewstoday.com/articles/78745.php - serial online - diakses pada 12 November 2009