PENDAHULUANEvaluasi karya ilmiah yang otentik pada publikasi ilmiah jurnal nasional (Indonesia) sampaisaat ini belum pernah dilakukan kajian yang mendalam, sebaliknya di kalangan penerbitjurnal internasional karya ilmiah yang diterbitkan harus memenuhi aspek “asli” dan “otentik”(genuine and verified). Di beberapa negara, tindakan pemalsuan karya ilmiah (dan segalabentuknya) bisa dikenakan sanksi tegas mulai dari sanksi administratif, sanksi akademis,hingga sanksi pidana. Sebagai contoh di Amerika, telah terbentuk lembaga khusus untukmengendalikan “mutu” kegiatan ilmiah (penelitian, publikasi, dll) yang dilakukan oleh parapeneliti, dosen, mahasiswa, industri, laboratorium, dsb. Lembaga tersebut adalah Office ofResearch Integrity (ORI).Beberapa kasus berikut adalah contoh pemalsuan yang dilakukan oleh para peneliti. WooSuk Hwang (2005), seorang peneliti stem cell dari Seoul National Universitymempublikasikan hasil penelitian bahwa kloning embryo manusia dapat dilakukan melaluiinti sel yang dimasukkan ke dalam sel telur yang belum dibuahi. Hasil penelitian yangkontroversial ini kemudian diselidiki oleh Harvard Stem Cell Institute yang kemudianmenyimpulkan bahwa penelitian tersebut palsu. Ram B Singh (1992), seorang dokter umumdari Morodabad (India) mempublikasikan temuannya bahwa diet rendah serat selama 1 tahundapat mengurangi resiko kematian sebesar setengah kali. Publikasi ilmiah dilakukan melaluiBritish Medical Journal (BMJ). Di kemudian hari, dr. RB Singh kemudian secara berulangmemasukkan beberapa tulisan dengan hasil yang hampir mirip, pihak BMJ mencurigai hasilkarya dr. RB Singh yang kemudian meminta editor untuk memeriksa keabsahan seluruhkarya ilmiah dr. RB Singh. Ternyata peneliti (dr. RB Singh ) tidak bisa memberikan buktiotentik data penelitian yang disangkakan palsu sehingga dr. RB Singh dinyatakan telahmelakukan research misconduct dalam bentuk fabrikasi data (data fabrication).Research misconduct (US Federal Register, 2005) terdapat beberapa jenis: 1) Fabrication,yaitu pembuatan data atau hasil penelitian dan pencatatan serta pelaporan palsu pada sebuahkegiatan ilmiah. 2) Falsification, yaitu manipulasi bahan penelitian, perlengkapan, atauproses, atau merubah, atau menghilangkan data atau hasil dari penelitian yang menyebabkanberkurangnya ketepatan penelitian. 3) Plagiarism, yaitu mengutip ide orang lain, proses,hasil atau tulisan orang lain tanpa memberikan pengakuan.Berdasarkan beberapa hal diatas, penulis kemudian tertarik untuk melakukan criticalappraisal jurnal terutama mengenai metode deteksi statistik untuk mengetahui researchmisconduct.2

PEMBAHASANJudul : Are these data real? Statistical methods for the detection of datafabrication in clinical trialCritical appraisal - JudulUntuk tata cara penulisan judul, sebaiknya dihindari penggunaan tanda “!”, “?” sehinggapenulisan “Are these data real ?” kurang tepat. Untuk penulisan judul cukup dituliskan“Statistical methods for the detection of data fabrication in clinical trial”.Penulis : Sanaa Al Marzouki – Research student, Department of Epidemiology andPopulation Health, London School of Hygiene and Tropical Medicine,LondonStephen Evans – Professor of Pharmacoepidemiology, Medical StatisticsUnit, London School of Hygiene and Tropical Medicine, LondonTom Marshall – Senior lecturer in Medical Statistics, London School ofHygiene and Tropical Medicine, LondonIan Roberts – Professor of Epidemiology and Public Health, Department ofEpidemiology and Population Health, London School of Hygiene and

Tropical Medicine, LondonCritical appraisal - PenulisDari susunan penulis jurnal bisa dilihat bahwa kapabilitas dari masing-masing penulis sesuaidibidangnya. Dari judul dapat diketahui bahwa garis besar topik penelitian pada publikasi iniadalah metode statistik dan dari daftar penulis dapat dilihat hampir semua penulis berkiprahdi bidang statistik. Ada 1 orang research student, tetapi sayang tidak dijelaskan apakahresearch student tersebut adalah level master student atau doctorate student.Publikasi : British Medical Journal, Vol 331 – July 2005Critical appraisal - PenerbitJurnal ini diterbitkan melalui British Medical journal (BMJ). BMJ merupakan salah satusumber rujukan jurnal biomedis yang sangat terpercaya. Bahkan ada yang menyebut bahwa“BMJ is Biblical source of medical journal”, pernyataan tersebut mungkin dikeluarkan untukmenyatakan bahwa kredibilitas jurnal yang dipublikasikan oleh BMJ dapat dipertanggungjawabkan. BMJ merupakan salah satu penerbit jurnal ilmiah yang memberikan perhatian3besar pada research misconduct. “Fraud and Misconduct in Biomedical Research” (2001telah memasuki edisi ke-3) merupakan buku yang diterbitkan oleh BMJ yang membahasmasalah research misconduct terutama dibidang penelitian biomedis.Metode : Penelitian yang dibandingkan yaitu data dari 2 penelitian yang dicurigaiyaitu Penelitian 1) Single blind (tersamar tunggal), randomised controlledtrial, dampak diet yang diperkaya oleh buah dan sayuran terhadap 831pasien dengan penyakit jantung koroner (PJK). Penelitian ini dilakukandengan tujuan untuk mengetahui dampak diet terhadap faktor yangberhubungan dengan PJK. Waktu penelitian prospektif – follow up selama2 tahun. Penelitian 2) Randomised controlled trial, dampak pemberian obatpada 21.750 pasien hipertensi, dimana penelitian ini dilakukan dengantujuan untuk mengurangi angka kematian yang disebabkan oleh strokesebagai akibat dari hipertensi dan peristiwa koroner lain pada pria danwanita usia 35-64 tahun. Waktu penelitian prospektif – follow up selama 2tahun.Data yang digunakan adalah data yang telah dientri ke dalam komputer dandiperoleh dari hasil penelitian asli.Uji statistik : Uji statistik yang digunakan pada jurnal ini untuk deteksi researchmisconduct pada baseline data secara berturut-turut adalah sebagai berikut :1. Basic descriptive statistics yang meliputi mean, median, modus,standar deviasi, nilai minimum dan maksimum.2. Conventional statistical significance test yang meliputi uji t (untukmembandingkan mean), dan uji F (untuk membandingkan varians ataustandar deviasi) dengan membandingkan antara kelompok intervensidan kelompok kontrol dari penelitian diet dan penelitian obatAsumsinya bahwa jika data penelitian adalah asli, maka rata-rata,variabilitas, distribusi, dan pola data yang dihasilkan akan mirip.Perbedaan hanya akan terjadi oleh faktor random.3. Digit preference, diuji dengan menggunakan uji χ2 . Digit preferensadalah preferensi dalam pemilihan nomer tertentu, misalnyapembulatan mendekati 5 atau 10, uji χ2 untuk mendeteksi apakahterdapat digit preferens pada digit terakhir untuk pemilihan angkatertentu. Asumsi yang digunakan, digit preferens memang dapat terjadipada setiap penelitian tetapi pola digit preferens harus sama pada setiap

kelompok yang dibentuk oleh randomisasi.Pengolahan hasil statistik dibantu dengan menggunakan SPSS versi 12.0update 1 (Chicago, USA). Hasil analisa ditampilkan secara tabel tekstulartanpa grafis.4Critical appraisal – Metode dan Uji statistikMetode : Data penelitian yang dibandingkan merupakan penelitian intervensionalyaitu penelitian true experimental (dilakukan pemisahan antara kelompokperlakuan dan kelompok kontrol). Penelitian jenis ini memiliki derajadkekuatan yang lebih tinggi jika dibandingkan dengan penelitianobservasional. Dari segi waktu, penelitian ini juga kuat karena penelitianini dilakukan secara prospektif dilakukan selama 2 tahun. Penelitianprospektif lebih unggul dibandingkan penelitian retrospektif karena padapenelitian prospektif, validitas data terutama yang disebabkan oleh memorybias bisa dihindari.Pada penelitian 1 (penelitian diet) secara jelas disebutkan bahwa untukmeningkatkan obyektifitas dilakukan juga langkah penyamaran tunggal(single blind) tetapi pada penelitian 2 (penelitian obat) dari jurnal tidak adaketerangan apakah penelitian obat tersebut dilakukan dengan atau tanpamenggunakan penyamaran. Seyogyanya penulis juga menyebutkan apakahpada penelitian 2 (penelitian obat) digunakan penyamaran atau tidak.Uji statistik : Dalam melakukan deteksi research misconduct tidak cukup hanya denganmelakukan studi dokumen ataupun dengan menggunakan bukti-bukti fisik.Uji statistik merupakan salah satu cara yang digunakan untukmembuktikan adanya pemalsuan/fabrikasi data. Sayangnya penggunaanstatistik terapan dibidang ini sangat jarang dan hingga saat ini belum adametode baku/standar yang dapat dipergunakan dalam mendeteksi researchmisconduct. Evans (2001) menyatakan bahwa dalam mendeteksi data,statistika matematis tidak bisa membantu banyak jika dibandingkan denganmetode grafis khususnya pada penelitian dengan menggunakan beberapakelompok misalnya melalui grafik Cook’s distance, Mahalanobis distance,grafik residual, dll. Secara sederhana, Evans (2001) memberikan tahapandalam statistical aspect of the detection of fraud sebagai berikut :Evans (2001) juga menambahkan adanya aspek corroborotive evidenceyang meliputi: 1) Predefine a protocol, 2) Use as simple method aspossible, 3) Consider innocent explanations.Dengan perbandingan teori Evans diatas, dari jurnal dapat diketahui bahwadeskriptif statistik, uji-t, dan uji F termasuk dalam tahapan routinechecking karena digunakan untuk melihat variabilitas dan bentuk distribusidari outcome data dan uji χ2 masuk dalam tahapan more extensive checkingdimana uji ini digunakan untuk melihat ada tidaknya digit preferens.Routine checking :- Variability and kurtosis- Baseline imbalance inoutcome variable- Scatter plot matrix byinvestigatorMore extensive checking :- Digit preference- Within individual variation –look for reduced variation

- Cluster analysis- Mahalanobis distance5Sehingga bisa disimpulkan bahwa tahapan-tahapan pengujian statistik padapenelitian ini secara teoritis sudah bisa dinyatakan telah memenuhilangkah-langkah yang dipersyaratkan.Meskipun telah memenuhi 2 langkah dasar yang dipersyaratkan, namun halyang terlewat pada publikasi ini adalah penyajian hasil yang hanyamenggunakan tabel tekstual padahal jika melihat prinsip awalnya yaitu“Statistical mathematics will not usually be as helpful as graphics indetection of problems” (Evans, 2001). Mungkin penulis terkendala olehketerbatasan ruang tulisan atau batasan lain yang dikeluarkan oleh penerbit,tapi akan tampak lebih kuat jika ditambah dengan grafik misalnyamahalanobis distance mengingat penelitian ini adalah penelitian trueexperimental dengan adanya kelompok intervensi dan kelompok kontrol.Penggunaan software statistik yang hanya menggunakan SPSS versi 12.0 update 1 jugamemberikan batasan dalam metode uji statistik yang digunakan dalam mendeteksi researchmisconduct. Penambahan software uji statistik yang dapat dipergunakan misalnya STATAdan DataDesk.Hasil : Tidak terdapat perbedaan standar deviasi, pada uji F didapatkan hasil tidakterdapat perbedaan signifikan pada 5 variabel yang diuji, pada uji-t tidakterdapat perbedaan signifikan pada 5 variabel yang diuji pada penelitianobat. Terdapat perbedaan standar deviasi pada penelitian diet, dari uji Fdidapatkan terdapat perbedaan yang signifikan pada 16 dari 22 variabel,pada uji-t terdapat perbedaan yang signifikan pada 10 variabel dari 22variabel yang diuji pada penelitian diet. Pada uji χ2, untuk penelitian dietdidapatkan adanya perbedaan signifikansi yang mencolok pada digitpreferens dari kelompok kontrol dan kelompok intervensi yang diuji. Padapenelitian obat juga terjadi digit preferens akan tetapi karena besaran angkasignifikansi berada pada level yang sama menandakan bahwa digitpreferens pada penelitian obat terjadi karena faktor randomisasi.6Critical appraisal – HasilMeskipun kekurangan pada jurnal ini tidak menggunakan grafis untuk memvisualisasikandata, tetapi kekurangan ini ditutupi oleh penggunaan penjelasan yang sederhana, lugas danpenggunaan metode statistik yang sederhana dan mudah dipahami. Pemaparan hasil telahmemenuhi prinsip Corroborotive evidence yaitu “use as simple methods as possible” dan“consider innocent explanations”.Kesimpulan : Data pada penelitian diet menunjukkan adanya tindakan fabrikasi ataufalsifikasi data sedangkan pada penelitian obat data yang dihasilkan adalahasli.Critical appraisal – KesimpulanSesuai dengan kerangka teoritis dan diperkuat dengan bukti-bukti statistik yang didapatkan,data pada penelitian dampak diet yang diperkaya oleh buah dan sayuran dengan penyakitjantung koroner (PJK) merupakan penelitian yang research misconduct terutamakemungkinan adanya tindakan fabrikasi atau falsifikasi data, sedangkan pada penelitian obatterhadap penderita hipertensi melalui bukti-bukti statistik yang ada tidak ditemukan adanyaresearch misconduct.Pustaka : Jurnal ini menggunakan kepustakaan dengan rincian 3 jurnal (tahun 1985,1999, dan 2002) dan 3 textbook (1991, 1994, dan 2001)

Critical appraisal – PustakaSepintas kepustakaan yang digunakan sangat sedikit dengan rentang tahun terbit pustakayang sangat jauh dengan jurnal ini (2005). Hal ini bisa dimaklumi karena meskipun metodedeteksi research misconduct sudah banyak dijelaskan tetapi penelitian terapan dalam bidangini masih sangat sedikit.Critical appraisal – Lain-lainJurnal ini secara sederhana memaparkan langkah-langkah sistematis dalam mendeteksi datapada penelitian yang dicurigai research misconduct. Sangat disayangkan bahwa sumber datayang digunakan dirahasiakan dan tidak disediakan data asli yang bisa diunduh (download)sehingga pembaca tidak bisa mencoba melakukan tahapan-tahapan analisis statistik yangdipaparkan.7

PENUTUPFilosofi dasar dalam penelitian eksperimental adalah “Semua hasil penelitian adalahotentik” hal ini mengakibatkan tidak adanya kendali untuk memverifikasi apakah data yangdidapat adalah riil atau merupakan hasil rekayasa. Fenomena di lapangan kemudianmenunjukkan bahwa kecurangan dalam penelitian ilmiah dapat dilakukan oleh siapa sajamulai dari peneliti biasa hingga peneliti yang diramalkan akan menjadi kandidat penerimanobel (kasus Hendrik Schon) (BBC, 2004). Berangkat dari fenomena inilah kemudian dalammetode penelitian lahir cabang spesialisasi ilmu baru yaitu statistical detection method ofresearch misconduct.Dalam membuktikan adanya research misconduct, penggunaan metode statistik sajatidak cukup. US Federal Register (2005) menggariskan penggunaan bukti (evidence),testimoni/hearing, catatan penelitian, dan pengawasan oleh lembaga yang berwenang untukmemutuskan apakah seorang peneliti dinyatakan melakukan research misconduct atau tidak.8

DAFTAR PUSTAKABBC, The dark secret of Hendrik Schön, http://www.bbc.co.uk/science/horizon/-2004/hendrikshontrans.shtml - serial online - diakses pada 12 November 2009Evans, Stephen, Statistical aspects of the detection of fraud in: Fraud and misconduct inBiomedical Research 3rd edition, BMJ Books, 2001, LondonFederal Register, Department of Health and Human Services, Public Health Service Policieson Research Misconduct Final Rule, 2005, MarylandScientific misconduct – http://en.wikipedia.org/wiki/Scientific_misconduct - serial online -diakses pada 12 November 2009Saxena, D., P.Kumar, Data Fabrication – Scientific Misconduct, Indian Journal ofCommunity Medicine, Vol 31 No. 3, 2006 -http://www.indmedica.com/journals.php?journalid=7&issueid=79&articleid=1050&action=article – serial online - diakses 12 November 2009Woo Suk Hwang, Who Faked Research, Made Spectator Breakthrough -http://www.medicalnewstoday.com/articles/78745.php - serial online - diakses pada 12November 2009