P-Value Itu Sebenarnya Bilang Apa? 6 Salah Kaprah yang Masih Diajarkan di Banyak Kelas

Kalau ada satu angka yang paling sering dipuja dan paling sering disalahpahami dalam dunia penelitian, itu adalah nilai p (p-value). Mahasiswa menghafalnya: “kalau p kurang dari 0,05, hipotesis diterima; kalau lebih, ditolak.” Dosen menanyakannya di ruang sidang. Jurnal menjadikannya tolok ukur. Dan di tengah semua itu, hampir tidak ada yang benar-benar bisa menjelaskan apa arti angka tersebut.

Saya tidak sedang menyalahkan siapa pun. Definisinya memang tidak intuitif. Tetapi memahaminya dengan benar bisa menyelamatkan kamu dari kesimpulan yang salah, di skripsi maupun di dunia kerja. Mari kita mulai dari definisi, lalu bongkar enam salah kaprah yang paling umum.

Definisi yang benar, dalam bahasa manusia

Nilai p adalah peluang mendapatkan hasil seekstrem yang kita amati (atau lebih ekstrem), dengan asumsi bahwa hipotesis nol benar. Hipotesis nol biasanya berbunyi “tidak ada efek” atau “tidak ada perbedaan”.

Bayangkan kamu mencurigai sebuah koin tidak adil. Kamu melemparnya sepuluh kali dan mendapat sembilan kali gambar. Pertanyaannya: kalau koin ini sebenarnya adil, seberapa mungkin kita mendapat hasil seekstrem ini? Peluang mendapat sembilan atau sepuluh gambar dari sepuluh lemparan koin adil sekitar 1,1%. Itulah nilai p (untuk uji satu arah): sekitar 0,011. Angka yang kecil berarti hasilmu mengejutkan jika koinnya adil, sehingga kamu mulai meragukan asumsi bahwa koin itu adil.

Perhatikan apa yang tidak dikatakan: nilai p tidak memberitahu peluang bahwa koin itu adil. Ia hanya memberitahu seberapa janggal data itu jika koinnya adil. Dua hal yang jauh berbeda, dan itulah akar salah kaprah berikut.

Salah kaprah 1: “p = 0,03 berarti hipotesis nol punya peluang 3% untuk benar”

Salah. Nilai p adalah peluang data (atau yang lebih ekstrem) dengan asumsi hipotesis nol benar, bukan peluang hipotesis nol benar dengan melihat data. Membalik kalimat itu seperti menyamakan “peluang seseorang membawa payung jika sedang hujan” dengan “peluang sedang hujan jika seseorang membawa payung”. Keduanya jelas berbeda. Untuk mendapatkan peluang hipotesis itu sendiri, kita membutuhkan pendekatan lain (misalnya Bayesian) dan informasi awal tentang seberapa masuk akal hipotesis itu sebelum melihat data.

Salah kaprah 2: “p < 0,05 berarti efeknya penting”

Tidak. Nilai p tidak mengukur besar efek. Dengan sampel yang sangat besar, perbedaan yang remeh (misalnya selisih skor kepuasan 0,02 pada skala 1 sampai 5) bisa menghasilkan p yang sangat kecil. Sebaliknya, dengan sampel kecil, efek yang secara praktis penting bisa menghasilkan p yang besar karena datanya tidak cukup kuat untuk memastikannya.

Untuk menilai pentingnya efek, laporkan ukuran efek (misalnya selisih rata-rata, koefisien regresi, d Cohen, atau R²) beserta interval kepercayaan. Interval kepercayaan jauh lebih informatif: ia menunjukkan rentang nilai efek yang masuk akal, bukan hanya ya atau tidak.

Salah kaprah 3: “p > 0,05 berarti tidak ada efek”

Juga salah. Hasil tidak signifikan hanya berarti data tidak cukup kuat untuk menolak hipotesis nol. Bisa jadi efeknya memang tidak ada. Bisa jadi efeknya ada, tetapi sampelnya terlalu kecil untuk mendeteksinya (daya uji rendah). “Tidak ada bukti adanya efek” tidak sama dengan “ada bukti ketiadaan efek”. Dalam laporan, tulislah “tidak ditemukan bukti yang cukup” dan tunjukkan interval kepercayaannya untuk memperlihatkan apakah efek bermakna masih mungkin.

Salah kaprah 4: “0,05 adalah angka suci”

Ambang 0,05 adalah konvensi, bukan hukum alam. Ia populer sejak awal abad ke-20 karena kemudahan menggunakannya dengan tabel statistik, bukan karena ada alasan ilmiah bahwa 0,049 berbeda secara fundamental dari 0,051. Memperlakukan p = 0,049 sebagai “temuan” dan p = 0,051 sebagai “bukan temuan” adalah cara berpikir yang rapuh. Dalam pernyataannya tahun 2016, American Statistical Association mengingatkan agar kesimpulan ilmiah dan keputusan kebijakan tidak hanya didasarkan pada apakah nilai p melewati ambang tertentu.

Salah kaprah 5: “Kalau saya coba banyak analisis dan satu yang signifikan, itu temuannya”

Ini jebakan yang halus, dan sering tidak disadari pelakunya. Kalau kamu menguji 20 hubungan yang sebenarnya tidak ada, dengan ambang 0,05, secara kebetulan kamu akan memperkirakan sekitar satu hasil “signifikan”. Peluang paling tidak satu dari 20 uji independen menghasilkan p < 0,05 padahal tidak ada efek sama sekali adalah sekitar 64%. Kalau kamu hanya melaporkan yang signifikan, kamu sedang menyajikan kebetulan sebagai penemuan.

Praktik mencoba berbagai analisis, memilih subkelompok, atau menghapus data sampai muncul hasil signifikan disebut p-hacking. Antisipasinya: tentukan hipotesis dan rencana analisis sebelum melihat data, laporkan semua analisis yang kamu lakukan (bukan hanya yang berhasil), dan gunakan koreksi untuk pengujian berganda ketika menguji banyak hipotesis sekaligus.

Salah kaprah 6: “Nilai p yang sangat kecil berarti hasilnya pasti benar”

Nilai p kecil tidak menjamin bahwa desain penelitiannya baik, pengukurannya valid, sampelnya representatif, atau tidak ada bias. Analisis yang sempurna terhadap data yang cacat tetap menghasilkan kesimpulan yang cacat. Nilai p hanya menjawab satu pertanyaan sempit tentang variasi acak, dan tidak menyentuh pertanyaan tentang kualitas data atau logika penelitian.

Jadi, bagaimana sebaiknya memakai nilai p?

Pandangan yang saya sampaikan kepada mahasiswa dan peneliti:

1. Pahami apa yang diujinya. Tuliskan hipotesis nolnya dengan kata-kata biasa.
2. Laporkan nilai p yang sebenarnya (misalnya p = 0,031), bukan hanya “p < 0,05”.
3. Selalu sertakan ukuran efek dan interval kepercayaan.
4. Pertimbangkan daya uji. Apakah sampelmu cukup untuk mendeteksi efek yang bermakna?
5. Ceritakan keseluruhan analisismu. Jangan menyembunyikan analisis yang tidak berhasil.
6. Gabungkan dengan teori dan akal sehat. Hasil yang signifikan tetapi bertentangan dengan seluruh teori yang ada pantas dicurigai dan direplikasi.

Nilai p bukan musuh. Ia alat yang berguna, asalkan dipakai untuk menjawab pertanyaan yang sesuai. Yang berbahaya adalah mengubahnya menjadi lampu lalu lintas yang memutuskan “benar atau salah” tanpa berpikir.

Contoh numerik: efek yang sama, kesimpulan berbeda

Bayangkan sebuah program pelatihan meningkatkan skor kompetensi rata-rata sebesar 2 poin pada skala dengan simpangan baku 10 (efek kecil, d Cohen = 0,2). Kalau kita mengujinya pada 30 orang, efek itu hampir pasti tidak akan terdeteksi (p besar), dan kita mungkin menyimpulkan ‘pelatihan tidak berpengaruh’. Kalau kita mengujinya pada 3.000 orang, efek yang sama akan menghasilkan p sangat kecil, dan kita menyimpulkan ‘pelatihan berpengaruh signifikan’. Efeknya persis sama: dua poin. Yang berubah hanya ukuran sampel. Pertanyaan yang sebenarnya penting adalah: apakah dua poin itu berarti secara praktis, dan apakah biaya pelatihan sebanding dengan manfaatnya? Nilai p tidak menjawabnya.

Alternatif dan pelengkap

Beberapa pendekatan yang makin dianjurkan: interval kepercayaan untuk menunjukkan rentang efek yang masuk akal, ukuran efek untuk menyatakan besarnya, analisis daya sebelum penelitian untuk memastikan sampel cukup, pra-registrasi rencana analisis untuk mencegah pemilihan analisis setelah melihat hasil, dan replikasi untuk memeriksa apakah temuan bertahan. Pendekatan Bayesian juga menawarkan cara untuk menyatakan seberapa kuat bukti mendukung suatu hipotesis, meskipun membutuhkan pemahaman tambahan. Intinya bukan membuang nilai p, tetapi menempatkannya sebagai satu bukti di antara beberapa.

---

Kalau ingin hasil uji statistikmu dibaca dengan benar, lihat layanan jasa analisis data dan statistik kami.