ID|EN
Chat di WhatsApp

Tag: machine learning

  • An Employee Turnover Prediction Model with “85% Accuracy”: Why That Number Can Mislead, and What to Look At

    Imagine a vendor presenting to the HR team. “Our turnover prediction model has 85% accuracy.” The room nods. Sounds impressive, doesn’t it? Eighty-five out of a hundred predictions are right. The contract is nearly signed.

    Before that happens, ask one simple question: “What percentage of employees at our company actually resign each year?”

    If the answer is 15%, there is some unwelcome news. A model that always guesses “nobody will resign” will be right for 85% of employees without learning anything. Its accuracy is 85%. And that model is completely useless, because it never finds a single employee who is going to resign.

    This is one of the most common traps in machine learning projects for HR, and in other fields where the event is rare: accuracy can be high precisely when the model does not work. Let us take it apart so you can assess such claims critically.

    The confusion matrix: four possibilities

    Every binary prediction (will resign or will stay) has four possible outcomes:

    • True positive (TP): the model predicts resign, and the person does resign.
    • False positive (FP): the model predicts resign, but the person stays.
    • True negative (TN): the model predicts stay, and the person does stay.
    • False negative (FN): the model predicts stay, but the person resigns.

    From those four numbers we compute several measures:

    • Accuracy = (TP + TN) / all predictions. How often the model is right overall.
    • Precision = TP / (TP + FP). Of everyone predicted to resign, how many actually resigned.
    • Recall (sensitivity) = TP / (TP + FN). Of everyone who actually resigned, how many the model managed to find.

    An example with numbers

    Suppose a company has 1,000 employees, and 150 of them resign this year (15%).

    Model A: “nobody resigns”. Its predictions are right for the 850 who stay, and wrong for the 150 who resign.

    • Accuracy: 850/1,000 = 85%
    • Recall: 0/150 = 0%
    • Precision: undefined (it never predicts resignation)

    Model B: a model that really learns. It flags 140 employees as high risk. Of those 140, 90 do resign (TP = 90), and 50 stay (FP = 50). Of the 150 who resign, it misses 60 people (FN = 60). So TN = 850 − 50 = 800.

    • Accuracy: (90 + 800)/1,000 = 89%
    • Precision: 90/140 = 64%
    • Recall: 90/150 = 60%

    Notice: the accuracy of the two models is not far apart (85% and 89%), even though one is entirely useless and the other finds 60% of the employees who will resign. Accuracy hides the most important difference. That is why, when someone offers a single accuracy figure, ask for other measures.

    Which measures should you ask for?

    It depends on the cost of errors:

    • If losing a key employee is expensive and you want to find as many at-risk people as possible, recall matters. The consequence is that precision may drop (more false alarms).
    • If intervention is expensive (for example an individual retention program with a high cost), precision matters so resources are not wasted on people who were not planning to leave.
    • For a picture of the balance: the F1-score (the harmonic mean of precision and recall) and AUC-ROC (the model’s ability to distinguish those who resign from those who stay across different thresholds) are often reported.

    And one important question that is often forgotten: compared with what? Is the model better than a simple rule, for example “employees with under two years of tenure and no promotion in 18 months are high risk”? A complex model must prove its added value over a simple baseline.

    Five other traps in HR prediction projects

    1. Data leakage. A model that accidentally uses information that only becomes available after the event, for example “has submitted a resignation letter” or “final contract status”. Results on test data look extraordinary, but in the real world the model is useless because that information does not yet exist when the prediction is needed.

    2. Testing on the same data used for training. A model must be tested on data it has never seen, ideally data from a period after the training data, so it reflects the real situation.

    3. Unrepresentative data. A model trained on data from one division does not necessarily apply to another. Changing conditions (for example a shifting job market) also make models go stale quickly, so they need to be monitored and retrained.

    4. Ignoring explanation. A “high risk” prediction without reasons is hard to act on. HR needs to know what factors drive the risk (for example time since last promotion, workload, or commute distance), not just a score. Model interpretation techniques help here.

    5. Ethics and privacy. Predictions about individuals involve employees’ personal data. Ask: do employees know their data is being used? Does the model treat certain groups unfairly (for example based on age, gender, or family status)? Will the risk score be used to help, or to punish? A prediction model should be a tool to support employees and improve the work environment, not to surveil or push people out.

    From prediction to action

    A prediction is useless if no action follows. A healthy flow usually goes like this:

    1. Define the business problem: which group’s turnover costs the most?
    2. Prepare clean and relevant data, with attention to privacy.
    3. Build a simple model first as a baseline, then a more complex one if needed.
    4. Evaluate with measures that match the cost of errors, not just accuracy.
    5. Translate results into action: conversations with supervisors, workload adjustments, career paths, or development programs.
    6. Monitor and update: measure whether the intervention works, and update the model regularly.

    In the end, the goal of the model is not to produce a pretty score. Its goal is to help the company retain the people worth retaining in a fair and humane way.

    Seven questions for your vendor or internal team

    If you are the party buying or commissioning a prediction project, ask these seven questions: (1) What is the proportion of the predicted event in the data, and against what baseline is the model compared? (2) Which measures are used besides accuracy? (3) How was the data tested, and is there data from a different period for testing? (4) Which features are used, and could any leak or be unethical? (5) How are predictions explained to users, so HR knows the reasons? (6) How is the model monitored and updated? (7) What concrete action will be taken based on the predictions, and how will we measure whether the action works? If any question cannot be answered, there is homework to do.

    A pilot before full rollout

    An accurate prediction does not necessarily produce better retention. The only way to be sure is a controlled pilot: choose several groups of high-risk employees, apply an intervention to some of them (for example a career development conversation), and compare with those who do not receive the intervention, with random assignment if possible. If the resignation rate in the intervention group is meaningfully lower, we have evidence that the combination of prediction and action works. Without a test like that, we only have a pretty risk score and good intentions.

    Short Q&A

    Does a resignation prediction model violate employee privacy? It can, if done without a clear policy. Healthy practice includes a legal basis and consent in line with personal data protection rules, restricted access to individual scores, using as little data as possible, and transparency to employees about the purpose of use.

    How much data is needed to build a model like this? There is no single number. What matters is having enough resignation events for the model to learn from, not just the number of employees. For small companies, descriptive analysis and exit interviews are often more useful than a fragile predictive model.

    Interested in building analysis or prediction models for HR, sales, or your company’s operations, with honest evaluation? The datalytics.indo team can help with everything from framing the problem, preparing data, and modeling, to dashboards and action recommendations. In-house training in applied analytics and machine learning is also available. Let’s discuss your needs first. We’ll provide a tailored quote based on your project.

    Chat on WhatsApp

  • Model Prediksi Karyawan Resign “Akurasi 85%”: Kenapa Angka Itu Bisa Menyesatkan, dan Apa yang Harus Dilihat

    Bayangkan seorang vendor presentasi di depan tim SDM. “Model prediksi turnover kami memiliki akurasi 85%.” Ruangan mengangguk. Kedengarannya mengesankan, bukan? Delapan puluh lima dari seratus prediksi benar. Kontrak hampir ditandatangani.

    Sebelum itu terjadi, ajukan satu pertanyaan sederhana: “Berapa persen karyawan di perusahaan kami yang sebenarnya resign tiap tahun?”

    Kalau jawabannya 15%, ada kabar yang kurang enak. Model yang selalu menebak “tidak ada yang akan resign” akan benar untuk 85% karyawan, tanpa mempelajari apa pun. Akurasinya 85%. Dan model itu sama sekali tidak berguna, karena ia tidak pernah menemukan satu pun karyawan yang akan resign.

    Inilah salah satu jebakan paling umum dalam proyek machine learning untuk SDM, dan bidang lain yang kejadiannya langka: akurasi bisa tinggi justru ketika model tidak bekerja. Mari kita bedah supaya kamu bisa menilai klaim seperti itu dengan kritis.

    Matriks kebingungan: empat kemungkinan

    Setiap prediksi biner (akan resign atau bertahan) punya empat kemungkinan hasil:

    • Benar positif (TP): model memprediksi resign, dan memang resign.
    • Salah positif (FP): model memprediksi resign, tapi ternyata bertahan.
    • Benar negatif (TN): model memprediksi bertahan, dan memang bertahan.
    • Salah negatif (FN): model memprediksi bertahan, tapi ternyata resign.

    Dari empat angka itu kita menghitung beberapa ukuran:

    • Akurasi = (TP + TN) / seluruh prediksi. Seberapa sering model benar secara keseluruhan.
    • Presisi = TP / (TP + FP). Dari semua yang diprediksi resign, berapa yang benar-benar resign.
    • Recall (sensitivitas) = TP / (TP + FN). Dari semua yang benar-benar resign, berapa yang berhasil ditemukan model.

    Contoh dengan angka

    Misalkan perusahaan punya 1.000 karyawan, dan 150 di antaranya resign tahun ini (15%).

    Model A: “tidak ada yang resign”. Prediksinya benar untuk 850 orang yang bertahan, dan salah untuk 150 yang resign.

    • Akurasi: 850/1.000 = 85%
    • Recall: 0/150 = 0%
    • Presisi: tidak terdefinisi (tidak pernah memprediksi resign)

    Model B: model yang benar-benar belajar. Ia menandai 140 karyawan berisiko tinggi. Dari 140 itu, 90 memang resign (TP = 90), dan 50 ternyata bertahan (FP = 50). Dari 150 yang resign, ia gagal menemukan 60 orang (FN = 60). Maka TN = 850 − 50 = 800.

    • Akurasi: (90 + 800)/1.000 = 89%
    • Presisi: 90/140 = 64%
    • Recall: 90/150 = 60%

    Perhatikan: akurasi kedua model tidak terpaut jauh (85% dan 89%), padahal yang satu tidak berguna sama sekali dan yang lain menemukan 60% dari karyawan yang akan resign. Akurasi menyembunyikan perbedaan terpenting. Itulah kenapa kalau ada yang menyodorkan akurasi tunggal, minta ukuran lain.

    Ukuran apa yang sebaiknya diminta?

    Tergantung biaya kesalahan:

    • Kalau kehilangan karyawan kunci itu mahal dan kamu ingin menemukan sebanyak mungkin yang berisiko, recall penting. Konsekuensinya presisi bisa turun (lebih banyak alarm palsu).
    • Kalau intervensi mahal (misalnya program retensi individual yang berbiaya tinggi), presisi penting agar sumber daya tidak terbuang ke orang yang sebenarnya tidak berencana pergi.
    • Untuk gambaran keseimbangan: F1-score (rata-rata harmonik presisi dan recall) dan AUC-ROC (kemampuan model membedakan yang resign dari yang bertahan di berbagai ambang batas) sering dilaporkan.

    Dan satu pertanyaan penting yang sering dilupakan: dibandingkan dengan apa? Apakah model lebih baik daripada aturan sederhana, misalnya “karyawan dengan masa kerja di bawah dua tahun dan tanpa promosi dalam 18 bulan berisiko tinggi”? Model yang rumit harus membuktikan nilai tambahnya dibanding patokan sederhana.

    Lima jebakan lain dalam proyek prediksi SDM

    1. Kebocoran data (data leakage). Model yang secara tidak sengaja memakai informasi yang baru tersedia setelah kejadian, misalnya “sudah mengajukan surat pengunduran diri” atau “status akhir kontrak”. Hasil di data uji tampak luar biasa, tapi di dunia nyata model tidak berguna karena informasi itu belum ada saat prediksi dibutuhkan.

    2. Pengujian pada data yang sama dengan pelatihan. Model harus diuji pada data yang belum pernah dilihatnya, idealnya data dari periode waktu setelah data pelatihan, agar mencerminkan situasi nyata.

    3. Data yang tidak representatif. Model yang dilatih pada data satu divisi belum tentu berlaku di divisi lain. Perubahan kondisi (misalnya pasar kerja yang berubah) juga membuat model cepat usang, sehingga perlu dipantau dan dilatih ulang.

    4. Mengabaikan penjelasan. Prediksi “risiko tinggi” tanpa alasan sulit ditindaklanjuti. SDM butuh tahu faktor apa yang mendorong risiko (misalnya lama tidak dipromosikan, beban kerja, atau jarak tempuh), bukan hanya skor. Teknik interpretasi model membantu di sini.

    5. Persoalan etika dan privasi. Prediksi tentang individu menyangkut data pribadi karyawan. Tanyakan: apakah karyawan tahu datanya dipakai? Apakah model memperlakukan kelompok tertentu secara tidak adil (misalnya berdasarkan usia, gender, atau status keluarga)? Apakah skor risiko akan dipakai untuk membantu, atau justru untuk menghukum? Model prediksi seharusnya menjadi alat untuk mendukung karyawan dan memperbaiki lingkungan kerja, bukan untuk mengintai atau menyingkirkan.

    Dari prediksi ke tindakan

    Prediksi tidak berguna kalau tidak diikuti tindakan. Alur yang sehat biasanya begini:

    1. Definisikan masalah bisnis: turnover di kelompok mana yang paling merugikan?
    2. Siapkan data yang bersih dan relevan, dengan perhatian pada privasi.
    3. Bangun model sederhana lebih dulu sebagai patokan, baru yang lebih kompleks bila perlu.
    4. Evaluasi dengan ukuran yang sesuai biaya kesalahan, bukan hanya akurasi.
    5. Terjemahkan hasil ke tindakan: percakapan dengan atasan, penyesuaian beban kerja, jalur karier, atau program pengembangan.
    6. Pantau dan perbarui: ukur apakah intervensi berhasil, dan perbarui model secara berkala.

    Pada akhirnya, tujuan model bukan menghasilkan skor yang cantik. Tujuannya membantu perusahaan mempertahankan orang-orang yang layak dipertahankan dengan cara yang adil dan manusiawi.

    Tujuh pertanyaan untuk vendor atau tim internalmu

    Kalau kamu pihak yang membeli atau menugaskan proyek prediksi, ajukan tujuh pertanyaan ini: (1) Berapa proporsi kejadian yang diprediksi dalam data, dan model dibandingkan dengan patokan apa? (2) Ukuran apa yang dipakai selain akurasi? (3) Bagaimana data diuji, dan apakah ada data dari periode yang berbeda untuk pengujian? (4) Fitur apa saja yang dipakai, dan apakah ada yang berpotensi bocor atau tidak etis? (5) Bagaimana prediksi dijelaskan kepada pengguna, sehingga SDM tahu alasannya? (6) Bagaimana model dipantau dan diperbarui? (7) Apa tindakan konkret yang akan diambil berdasarkan prediksi, dan bagaimana kita mengukur apakah tindakan itu berhasil? Kalau salah satu pertanyaan tidak bisa dijawab, ada pekerjaan rumah.

    Uji coba sebelum penerapan menyeluruh

    Prediksi yang akurat belum tentu menghasilkan retensi yang lebih baik. Satu-satunya cara memastikan adalah uji coba terkontrol: pilih beberapa kelompok karyawan berisiko tinggi, beri intervensi pada sebagian (misalnya percakapan pengembangan karier), dan bandingkan dengan sebagian yang tidak mendapat intervensi, dengan pembagian acak jika memungkinkan. Kalau tingkat resign pada kelompok intervensi lebih rendah secara bermakna, kita punya bukti bahwa kombinasi prediksi dan tindakan itu berhasil. Tanpa uji seperti itu, kita hanya punya skor risiko yang cantik dan harapan baik.

    Tanya jawab singkat

    Apakah model prediksi resign melanggar privasi karyawan? Bisa, jika dilakukan tanpa kebijakan jelas. Praktik yang sehat meliputi dasar hukum dan persetujuan sesuai ketentuan pelindungan data pribadi, pembatasan akses terhadap skor individu, penggunaan data seminimal mungkin, dan transparansi kepada karyawan tentang tujuan penggunaannya.

    Perlu berapa data untuk membangun model seperti ini? Tidak ada angka tunggal. Yang penting jumlah kejadian resign yang cukup untuk dipelajari model, bukan hanya jumlah karyawan. Untuk perusahaan kecil, analisis deskriptif dan wawancara keluar sering lebih bermanfaat daripada model prediktif yang rapuh.

    Ingin model prediksi yang dievaluasi dengan metrik yang tepat? Lihat layanan jasa analisis data dan statistik kami.

    Tertarik membangun analisis atau model prediksi untuk SDM, penjualan, atau operasional perusahaanmu, dengan evaluasi yang jujur? Tim datalytics.indo membantu dari perumusan masalah, penyiapan data, pemodelan, sampai dashboard dan rekomendasi tindakan. Tersedia juga pelatihan in-house analitik dan machine learning terapan. Hubungi kami untuk mendapatkan solusi terbaik.

    Chat di WhatsApp