Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024
Article Sidebar
Published:
Nov 30, 2025
Keywords:
IndoBERT, XLNet, Kemiripan Semantik, Media Sosial, Indeks Kerawanan Pemilu
Main Article Content
Abstract
Pemilihan Umum (Pemilu) merupakan pilar demokrasi yang rentan terhadap polarisasi opini publik dan penyebaran disinformasi di media sosial. Untuk memahami dinamika tersebut, diperlukan pendekatan analisis semantik guna mengidentifikasi potensi kerawanan pemilu. Penelitian ini bertujuan membandingkan kinerja dua model berbasis transformer, IndoBERT dan XLNet, dalam mengukur kemiripan semantik antara komentar media sosial (Twitter/X) dan indikator Indeks Kerawanan Pemilu (IKP) 2024. Data diperoleh melalui teknik crawling sebanyak 574 tweet dengan kata kunci “Pemilu2024”. Tahapan penelitian meliputi preprocessing (pembersihan data, tokenizing, normalisasi, dan stemming), analisis menggunakan model IndoBERT dan XLNet, perhitungan cosine similarity, serta evaluasi melalui Confusion Matrix (akurasi, presisi, recall, F1-score) dan Expert Judgment. Hasil menunjukkan bahwa XLNet memiliki performa lebih baik dengan akurasi 76%, presisi 69,5%, recall 80%, dan F1-score 74,3%, dibandingkan IndoBERT dengan akurasi 59,7%, presisi 54,3%, recall 60,9%, dan F1-score 57,3%. Penelitian ini berkontribusi dalam pengembangan metode komparatif berbasis Natural Language Processing (NLP) untuk mendeteksi potensi isu kerawanan pemilu melalui analisis opini publik di media sosial sebagai dukungan bagi pengawasan partisipatif Bawaslu
Article Details
How to Cite
Emor, S. C., Irene R. H. T. Tangkawarow, & Audy A. Kenap. (2025). Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024. Jurnal Sistem Dan Informatika (JSI), 19(2), 32-44. https://doi.org/10.30864/jsi.v19i2.735
Section
Articles
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Jurnal Sistem dan Informatika (JSI) bersifat open access, yaitu dapat diakses secara umum tanpa dikenakan biaya. Penulis yang menerbitkan artikelnya di JSI setuju dengan ketentuan berikut:- JSI menggunakan perjanjian lisensi ekslusif, yaitu penulis memegang hak cipta atas artikel dan memberikan hak publikasi kepada Jurnal Sistem dan Informatika (JSI).
- JSI mempunyai hak ekslusif untuk mempublikasi dan mendistribusikan artikel secara sebagian atau keseluruhan, dan memberikan hak kepada orang lain sesuai dengan lisensi yang digunakan.
- JSI berhak untuk menyediakan artikel dalam berbagai bentuk dan media, sehingga artikel dapat digunakan untuk teknologi terbaru bahkan setelah dipublikasikan.
- JSI berhak untuk menegakkan hak-hak atas nama penulis pada artikel terhadap pihak ketiga. Misalnya dalam kasus plagiarisme atau pelanggaran hak cipta.
- Artikel harus dirujuk, link terhadap lisensi harus disediakan, dan jika terdapat bagian artikel yang diubah harus ditandai.
- Jika artikel disadur sehingga terdapat perubahan, hasil saduran harus didistribusikan menggunakan lisensi yang sama.
- Tidak diperkenankan untuk membatasi orang lain terhadap apa yang diperbolehkan oleh lisensi.
References
[1] P. Norris, “Why elections fail,” Why Elections Fail, no. 2008, pp. 1–256, 2015, doi: 10.1017/CBO9781107280908.
[2] Suhariyanto Didik, “Pengabdian Masyarakat Pemetaan Kerawanan Pemilihan Umum (Pemilu) Serentak Tahun 2024 (Pencegahan Kampanye Politisasi Sara, Hoax Dan Ujaran Kebencian),” Communnity Dev. J., vol. 5, no. 1, pp. 2348–2352, 2024, [Online]. Available: https://journal.universitaspahlawan.ac.id/index.php/cdj/article/view/25792
[3] Bawaslu, “Pemutakhiran Indeks Kerawanan Pemilu (IKP) Pilkada 2020,” 2020.
[4] Bawaslu RI, “Indeks Kerawanan Pemilu Dan Pemilihan Serentak 2024,” Bawaslu RI, pp. 1–23, 2023, [Online]. Available: https://ppidapp.bawaslu.go.id/api/services/file/public/dip/3319/1718353397618-Indeks Kerawanan Pemilu 2024.pdf
[5] D. Irawan, “Kampung Pengawasan Partisipatif dan Road Map Indeks Kerawanan Pemilu di Kabupaten Indramayu,” J. Adhyasta Pemilu, vol. 5, no. 1, pp. 19–31, 2022, doi: 10.55108/jap.v5i1.85.
[6] B. S. Utomo and I. Irwansyah, “Peran Media Sosial dalam Gerakan Menolak Penundaan Pemilu di Indonesia,” J. Polit. Indones., vol. 8, no. 2, pp. 108–128, 2023, doi: 10.35706/jpi.v8i2.10214.
[7] S. Aeni, “Analisis Opini Publik Terhadap Pemilu 2024 Pada Media Sosial X 1 Tafana Destiana Larassetya, 2 Arfian Suryasuciramdhan , 3 Nuril Ulia Salsa , 4 Ira,” Sos. dan Hum., no. 2, pp. 292–301, 2024, [Online]. Available: https://doi.org/10.47861/tuturan.v2i2.994
[8] Jayus, Sumaiyah, Desy Mairita, and Assyari Abdullah, “Media Sosial sebagai Media Kampanye Politik Menjelang Pemilu 2024,” J. SIMBOLIKA Res. Learn. Commun. Study, vol. 10, no. 1, pp. 72–81, 2024, doi: 10.31289/simbolika.v10i1.11468.
[9] A. Jungherr, “25 . Digital campaigning : how digital media change the work of parties and campaign organizations and impact elections,” pp. 446–462, 2016.
[10] A. Tumasjan, T. O. Sprenger, P. G. Sandner, and I. M. Welpe, “Election forecasts with Twitter: How 140 characters reflect the political landscape,” Soc. Sci. Comput. Rev., vol. 29, no. 4, pp. 402–418, 2011, doi: 10.1177/0894439310386557.
[11] A. Danaditya, L. H. X. Ng, and K. M. Carley, “From curious hashtags to polarized effect: profiling coordinated actions in indonesian twitter discourse,” Soc. Netw. Anal. Min., vol. 12, no. 1, pp. 1–24, 2022, doi: 10.1007/s13278-022-00936-2.
[12] I. Tangkawarow, “Analisis Sentimen Pada Sosial Media Twitter Terhadap Pemilu 2024 Dengan Metode Support Vector Machine,” J. Ilm. Wahana Pendidik., vol. 11, no. 5.A, pp. 315–330, 2025, [Online]. Available: http://ai-soc.org/ijcs/index.php/ijcs/article/view/4777/1032
[13] I. Tangkawarow and S. Mawikere, “Perbandingan Akurasi SVM & Naive Bayes Pada Analisis Sentimen Data Berita Online Terhadap COKLIT Pemilu 2024,” vol. 14, no. 2, pp. 3159–3169, 2025.
[14] I. Tangkawarow and I. W. Suardi, “Perbandingan Nilai Akurasi Analisa Sentiment Pada Kata Kunci Pemilu 2024,” vol. 14, no. 2, pp. 3105–3118, 2025.
[15] A. Kenap and N. Abram, “Analisis Kemiripan Menggunakan Metode BERT dan Jaccard Pada Proses Bisnis Bawaslu RI,” Indones. J. Comput. Sci., vol. 14, no. 3, pp. 5088–5098, 2025, doi: 10.33022/ijcs.v14i3.4890.
[16] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” NAACL HLT 2019 - 2019 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf., vol. 1, no. Mlm, pp. 4171–4186, 2019.
[17] F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” COLING 2020 - 28th Int. Conf. Comput. Linguist. Proc. Conf., pp. 757–770, 2020, doi: 10.18653/v1/2020.coling-main.66.
[18] Z. Yang, Z. Dai, Y. Yang, J. Carbonell, R. Salakhutdinov, and Q. V. Le, “XLNet: Generalized autoregressive pretraining for language understanding,” Adv. Neural Inf. Process. Syst., vol. 32, no. NeurIPS, pp. 1–18, 2019.
[2] Suhariyanto Didik, “Pengabdian Masyarakat Pemetaan Kerawanan Pemilihan Umum (Pemilu) Serentak Tahun 2024 (Pencegahan Kampanye Politisasi Sara, Hoax Dan Ujaran Kebencian),” Communnity Dev. J., vol. 5, no. 1, pp. 2348–2352, 2024, [Online]. Available: https://journal.universitaspahlawan.ac.id/index.php/cdj/article/view/25792
[3] Bawaslu, “Pemutakhiran Indeks Kerawanan Pemilu (IKP) Pilkada 2020,” 2020.
[4] Bawaslu RI, “Indeks Kerawanan Pemilu Dan Pemilihan Serentak 2024,” Bawaslu RI, pp. 1–23, 2023, [Online]. Available: https://ppidapp.bawaslu.go.id/api/services/file/public/dip/3319/1718353397618-Indeks Kerawanan Pemilu 2024.pdf
[5] D. Irawan, “Kampung Pengawasan Partisipatif dan Road Map Indeks Kerawanan Pemilu di Kabupaten Indramayu,” J. Adhyasta Pemilu, vol. 5, no. 1, pp. 19–31, 2022, doi: 10.55108/jap.v5i1.85.
[6] B. S. Utomo and I. Irwansyah, “Peran Media Sosial dalam Gerakan Menolak Penundaan Pemilu di Indonesia,” J. Polit. Indones., vol. 8, no. 2, pp. 108–128, 2023, doi: 10.35706/jpi.v8i2.10214.
[7] S. Aeni, “Analisis Opini Publik Terhadap Pemilu 2024 Pada Media Sosial X 1 Tafana Destiana Larassetya, 2 Arfian Suryasuciramdhan , 3 Nuril Ulia Salsa , 4 Ira,” Sos. dan Hum., no. 2, pp. 292–301, 2024, [Online]. Available: https://doi.org/10.47861/tuturan.v2i2.994
[8] Jayus, Sumaiyah, Desy Mairita, and Assyari Abdullah, “Media Sosial sebagai Media Kampanye Politik Menjelang Pemilu 2024,” J. SIMBOLIKA Res. Learn. Commun. Study, vol. 10, no. 1, pp. 72–81, 2024, doi: 10.31289/simbolika.v10i1.11468.
[9] A. Jungherr, “25 . Digital campaigning : how digital media change the work of parties and campaign organizations and impact elections,” pp. 446–462, 2016.
[10] A. Tumasjan, T. O. Sprenger, P. G. Sandner, and I. M. Welpe, “Election forecasts with Twitter: How 140 characters reflect the political landscape,” Soc. Sci. Comput. Rev., vol. 29, no. 4, pp. 402–418, 2011, doi: 10.1177/0894439310386557.
[11] A. Danaditya, L. H. X. Ng, and K. M. Carley, “From curious hashtags to polarized effect: profiling coordinated actions in indonesian twitter discourse,” Soc. Netw. Anal. Min., vol. 12, no. 1, pp. 1–24, 2022, doi: 10.1007/s13278-022-00936-2.
[12] I. Tangkawarow, “Analisis Sentimen Pada Sosial Media Twitter Terhadap Pemilu 2024 Dengan Metode Support Vector Machine,” J. Ilm. Wahana Pendidik., vol. 11, no. 5.A, pp. 315–330, 2025, [Online]. Available: http://ai-soc.org/ijcs/index.php/ijcs/article/view/4777/1032
[13] I. Tangkawarow and S. Mawikere, “Perbandingan Akurasi SVM & Naive Bayes Pada Analisis Sentimen Data Berita Online Terhadap COKLIT Pemilu 2024,” vol. 14, no. 2, pp. 3159–3169, 2025.
[14] I. Tangkawarow and I. W. Suardi, “Perbandingan Nilai Akurasi Analisa Sentiment Pada Kata Kunci Pemilu 2024,” vol. 14, no. 2, pp. 3105–3118, 2025.
[15] A. Kenap and N. Abram, “Analisis Kemiripan Menggunakan Metode BERT dan Jaccard Pada Proses Bisnis Bawaslu RI,” Indones. J. Comput. Sci., vol. 14, no. 3, pp. 5088–5098, 2025, doi: 10.33022/ijcs.v14i3.4890.
[16] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” NAACL HLT 2019 - 2019 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf., vol. 1, no. Mlm, pp. 4171–4186, 2019.
[17] F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” COLING 2020 - 28th Int. Conf. Comput. Linguist. Proc. Conf., pp. 757–770, 2020, doi: 10.18653/v1/2020.coling-main.66.
[18] Z. Yang, Z. Dai, Y. Yang, J. Carbonell, R. Salakhutdinov, and Q. V. Le, “XLNet: Generalized autoregressive pretraining for language understanding,” Adv. Neural Inf. Process. Syst., vol. 32, no. NeurIPS, pp. 1–18, 2019.
