Perbandingan Recall and Precision pada Sistem Temu Kembali Informasi Lama (Simpus) dan Baru (Simpustaka) di Perpustakaan Universitas Islam Indonesia

Perkembangan teknologi berlangsung makin pesat dan membawa perubahan besar dalam berbagai sektor, termasuk perpustakaan. Dunia perpustakaan menghadapi berbagai tantangan dalam menyediakan layanan kepada pemustaka agar senantiasa relevan mengikuti situasi zaman. Pada awalnya perpustakaan menggunakan konsep perpustakaan konvensional yang identik dengan gambaran sebuah gedung untuk menyimpan koleksi buku yang masih dikelola secara manual (Husna, 2018). Untuk menemukan informasi tentang suatu koleksi dibutuhkan katalog perpustakaan yang memuat deskripsi suatu bahan pustaka seperti judul, nama pengarang, edisi, cetakan, tempat terbit, penerbit, subjek bahasan, ISBN, dan sebagainya (Wardoyo, 2016). Keberadaan katalog perpustakaan dapat memudahkan kegiatan temu kembali informasi (Matindas et al., 2018). Temu kembali informasi merupakan sebuah layanan untuk mendapatkan informasi yang dibutuhkan oleh pemustaka. Perpustakaan harus selalu beradaptasi dengan kebutuhan para pemustaka. Memasuki era digital, manusia mempunyai gaya hidup baru yang tak terlepas dari perangkat elektronik (Nikijuluw et al., 2020). Selain itu, era digital juga membawa perubahan karakter pada manusia yang membutuhkan informasi secara cepat dan tepat. Oleh karena itulah perpustakaan perlu melakukan transformasi dari katalog manual menuju katalog online atau yang biasa disebut Online Public Access Catalogue (OPAC) agar dapat diakses kapan pun dan di mana pun pemustaka berada. Adanya OPAC sebagai sarana temu kembali informasi yang mutakhir juga memberikan kemudahan bagi pustakawan untuk melakukan katalogisasi karena mampu meningkatkan efisiensi pekerjaan (Rodin & Kurnia, 2021). Dalam lingkup perguruan tinggi, perpustakaan merupakan mitra utama bagi civitas academica dalam melakukan pembelajaran maupun penelitian. Berangkat dari sinilah, perpustakaan harus mampu memenuhi kebutuhan informasi yang diminta oleh pemustaka dan bagaimana memberikan jalan kepada pemustaka untuk memperoleh informasi yang dibutuhkan. Direktorat Perpustakaan Universitas Islam Indonesia (UII) berupaya menghadirkan pelayanan prima melalui tersedianya katalog berbasis online (OPAC) untuk memudahkan pemustaka menemukan koleksi di perpustakaan. Pengembangan OPAC Perpustakaan UII pertama terjadi pada tahun 1998 dengan alamat simpus.uii.ac.id. untuk selanjutnya biasa disebut Simpus. Pembuatan portal Simpus mendapatkan dukungan dana dari Program Hibah Kompetensi berbasis Institusi (PHKI). Seiring berjalannya waktu dan berkembangnya teknologi, Perpustakaan UII melakukan migrasi sistem dari Simpus yang masih berbasis desktop menuju Simpustaka yang mengadopsi SLiMS. Aplikasi SLiMS (Senayan Library Management System) merupakan software open source yang dikembangkan oleh Senayan Developers Community sebagai sistem automasi perpustakaan berbasis web (Manu & Fallo, 2022). Adanya SLiMS memberikan kemudahan dalam hal interoperabilitas yang memungkinkan terjalinnya kerja sama antar perpustakaan berbagi sumber daya dan membangun sistem perpustakaan yang terintegrasi satu sama lain (Zakaria, 2014). Alasan interoperabilitas menjadi salah satu pertimbangan bagi Perpustakaan UII untuk mulai memanfaatkan SLiMS 9 Bullian pada September 2024 dengan alamat www.pustaka.uii.ac.id. Implementasi SLiMS di Perpustakaan UII diharapkan dapat meningkatkan efisiensi dan efektivitas pengelolaan koleksi dan memperluas akses informasi kepada para pemustaka. Namun belum ada kajian yang membahas tentang analisis recall and precision untuk mengungkap tingkat efektivitas dari OPAC lama maupun baru. Recall merupakan kemampuan sistem untuk menampilkan hasil yang sesuai dengan kata kunci yang dimasukkan, sedangkan precision adalah kemampuan tidak menampilkan dokumen yang tidak sesuai dengan kebutuhan pemustaka (Nengsih, 2020). Dengan demikian, penelitian ini bermaksud mengetahui perbandingan tingkat recall and precision pada OPAC lama (Simpus) dan baru (Simpustaka).

Penelitian ini menggunakan metode deskriptif dengan pendekatan kuantitatif. Penelitian dimulai dari penentuan subjek yang dianggap representatif untuk kemudian dilakukan pengujian data pada OPAC lama (Simpus) dan OPAC baru (Simpustaka). Selanjutnya data dianalisis melalui tabulasi dan diolah menggunakan rumus recall and precision serta ukuran gabungan (F1-score) untuk memberikan gambaran seimbang antara recall and precision. Hasil dari OPAC lama (Simpus) dan OPAC baru (Simpustaka) kemudian dikomparasi untuk mengetahui perbedaan efektivitas sistem temu kembali informasi dan ditarik kesimpulan. Dalam penelitian ini yang menjadi variabel adalah recall dan precision sebagai indikator untuk menilai efektivitas sistem temu kembali informasi. Populasi penelitian mencakup seluruh data koleksi yang ada di OPAC lama (Simpus) dan OPAC baru (Simpustaka). Adapun penelitian ini membatasi sampel pada hasil pencarian menggunakan tiga kunci yang paling sering dicari di OPAC Perpustakaan UII yaitu Hukum Internasional, Hukum Dagang, dan Hukum Hak Asasi Manusia. Untuk meningkatkan validitas dan reliabilitas data, triangulasi sumber digunakan dengan cara mengonfirmasi hasil penilaian relevansi kepada pihak yang memiliki kompetensi pengindeksan subjek khususnya di bidang hukum. Pada dasarnya, penilaian peneliti terhadap relevansi koleksi dalam hasil pencarian OPAC bersifat rawan subjektif (Voorhees, 2000). Hal ini disebabkan oleh perbedaan persepsi tentang relevansi koleksi antara satu penilai dengan penilai lainnya. Untuk meminimalisasi subjektivitas tersebut, peneliti menggunakan tajuk subjek dari Perpustakaan Nasional Republik Indonesia sebagai acuan dalam menilai kesesuaian koleksi hasil pencarian.

Sistem Temu Kembali Informasi Sistem temu kembali informasi (information retrieval system) adalah proses yang berkaitan dengan pencarian, representasi, penyimpanan, dan pemanggilan kembali informasi yang sesuai kebutuhan para pemustaka (Putri et al., 2023). Prinsip dasar dari sistem temu kembali informasi di perpustakaan haruslah dapat dilakukan dengan mudah, efisien, dan relevan (Risparyanto, 2012). Hasugian sebagaimana yang dikutip Saufa dan Wahyu menyebutkan lima komponen sistem temu kembali informasi sebagai berikut: (1) Pengguna/ User terbagi menjadi pengguna (user) dan pengguna akhir (end user). Seluruh pengguna sistem informasi yang memanfaatkan sistem penelusuran untuk berbagai kegiatan mulai dari pengelolaan maupun keperluan pencarian informasi, sedangkan end user hanya untuk mencari informasi; (2) Query merupakan format bahasan permintaan yang diinput pengguna ke dalam sistem informasi. Setelah query dimasukkan maka mesin dapat memproses pemanggilan (recall) terhadap dokumen yang dicari pada basis data; (3) Dokumen merujuk pada seluruh bahan pustaka baik itu buku, artikel, laporan penelitian, dan sebagainya. Penyebutan dokumen dalam bahasa sistem informasi online ialah semua dokumen elektronik yang telah dimasukkan dan disimpan ke dalam basis data; (4) Indeks Dokumen berfungsi sebagai representasi subjek dari suatu dokumen. Indeks memuat daftar istilah atau kata mempunyai tiga jenis yaitu: indeks subjek berdasarkan subyek dokumen, indeks pengarang berdasarkan nama pengarang, dan indeks bebas yang berasal dari seluruh istilah representasi dokumen; (5) Pencocokan merupakan istilah query yang diinput oleh pengguna dengan indeks dokumen yang tersimpan dalam database komputer. Nantinya, komputer inilah yang memproses pencocokan dalam waktu yang singkat sesuai kecepatan memori dan proses yang dipunyai komputer tersebut (Saufa & Wahyu, 2017). Evaluasi sistem perlu dilakukan untuk menjelaskan kemampuan sistem untuk mengambil dan menampilkan informasi dari suatu database sesuai dengan permintaan pengguna (Yusrawati, 2017). Tujuan utama mengevaluasi sistem yaitu untuk membandingkan manfaat dari dua atau lebih sistem yang digunakan, membuat komparasi antara hasil yang diperoleh dalam situasi yang berbeda dan untuk menilai manfaat sistem di kehidupan nyata (A’yunin et al., 2017). Penelitian ini mengambil fokus untuk mengetahui perbandingan efektivitas pencarian informasi di OPAC lama dan OPAC baru menggunakan nilai recall and precision. Online Public Access Catalogue (OPAC) Online Public Access Catalogue (OPAC) adalah sebuah pangkalan data dengan cantuman bibliografi yang umumnya berisikan informasi koleksi yang ada di perpustakaan (Nugroho & Isnainy, 2022). Keberadaan OPAC menawarkan kemudahan bagi para pemustaka untuk menelusuri ketersediaan koleksi di perpustakaan secara lebih cepat. Pemustaka hanya perlu mengetikkan kata kunci yang diinginkan ke dalam kolom pencarian, selanjutnya akan muncul beberapa pilihan data koleksi yang dicari oleh pemustaka (Monisa, 2013). Menurut Aulia dan Asnghari terdapat tiga cara penelusuran pada OPAC yaitu: (1) Penelusuran melalui browsing dengan cara memeriksa satu per satu cantuman dari dokumen yang ada. Cara ini kurang efisien karena memakan waktu yang lama walaupun hasilnya akurat; (2) Penelusuran kata kunci bisa dilakukan menggunakan istilah/kata dengan bebas sebagai query; (3) Penelusuran terbatas dilakukan dengan membatasi ruas data tertentu baik itu database, tahun, bahasa, negara, dan lain-lain (Aulia & Asnghari, 2019). Sebelum muncul OPAC, katalog perpustakaan mengalami perkembangan dari waktu ke waktu seperti katalog buku, katalog berkas, katalog terpasang dan yang paling umum berbentuk katalog kartu. Lahirnya OPAC menyimpan keunggulan tersendiri di antara lain katalog manual para pendahulunya seperti berikut: (1) mempermudah penelusuran informasi dengan berbagai pilihan cara pencarian, (2) menghemat waktu dan tenaga, (3) memudahkan pengelolaan bahan pustaka, (4) mengoptimalkan pemanfaatan bahan pustaka (Mawati & Nst, 2013). Berdasarkan uraian di atas, maka dapat dipahami bahwa OPAC merupakan sarana temu kembali informasi mutakhir yang ada di perpustakaan untuk menelusuri koleksi. Manfaat yang dirasakan dari OPAC adalah efektivitas dan efisien bagi para pustakawan maupun pemustaka sehingga OPAC harus mampu beroperasi dengan baik agar tugas perpustakaan sebagai penyedia informasi tetap relevan dengan kebutuhan pemustaka yang menginginkan informasi secara cepat dan tepat. Recall and Precision Pengujian suatu sistem temu kembali informasi atau OPAC dapat dilakukan dengan recall and precision (Muhammad et al., 2012). Mengetahui nilai recall and precision sebuah OPAC dapat mendeskripsikan efektivitas alat temu kembali informasi tersebut (Martin & Nilawati, 2019). Adapun recall merupakan rasio antara dokumen relevan yang berhasil dipanggil dari seluruh dokumen relevan yang ada di dalam sistem dengan nilai tertinggi 1 yang artinya seluruh dokumen berhasil ditemukan (Putung et al., 2016). Untuk menghitung nilai recall digunakan rumus sebagai berikut: Sementara precision adalah parameter jumlah dokumen relevan yang ditemukan dengan total jumlah dokumen relevan dalam database OPAC. Untuk menghitung nilai precision digunakan rumus sebagai berikut: Dapat disimpulkan perolehan recall berbanding terbalik dengan precision. Artinya, apabila precision tinggi maka recall akan rendah, sedangkan apabila recall tinggi maka precision akan rendah. Salah satu ukuran yang digunakan untuk menilai efektivitas suatu sistem temu kembali informasi dilihat dari seberapa besar nilai precision (Rahmawati, 2022). Matriks Recall and Precision dapat dilihat pada Tabel 1. Sedangkan penilaian efektivitas precission sistem temu kembali informasi disajikan pada Tabel 2. Tabel 1. Matriks Recall and Precision Relevant Not Relevant Total Retrieved a (hits) b (noise) a + b Not Retrieved c (misses) d (reject) a + d Total a + c b + d a + b + c+ d Sumber: (Pendit, 2008) Keterangan: a (hits) = dokumen yang relevan b (noise) = dokumen yang tidak relevan c (misses) = dokumen relevan yang tidak ditemukan d (reject) = dokumen tidak relevan yang tidak ditemukan Tabel 2. Penilaian efektivitas precision sistem temu kembali informasi 0-0.33 Precision rendah tidak efektif 0.34-0.67 Precision sedang kurang efektif 0.68-1.00 Precision tinggi efektif Sumber: Pendit (2008) F-1 Score (Rata-rata Harmonis) F-1 Score atau F-Measure adalah pengukuran rata-rata harmonis antara recall and precison (Manning, 2009). Perhitungan F-1 Score memberikan gambaran seimbang antara daya temu kembali (recall) dan ketepatan hasil pencarian (precision). Nilai F1 mendekati 1 menandakan sistem seimbang, baik recall maupun precision. Sementara Nilai F1 rendah artinya sistem tidak seimbang baik karena recall terlalu tinggi tetapi precision rendah, ataupun sebaliknya. Rumus F-1 Score dapat dilihat di bawah ini. Perpustakaan Universitas Islam Indonesia Perpustakaan UII menempati Gedung Moh. Hatta yang berada di Jalan Kaliurang Km 14,5 Sleman Yogyakarta sejak tahun 2011. Koleksi perpustakaan tersedia di lantai LG, UG dan lantai 1. Koleksi disusun berdasarkan subjek dan menggunakan klasifikasi DDC. Untuk memudahkan temu kembali informasi, Perpustakaan UII mengembangkan Simpus yang berfungsi sebagai OPAC. Pada tahun 2024, Perpustakaan UII melakukan migrasi ke OPAC baru yang disebut Simpustaka. Berikut adalah gambaran tampilan OPAC lama (Simpus) dan OPAC baru (Simpustaka) di Perpustakaan UII. Gambar 1. Tampilan OPAC Lama (Simpus) Sumber: Dokumentasi Peneliti (2025) Gambar 2. Tampilan OPAC Baru (Simpustaka) Sumber: Dokumentasi Peneliti (2025) OPAC lama (Simpus) dan OPAC baru (Simpustaka) memiliki perbedaan jumlah koleksi. Berdasarkan data terakhir per tanggal 26 Oktober 2023, koleksi Perpustakaan Pusat berbahasa Inggris dan Indonesia pada OPAC lama (Simpus) berjumlah 75.126 judul. Sedangkan data per 24 April 2025 pada OPAC baru (Simpustaka), jumlah koleksi sebanyak 96.094 judul. Perbedaan ini disebabkan oleh proses migrasi data yang masih berlangsung serta penambahan koleksi, baik itu koleksi baru maupun koleksi hasil pemindahan dari perpustakaan fakultas, yang dilakukan secara bertahap di OPAC baru (Simpustaka). Pengujian Recall and Precision pada OPAC Lama dan OPAC Baru Recall and precision digunakan untuk menguji efektivitas sistem temu kembali informasi. Peneliti mencoba melakukannya menggunakan fitur pencarian berdasarkan subjek yaitu Hukum Internasional, Hukum Dagang, dan Hukum Hak Asasi Manusia. Kata kunci dimasukan dalam kolom pencarian pada OPAC lama (Simpus) dan OPAC baru (Simpustaka). Hasil pencarian akan dicocokkan kesesuaiannya dengan kriteria hasil ditemukan, hasil relevan, hasil tidak relevan dan hasil tidak ditemukan. Hasil pencarian dan perhitungan berdasarkan rumus recall and precision disajikan dalam Tabel 3 dan Tabel 4. Tabel 3. Hasil recall and precision pada OPAC Lama (Simpus) Sumber: Olah data peneliti (2025) Tabel 4. Hasil recall and precision pada OPAC Baru (Simpustaka) Kata Kunci Ditemukan Relevan (a) Tidak Relevan (b) Tidak ditemukan (c) Recall Precision Hukum Internasional 352 276 76 0 1 0,78 Hukum Dagang 257 224 33 16 0,93 0,87 Hukum Hak Asasi Manusia 12 11 1 4 0,73 0,91 Sumber: Olah data peneliti (2025) Angka pada tabel di atas diperoleh melalui pengujian menggunakan tiga kata kunci, yaitu Hukum Internasional, Hukum Dagang, dan Hukum Hak Asasi Manusia. Pada OPAC lama (Simpus), kata kunci Hukum Internasional mendapatkan nilai recall dan precision 1 atau sempurna yang artinya seluruh koleksi relevan berhasil ditemukan tanpa adanya dokumen yang tidak relevan. Selanjutnya, kata kunci Hukum Dagang menghasilkan nilai recall 0,99 dan precision 0,98 karena ada 3 koleksi yang tidak relevan namun ikut terpanggil dan 2 koleksi dengan kata kunci sejenis tidak ditemukan. Terakhir, kata kunci Hukum Hak Asasi Manusia mendapatkan nilai recall 1 dan precision 0,75 yang maknanya seluruh dokumen berhasil ditampilkan, namun masih terdapat 7 dokumen tidak relevan dalam hasil pencarian. Berbeda dengan OPAC lama, hasil pada OPAC baru (Simpustaka) menunjukkan variasi hasil. Untuk kata kunci Hukum Internasional nilai recall tetap tinggi yakni 1, namun precision menurun menjadi 0,78 akibat banyaknya dokumen tidak relevan yang muncul. Pada kata kunci Hukum Dagang, nilai recall sebesar 0,93 dan precision 0,87 menandakan adanya penurunan baik dari sisi kelengkapan koleksi yang terpanggil maupun ketepatan hasil dibandingkan Simpus. Menariknya, pada kata kunci Hukum Hak Asasi Manusia, OPAC baru (Simpustaka) nilai recall mencapai 0,73 dan precision 0,91 yang menunjukkan Simpustaka lebih berisiko tidak memanggil sebagian dokumen relevan. Adapun nilai F1-score digunakan untuk mengukur keseimbangan antara kelengkapan (recall) dan ketepatan (precision) dalam sistem temu kembali informasi. Pengukuran ini penting dilakukan karena sistem yang ideal bukan hanya mampu memanggil seluruh dokumen relevan tetapi juga memastikan bahwa dokumen yang terpanggil benar-benar relevan terhadap kebutuhan pemustaka. Oleh karenanya, F-1 score dipandang sebagai indikator yang lebih komprehensif dalam menilai harmonisasi antara recall and precision. Tabel 5 dan Tabel 6 disajikan hasil perhitungan F-1 score dari OPAC lama (Simpus) dan OPAC baru (Simpustaka). Tabel 5. Hasil Perhitungan F-1 score pada OPAC Lama (Simpus) Kata Kunci Recall Precision F-1 Score Hukum Internasional 1 1 1 Hukum Dagang 0,99 0,98 0,98 Hukum Hak Asasi Manusia 1 0,75 0,85 Sumber: Olah data peneliti (2025) Tabel 6. Hasil Perhitungan F-1 score pada OPAC Baru (Simpustaka) Kata Kunci Recall Precision F-1 Score Hukum Internasional 1 0,78 0,87 Hukum Dagang 0,93 0,87 0,89 Hukum Hak Asasi Manusia 0,73 0,91 0,81 Sumber: Olah data peneliti (2025) Berdasarkan hasil perhitungan, nilai F-1 score pada OPAC lama (Simpus) menunjukkan rata-rata sebesar 0,94 sedangkan OPAC baru (Simpustaka) sebesar 0,86. Dapat dikatakan, nilai tertinggi F-1 score pada OPAC lama (Simpus) diperoleh pada subjek Hukum Internasional dengan nilai 1 diikuti oleh Hukum Dagang sebesar 0,98 dan Hukum Hak Asasi Manusia sebesar 0,85. Sementara OPAC baru (Simpustaka), nilai tertinggi justru diperoleh subjek Hukum Dagang 0,89 diikuti oleh Hukum Internasional sebesar 0,87 dan terakhir adalah Hukum Hak Asasi Manusia sebesar 0,81. Efektivitas Sistem Temu Kembali Informasi Lama (Simpus) dan Baru (Simpustaka) Efektivitas suatu sistem temu kembali informasi dapat ditinjau dari sejauh mana suatu sistem mampu menampilkan informasi yang lengkap (recall) sekaligus tepat (precision). Idealnya, sistem yang efektif mempunyai keseimbangan antara aspek recall dan precision. Namun, dalam praktiknya seringkali ditemukan kondisi tersebut sulit dicapai bersamaan karena peningkatan nilai recall umumnya diikuti oleh penurunan precision, demikian pula sebaliknya. Berdasarkan hasil pengujian, OPAC lama (Simpus) terbukti sangat efektif dari segi recall dengan nilai hasil pencarian hampir sempurna pada ketiga kata kunci. Hal ini menunjukkan bahwa sistem mampu memanggil hampir seluruh dokumen yang relevan. Selain itu, precisionnya juga relatif tinggi. Secara umum, OPAC lama (Simpus) dapat dikategorikan efektif karena aspek recall dan precision cukup seimbang. Tidak seperti Simpus yang relatif konsisten, OPAC baru (Simpustaka) menunjukkan efektivitas yang lebih fluktuatif. Pada kata kunci Hukum Internasional dan Hukum Dagang, meskipun nilai recall terpantau tinggi (1 dan 0,93) namun capaian precision mengalami penurunan (0,78 dan 0,87) akibat terpanggilnya sejumlah dokumen yang tidak relevan. Hal ini mengindikasikan penurunan kualitas hasil pencarian sehingga efektivitas sistem kurang optimal. Sementara itu, pada kata kunci Hukum Hak Asasi Manusia, Simpustaka justru unggul dalam aspek precision (0,91) dibandingkan Simpus (0,75) sehingga hasil pencarian lebih relevan. Hal ini menegaskan bahwa Simpustaka masih belum konsisten di seluruh kata kunci sehingga memerlukan optimalisasi lebih lanjut untuk menyeimbangkan antara kelengkapan dan ketepatan hasil pencarian. Di samping itu, penelitian ini juga mendapati beberapa temuan menarik di OPAC baru (Simpustaka). Pertama, terdapat kasus duplikasi kemunculan dokumen. Sebagai contoh, pada pencarian kata kunci Hukum Dagang, dokumen berjudul “Peranan Pertanggungan dalam Usaha Memberikan Jaminan Sosial” muncul di halaman 11, tetapi dokumen yang sama kembali muncul di halaman 12. Kedua, ditemukan adanya dokumen dengan kesalahan pengetikan (typo), yakni “Hukum Intertnasional” yang tetap terpanggil karena terbantu oleh keberadaan kata “Hukum” dan kesesuaian penulisan tajuk subjek Hukum Internasional. Ketiga, terdapat pula kasus dokumen tidak relevan yang terpanggil akibat pencantuman tajuk subjek yang kurang tepat, misalnya buku “Bisnis Internasional” yang diberi tajuk “Hukum Internasional”. Sejumlah temuan tersebut menunjukkan bahwa efektivitas sistem tidak hanya dipengaruhi oleh algoritma pencarian, tetapi juga pada konsistensi pengolahan metadata dan ketepatan penentuan tajuk subjek. Adapun perbedaan nilai tertinggi pada F-1 score OPAC lama (Simpus), yang diraih subjek Hukum Internasional, dan OPAC baru (Simpustaka) yaitu Hukum Dagang, menunjukkan adanya variasi efektivitas sistem dalam menampilkan hasil pencarian. Secara umum, OPAC lama (Simpus) masih menunjukkan performa lebih baik dalam menyeimbangkan antara kelengkapan dan ketepatan hasil pencarian. Namun, dapat dilihat bahwa selisih nilai rata-rata F-1 score antara kedua sistem tidak terlalu besar yaitu 0,08 yang mengindikasikan bahwa OPAC baru (Simpustaka) mempunyai kemampuan temu kembali informasi yang mendekati performa sistem sebelumnya. Meskipun demikian, masih diperlukan penyempurnaan agar kinerja sistem lebih optimal.

Berdasarkan hasil penelitian dan pembahasan yang telah dilakukan, maka dapat disimpulkan bahwa OPAC lama (Simpus) lebih unggul dalam aspek recall sehingga lebih efektif dalam memberikan hasil pencarian. Sementara, OPAC baru (Simpustaka) menunjukkan kecenderungan precision yang lebih tinggi pada kata kunci tertentu. Hasil nilai rata-rata F-1 score antara kedua sistem menunjukkan selisih yang tidak terlalu besar. Hal ini dapat dipahami bahwa Simpus cocok untuk pencarian komprehensif sedangkan Simpustaka lebih sesuai untuk pencarian yang berorientasi pada ketepatan hasil. Berdasarkan temuan tersebut, terdapat beberapa rekomendasi yang dapat dipertimbangkan. Pertama, pengembangan OPAC masih perlu dilakukan agar kinerja sistem temu kembali informasi bisa berjalan lebih optimal. Kedua, perlunya sosialisasi atau panduan strategi pencarian agar pemustaka dapat memanfaatkan OPAC sesuai kebutuhannya secara cepat dan tepat. Ketiga, penelitian terkait evaluasi OPAC masih perlu dilanjutkan, khususnya dalam mengeksplorasi kata kunci dari bidang ilmu berbeda untuk memantau standar kinerja sistem dan menyesuaikannya dengan kebutuhan pemustaka.