Evaluasi Usability pada E-Theses Institut Agama Islam Negeri (IAIN) Kediri Menggunakan Metode USE Questionnaire

Seiring perkembangan teknologi informasi, perpustakaan dituntut untuk meningkatkan kualitas dan kuantitasnya. Saat ini informasi telah menjadi kebutuhan masyarakat, sehingga perpustakaan harus memahami masyarakat yang dilayani serta meningkatkan strategi pelayanannya agar tidak tergantikan oleh lembaga penyedia informasi lainnya (Istiqomah, 2014). Hal ini juga berlaku bagi perpustakaan perguruan tingi yang sering disebut sebagai jantungnya perguruan tinggi. Perpustakaan perguruan tinggi termasuk bagian integral perguruan tinggi yang bertujuan untuk menunjang tri dharma perguruan tinggi, yaitu pendidikan dan pengajaran, penelitian, serta pengabdian pada masyarakat (Darwanto, Utami, dan Gusniawati, 2015). Untuk mendukung hal tersebut, salah satu upaya yang dilakukan adalah adanya Institutional Repository (IR). Menurut Pendit (2008), IR atau simpanan kelembagaan ini berkaitan dengan kegiatan berupa menghimpun dan melestarikan koleksi digital yang merupakan hasil karya intelektual dari komunitas atau instansi tertentu. Adanya IR atau simpanan kelembagaan tersebut dapat mempermudah akses serta penemuan kembali dari karya ilmiah sivitas akademik (Sutedjo, 2014), sehingga hal tersebut dapat membantu sivitas akademik maupun peneliti dari luar universitas untuk melaksanakan dan mengembangkan penelitiannya. Perpustakaan Institut Agama Islam Negeri (IAIN) Kediri yang merupakan perpustakan perguruan tingi juga memiliki IR untuk mengelola serta melestarikan karya ilmiah sivitas akademik. IR tersebut dibangun dengan menggunakan EPrints sebagai software pengelola yang kemudian diberi nama E-Theses IAIN Kediri. Sebelumnya, pengumpulan karya ilmiah dari sivitas akademik IAIN Kediri yang berupa file digital dilakukan dengan mengumpulkan compact disk (CD) yang berisi softcopy dari setiap karya ilmiah. Sehingga adanya E-Theses IAIN Kediri diharapkan dapat memudahkan pustakawan dan pemustaka terutama ketika mengakses karya ilmiah. Adanya E-Theses IAIN Kediri diharapkan memberi kemudahan akses karya ilmiah, namun masih terdapat mahasiswa IAIN Kediri yang merasa kesulitan dalam menggunakan dan memanfaatkan E-Theses IAIN Kediri untuk mendapatkan karya ilmiah yang dibutuhkan. Berdasarkan survei pra-penelitian, informasi yang kurang lengkap, tata letak dan tampilan muka yang kurang baik, serta tidak adanya pedoman penggunaan menjadi penyebab dari sebagian besar responden yang merasa kesulitan ketika menggunakan E-Theses IAIN Kediri. Untuk mengatasi permasalahan tersebut, perlu dilakukan evaluasi usability pada E-Theses IAIN Kediri. Evaluasi usability bertujuan untuk mengevaluasi interaksi antara manusia dengan suatu benda dan mengidentifikasi aspek dari interaksi tersebut sehingga dapat diperbaiki untuk ditingkatkan usability-nya (Gray dan Salzman sebagaimana dikutip oleh Pratama, Az-Zahra, & Setiawan, 2019). Sehingga kekurangan dan kelemahan yang ditemukan dapat diperbaiki agar menjadi lebih baik. Terdapat beberapa metode yang dapat digunakan untuk mengukur tingkat usability-nya, seperti Nielsen’s Heuristic Evaluation, Questionnaire for User Interface Satisfaction (QUIS), System Usability Scale (SUS), dan USE Questionnaire. Tetapi pada penelitian ini, metode yang digunakan adalah metode USE Questionnare. Hal ini dikarenakan USE Questionnaire telah mencakup 3 (tiga) komponen usability menurut ISO 9241-11, yaitu efisiensi, efektifitas, dan kepuasan sehingga dianggap dapat menyelesaikan permasalahan yang dihadapi. Beberapa penelitian yang juga menggunakan metode USE Questionnaire adalah (Brata, Fanani, & Rosalina, 2020; Gitajayanti, Satwika, & Paramitha, 2021; Hadi, az-Zahra, & Fanani, 2018; Putra & Tanamal, 2020; Rahman & Vitalocca, 2019). Penelitian ini bertujuan untuk mengetahui hasil evaluasi usability E-Theses IAIN Kediri serta hasil perbaikannya. Sehingga diharapkan dapat membantu Perpustakaan IAIN Kediri untuk meningkatkan usability dan mempermudah sivitas akademik untuk mengakses karya ilmiah pada E-Theses IAIN Kediri.

Penelitian ini merupakan penelitian kuantitatif yang menggunakan kuesioner sebagai alat pengumpulan data. Kuesioner yang digunakan adalah USE Questionnaire dengan menambahkan beberapa pertanyan tambahan dari setiap variabel atau bagian kuesioner untuk menggali data lebih detail. Penelitian diawali dengan melakukan studi literatur, analisis kebutuhan, uji validitas dan reliabilitas, evaluasi usability, pengolahan dan analisis hasil kuesioner, rekomendasi dan evaluasi, lalu diakhiri dengan kesimpulan dan saran. Penelitian dilakukan di Perpustakaan IAIN Kediri yang terletak di Jalan Sunan Ampel No. 7 Ngronggo Kota Kediri dan dilaksanakan sejak bulan Desember 2021 hingga Maret 2022. Subjek pada penelitian ini adalah mahasiswa IAIN Kediri yang memiliki akun E-Theses IAIN Kediri. Hal ini dikarenakan terdapat fitur yang hanya dapat diakses atau digunakan oleh mahasiswa yang memiliki akun E-Theses IAIN Kediri. Sedangkan objek yang diteliti adalah usability dari E-Theses IAIN Kediri. Untuk memudahkan penelitian, maka ditentukan jumlah sampel sebagai wakil populasi dari penelitian ini. Untuk jumlah sampel tersebut yakni berjumlah 95 responden dari populasi yang berjumlah 1774 mahasiswa. Jumlah tersebut didapatkan menggunakan rumus Slovin dengan margin of error sebesar 10%. Sedangkan untuk cara pengambilan sampel yang digunakan adalah purposive sampling dengan kriteria mahasiswa IAIN Kediri yang telah memiliki akun E-Theses IAIN Kediri. Pengumpulan data pada penelitian ini menggunakan kuesioner yang disebarkan kepada responden. Kuesioner tersebut terdiri dari task scenario, kuesioner USE Questionnaire, dan pertanyaan tambahan yang berada di setiap variabel. Task scenario merupakan rangkaian tugas untuk mengoperasikan sistem yang harus dilakukan oleh responden sebelum mengisi kuesioner USE Questionnaire dan pertanyaan tambahan. Sebelumnya, terlebih dahulu kuesioner dilakukan uji validitas dan reliabilitas untuk mengetahui bahwa kuesioner telah valid dan reliabel untuk digunakan. Uji validitas dan reliabilitas dilakukan dengan memanfaatkan software analisis data SPSS. Setelah kuesioner dinyatakan valid dan reliabel, kuesioner disebarkan hingga mencapai jumlah sampel yang ditentukan. Setelah data didapatkan, data dianalisis menggunakan rumus grand mean untuk mendapatkan nilai rata-rata dari setiap butir kuesioner hingga rata-rata keseluruhan dari setiap variabel. Sedangkan hasil jawaban dari pertanyaan tambahan diolah dalam bentuk grafik. Kemudian setiap permasalahan yang ditemukan dari pertanyaan tambahan ataupun task scenario dievaluasi serta diberikan rencana atau saran perbaikan.

Sebelum evaluasi usability dilakukan, terlebih dahulu kuesioner dilakukan uji validitas dan reliabilitas untuk mengetahui kuesioner telah valid dan reliabel untuk digunakan. Uji validitas dilakukan menggunakan alat bantu software analiss data SPSS. Untuk hasil dari uji validitas dapat dilihat pada tabel 1. [Tabel 1. Hasil Uji Validitas]. Berdasarkan tabel 1, dapat disimpulkan bahwa seluruh butir kuesioner dinyatakan valid, karena nilai r-hitung dari setiap butir pernyataan lebih besar dari nilai r-tabel. Sedangkan untuk hasil uji reliabilitas dapat dilihat pada tabel 2. [Tabel 2. Hasil Uji Reliabilitas]. Berdasarkan tabel 2, dapat diketahui bahwa semua variabel dari kuesioner penelitian dinyatakan reliabel. Kuesioner dikatakan reliabel karena nilai cronbach alpha dari setiap variabel lebih besar dari nilai signifikansi, yaitu 0,60 (Darma, 2021). Setelah kuesioner dinyatakan valid dan reliabel, evaluasi usability dapat dilakukan dengan menyebarkan kuesioner kepada responden. Hasil dari evaluasi usability terdiri dari hasil task scenario dan analisis data hasil evaluasi usability. Untuk hasil task scenario, yang dijelaskan hanya untuk responden yang bertemu langsung dengan penulis. Berdasarkan pengamatan penulis, tidak semua responden mengalami kelancaran ketika mengerjakan task scenario terutama ketika akan menggunakan fitur advanced search. Hal ini dikarenakan fitur tersebut dapat diakses ketika memilih tombol search repository. Sehingga responden tidak menemukan bahkan tidak mengetahui fitur advanced search. Selain hal tersebut, keseluruhan responden terlihat dapat dengan mudah mengerjakan task scenario yang lainnya. Selanjutnya, hasil evaluasi usability terdiri dari kuesioner USE Questionnaire dan pertanyaan tambahan. Hasil kuesioner USE Questionnaire telah diolah terlebih dahulu menggunakan rumus grand mean untuk mengetahui nilai rata-rata dari setiap variabel. Hasil kuesioner terdiri dari 4 (empat) variabel, yaitu usefulness, ease of use, ease of learning, dan satisfaction. Untuk hasil kuesioner USE Questionnaire pada variabel usefulness dapat dilihat pada gambar 1. [Gambar 1. Analisis Hasil Kuesioner USE Questionnaire Variabel Usefulness]. Nilai rata-rata variabel usefulness adalah 3,78 dengan nilai rata-rata setiap butir seperti yang dijelaskan pada gambar 1. Nilai tersebut termasuk kategori tinggi karena berada di interval kelas kategori tinggi yaitu 3,43 – 4,23 meskipun pernyataan ke-8 termasuk dalam kategori sedang. Selanjutnya, untuk hasil kuesioner USE Questionnaire pada variabel ease of use dapat dilihat pada gambar 2. [Gambar 2. Analisis Hasil Kuesioner USE Questionnaire Variabel Ease of Use]. Variabel ease of use memiliki nilai rata-rata sebesar 3,50 dan masih termasuk kategori tinggi. Meskipun termasuk kategori tinggi, sebenarnya terdapat beberapa pernyataan dengan nilai rata-rata yang termasuk kategori sedang seperti pernyataan nomor 16 yang berbunyi “Saya tidak menemukan kendala ketika menggunakannya”, pernyataan nomor 17 yang berbunyi “Semua mahasiswa baik semester awal dan akhir menyukai aplikasi ini”, pernyataan nomor 18 yang berbunyi “Saya dapat dengan mudah mengatasi kendala yang terjadi ketika menggunakan aplikasi ini”, dan pernyataan nomor 19 yang berbunyi “Saya selalu berhasil menggunakannya dengan baik setiap kali saya mencari referensi di E-Theses IAIN Kediri”. Sedangkan nilai terendah berada pada pernyataan nomor 16 dengan nilai rata-rata sebesar 2,86. Selanjutnya, untuk hasil kuesioner USE Questionnaire pada variabel ease of learning dapat dilihat pada gambar 3. [Gambar 3. Analisis Hasil Kuesioner USE Questionnaire Variabel Ease of Learning]. Nilai rata-rata dari variabel ease of learning adalah sebesar 3,61 dengan nilai rata-rata setiap pernyataannya seperti pada gambar 3 dan termasuk dalam kategori tinggi. Semua pernyataan pada variabel ini memiliki nilai rata-rata yang termasuk dalam kategori tinggi. Selanjutnya, untuk hasil kuesioner USE Questionnaire pada variabel satisfaction dapat dilihat pada gambar 4. [Gambar 4. Analisis Hasil Kuesioner USE Questionnaire Variabel Satisfaction]. Variabel satisfaction memiliki nilai rata-rata sebesar 3,60 dengan nilai rata-rata setiap pernyataan seperti pada gambar 4. Sebagaimana variabel sebelumnya, nilai rata-rata variabel ini juga termasuk kategori tinggi karena berada di interval kelas kategori tinggi yaitu 3,43 – 4,23 meskipun pernyataan nomor 27 termasuk kategori sedang. Meskipun memiliki nilai yang termasuk ke dalam kategori tinggi, tidak dipungkiri masih terdapat permasalahan yang terdapat pada E-Theses IAIN Kediri. Terlihat dari nilai rata-rata variabel ease of use yang cenderung dekat dengan batas bawah dari interval kategori tinggi, yaitu 3,43. Apabila diperhatikan lebih detail, terdapat butir yang memiliki nilai rata-rata yang termasuk dalam kategori cukup, yaitu pernyataan “saya tidak menemukan kendala ketika menggunakan E-Theses IAIN Kediri” yang memiliki nilai rata-rata sebesar 2,86 dan “saya selalu berhasil menggunakannya dengan baik setiap kali saya mencari referensi di E-Theses IAIN Kediri” dengan nilai rata-rata sebesar 3,26. Untuk mengetahui penyebabnya, pertanyaan tambahan ditambahkan untuk mengetahui penyebab hal tersebut. Sehingga dari hasil pertanyaan tambahan tersebut dapat menjadi informasi tambahan untuk memberikan evaluasi dan rekomendasi terhadap E-Theses IAIN Kediri untuk mengatasi permasalahan yang ditemukan dari evaluasi usability. Hasil pertanyaan tambahan telah dirangkum beserta hasil task scenario dalam temuan masalah yang dijelaskan pada tabel 3. [Tabel 3. Temuan Masalah]. Berdasarkan temuan masalah yang dijelaskan pada tabel 3, diketahui berapa permasalahan seperti mahasiswa tidak menemukan karya ilmiah sesuai keinginan, tahapan yang rumit untuk mendapatkan karya ilmiah yang diinginkan, tidak terdapat pedoman penjelasan tentang cara menggunakan E-Theses IAIN Kediri, tampilan muka yang membingungkan dan kurang menarik, dan adanya fitur yang tidak berfungsi dengan baik. Setelah permasalahan diketahui, diberikan rencana atau saran perbaikan sesuai hasil temuan masalah tersebut. Rencana atau saran perbaikan berkaitan langsung dengan sistem dan berkaitan dengan kebijakan dari Perpustakaan IAIN Kediri. Hal ini dikarenakan permasalahan yang ditemukan tidak semuanya dapat diatasi dengan perbaikan pada sistem, tetapi juga diperlukan kebijakan atau program yang perlu diterapkan oleh Perpustakan IAIN Kediri. Beberapa rencana atau saran perbaikan tersebut adalah perbaikan tampilan muka pada E-Theses IAIN Kediri, penambahan fitur dan layanan pengaduan atau konsultasi tentang kebutuhan informasi mahasiswa, penyederhanaan fitur advanced search, penambahan fitur atau informasi mengenai pedoman penggunaan E-Theses IAIN Kediri, sosialisasi atau pendidikan pemustaka tentang pedoman penggunaan dan kebijakan penguncian file, dan kebijakan untuk mewajibkan mahasiswa memiliki akun E-Theses.

Berdasarkan hasil penelitian, diperoleh kesimpulan bahwa hasil evaluasi usability pada E-Theses IAIN Kediri menggunakan metode USE Questionnaire memperoleh nilai usability yang termasuk dalam kategori tinggi dan ditemukan beberapa permasalahan berdasarkan hasil pertanyaan tambahan. Nilai usability tersebut diantaranya variabel usefulness memiliki nilai sebesar 3,76, variabel ease of use sebesar 3,50, variabel ease of learning sebesar 3,61, dan variabel satisfaction sebesar 3,60. Sedangkan permasalahan yang ditemukan adalah tidak menemukan karya ilmiah sesuai keinginan, tahapan yang rumit, tidak ada pedoman, tampilan muka membingungkan dan kurang menarik, dan adanya fitur yang tidak berfungsi dengan baik. Berdasarkan permasalahan pada hasil evaluasi usability, maka hasil perbaikan permasalahan tersebut adalah berupa perbaikan tampilan muka dari E-Theses IAIN Kediri, penambahan fitur atau layanan pengaduan dan konsultasi, penyederhanaan fitur advanced search, penambahan informasi tentang pedoman penggunaan E-Theses IAIN Kediri, sosialisasi atau pendidikan pemustaka tentang pedoman penggunaan, dan kebijakan untuk mewajibkan mahasiswa memiliki akun E-Theses. Selanjutnya, penelitian ini diharapkan dapat dikembangkan lebih lanjut dengan saran penulis seperti perlu pertanyaan tambahan tentang saran fitur yang diinginkan responden, pengujian kedua sebagai pembanding, dan pengembangan menggunakan metode selain USE Questionnaire.