Uji Usability pada Institutional Repository Perpustakaan UIN Maulana Malik Ibrahim Malang dengan Metode System Usability Scale (SUS) dan Discovery Prototyping

Pada era digital, pengguna perpustakaan dapat memenuhi kebutuhan informasinya melalui koleksi digital yang dimiliki oleh pihak perpustakaan. Salah satu koleksi digital yang ada pada perpustakaan, khususnya perpustakaan perguruan tinggi adalah Institutional Repository (IR) (Hijrih, 2016). Menurut Lynch dalam Gibbons (2009), IR merupakan suatu rangkaian layanan yang diberikan universitas kepada sivitas akademiknya untuk pengelolaan dan penyebaran materi digital yang dibuat oleh sivitas akademik itu sendiri. Sebagian ahli berpendapat bahwa IR dapat menyediakan infrastruktur untuk menyimpan dan mendistribusikan grey literature yang sebelumnya kurang digunakan. IR memungkinkan pengguna perpustakaan dapat mengakses sumber referensi sekaligus dapat berkontribusi, sehingga komunikasi ilmiah di suatu perpustakaan perguruan tinggi dapat terus berjalan. Salah satu perpustakaan perguruan tinggi yang menerapkan IR dalam rangka penyediaan informasi untuk penggunanya adalah perpustakaan UIN Maulana Malik Ibrahim Malang. Dalam rangka memberikan kemudahan akses sumber informasi terhadap penggunanya, perpustakaan telah menyediakan layanan digital berupa website Institutional Repository yang dapat diakses melalui http://etheses.uin-malang.ac.id. Koleksi yang ada pada IR perpustakaan UIN Maulana Malik Ibrahim Malang adalah hasil karya ilmiah yang berupa tugas akhir mahasiswa yaitu skripsi, tesis, dan disertasi. Pada tahun 2021, koleksi yang tersedia dalam IR Perpustakaan UIN Maulana Malik Ibrahim Malang adalah 19.286 item, dengan presentasi 100% full-text dan 98% open access. Hal ini dapat menunjukkan bahwa Perpustakaan UIN Maulana Malik Ibrahim Malang menerapkan kebijakan full- text dan open access untuk IR mereka (Aprilia, 2016). Meskipun layanan IR dengan kebijakan full-text dan open access telah diberikan, dalam kenyataannya masih terdapat kendala yang dialami oleh mahasiswa. Hal tersebut disebabkan fitur-fitur yang tersedia masih dirasa kurang mudah untuk dipahami oleh mahasiswa. Terlebih lagi mahasiswa merasa kesulitan saat akan melakukan proses pencarian serta hasil pencarian dirasa masih membingungkan. Selain itu, berdasarkan penelitian sebelumnya juga disarankan untuk dilakukan suatu perbaikan dan pengembangan agar IR Perpustakaan UIN Maulana Malik Ibrahim Malang menjadi lebih mudah untuk digunakan (Aprilia, 2016). Namun hingga saat ini, penelitian terkait evaluasi IR perpustakaan masih belum pernah dilakukan. Berdasarkan beberapa kendala yang telah diuraikan, maka penelitian terkait uji usability pada IR perpustakaan UIN Maulana Malik Ibrahim Malang penting untuk dilakukan dengan tujuan untuk mengetahui seberapa besar nilai usability dari IR perpustakan tersebut, sehingga dapat mengetahui aspek-aspek mana saja yang perlu diperbaiki dan dikembangkan. Hal tersebut dilakukan untuk mempermudah pengguna perpustakaan dalam mengakses IR perpustakaan. Menurut International Standard Organization (ISO), yang dimaksud dengan usability adalah suatu pengukuran nilai sebuah sistem berdasarkan aspek-aspek tertentu, yaitu efektivitas, efisiensi, dan kepuasan (ISO, 1998). Sementara itu, Nielsen (2012) dalam H.n et al. (2015) mendefinisikan usability sebagai suatu atribut yang dijadikan alat penilaian seberapa mudah suatu sistem dapat digunakan. Pengujian usability dilakukan dengan tujuan untuk mengetahui seberapa efektif, efisien, dan memuaskan sebuah sistem dari sudut pandang pengguna. Ada beberapa metode dalam penilaian usability yang dapat digunakan seperti yang dikemukakan oleh Garcia (2013) dalam H.n et al., (2015), antara lain yaitu System Usability Scale (SUS), Questionnaire for User Interface Satisfaction (QUIS), Software Usability Measurement Inventor (SUMI), dan Post-Study Usability Question-naires (PSSUQ). Pada penelitian ini, metode yang digunakan adalah SUS. Survei yang akan dilakukan memiliki 10 pernyataan dengan masing-masing pernyataan memiliki 5 poin likert sebagai tanggapan. Kemudian untuk output dari SUS sendiri berupa skor yang mudah dipahami, dengan range skor dari 0 hingga 100. Menurut Garcia (2013) dalam H.n et al., (2015) jika semakin besar skornya maka berarti semakin baik usability-nya. Alasan dilakukan pengujian dengan metode ini karena skala pengujian yang mudah dimengerti oleh responden, dapat dilakukan dengan jumlah sampel yang kecil dengan hasil yang dapat dijadikan acuan, serta dapat dilakukan dengan efektif karena hasil akan menunjukkan sistem yang mudah digunakan ataupun tidak (Ependi et al., 2019). Discovery prototyping juga akan dilakukan dalam penelitian ini. Menurut Whitten & Bentley (2007) dalam Nioga et al., (2019), discovery prototyping merupakan suatu teknik untuk membangun ulang desain suatu sistem berdasarkan kebutuhan pengguna. Tujuan dilakukannya discovery prototyping adalah untuk mengembangkan sebuah sistem dengan cara mendesain ulang berdasarkan kebutuhan dan usulan pengguna. Discovery protoyping diterapkan untuk mengembangkan IR Perpustakaan UIN Maulana Malik Ibrahim Malang berdasarkan analisis kebutuhan pengguna saat uji usability dilakukan. Berdasarkan permasalahan-permasalahan yang telah diuraikan, maka penelitian dengan judul Uji Usability pada Instituional Repository (IR) Perpustakaan UIN Maulana Malik Ibrahim Malang dengan Metode SUS dan Discovery Prototyping sangat penting dilakukan. Hal ini dapat dimulai dari uji coba IR berdasarkan task scenario, kemudian dilakukan penyebaran kuesioner yang berisi 10 pernyataan SUS, serta observasi dan wawancara terkait perbaikan apa saja yang mereka inginkan. Selain untuk mengetahui nilai uji usability, dilakukan juga sebuah pengembangan berdasarkan saran yang telah diberikan oleh responden. Hal tersebut dapat membuat kebermanfaatan IR lebih optimal lagi dan mempermudah pengguna untuk mengaksesnya.

Penelitian ini merupakan penelitian kuantitatif yang menggunakan kuesioner sebagai alat pengumpulan data. Kuesioner yang digunakan berdasarkan metode System Usability Scale (SUS). Penelitian dimulai dengan melakukan persiapan, pengujian awal, pengolahan dan usulan perbaikan, pembuatan prototype, pengujian akhir, kemudian diakhiri dengan perbandingan hasil pengujian dan analisis data, sebagaimana dalam gambar 1. di bawah ini. [Gambar 1. Desain Penelitian] Penelitian ini bertempat pada Perpustakaan UIN Maulana Malik Ibrahim Malang dan dilaksanakan sejak bulan November 2021 hingga April 2022. Subjek pada penelitian ini adalah mahasiswa UIN Maulana Malik Ibrahim Malang angkatan 2018 S1 dan pernah mengakses IR perpustakaan setidaknya satu kali. Sementara itu objek yang diteliti adalah usability dari IR Perpustakaan UIN Maulana Malik Ibrahim Malang. Dalam rangka memudahkan penelitian, maka ditentukan jumlah sampel sebagai wakil populasi dari penelitian ini. Maka jumlah sampel tersebut yakni berjumlah 100 responden dari populasi yang berjumlah 19.533 mahasiswa. Jumlah tersebut didapatkan menggunakan rumus Slovin dengan margin of error sebesar 10%. Kemudian untuk cara pengambilan sampel yang digunakan adalah purposive sampling dengan kriteria mahasiswa UIN Maulana Malik Ibrahim Malang angkatan 2018 S1 dan pernah mengakses IR perpustakaan setidaknya satu kali. Pengumpulan data pada penelitian ini menggunakan kuesioner yang disebarkan kepada responden. Kuesioner tersebut terdiri dari task scenario dan kuesioner metode SUS. Task scenario merupakan rangkaian tugas untuk mengoperasikan sistem yang harus dilakukan oleh responden sebelum mengisi kuesioner. Sebelum dilakukan penyebaran kuesioner, dilakukan uji validitas dan reliabilitas terlebih dahulu dengan tujuan untuk mengetahui bahwa kuesioner telah valid dan reliabel untuk digunakan. Uji validitas dan reliabilitas dilakukan dengan memanfaatkan software analisis data SPSS. Setelah kuesioner dinyatakan valid dan reliabel, kuesioner disebarkan hingga mencapai jumlah sampel yang ditentukan. Setelah data telah didapatkan, analisis data dilakukan dengan menggunakan rumus berdasarkan metode SUS. Sementara itu hasil task scenario dibuat untuk acuan rencana perbaikan. Berikut adalah tahap-tahap dalam perhitungan nilai SUS: 1. Ubah skala likert agar menjadi angka untuk masing-masing dari 10 pernyataan. 2. Hitunglah skor yang didapat dari responden dengan menggunakan rumus SUS seperti berikut: (ΣX + ΣY) x 2,5 Keterangan: X = Skor pernyataan ganjil – 1 Y = 5 – Skor pernyataan genap 3. Setelah skor SUS diperoleh, maka langkah selanjutnya adalah mencari rata ratanya dengan menjumlahkan semua skor dan membaginya dengan jumlah responden. Berikut rumus untuk menghitung rata-rata: x̄=Σx/n Keterangan: x̄ = Skor rata-rata Σx = Jumlah skor SUS n = Jumlah Responden Standar skor SUS adalah 68 dengan skor total 100 poin, jika skor SUS di atas 68, maka dapat diartikan puas. Jika sudah mendapatkan hasil dari skor SUS maka suatu sistem dapat ditentukan masuk kategori mana berdasarkan tabel 1 di bawah ini (Will T, 2017).

Langkah pertama yang harus dilakukan sebelum melakukan pengujian adalah uji validitas dan reliabilitas terlebih dahulu. Uji validitas dilakukan dengan tujuan untuk mengukur valid atau tidaknya suatu kuesioner. Sementara itu uji reliabilitas digunakan untuk mengukur konsistensi hasil pengukuran dari kuesioner dalam penggunaan yang berulang (Ghozali, 2018). Uji validitas dilakukan menggunakan alat bantu software analiss data SPSS. Berikut adalah hasil dari uji validitas sebagaimana dapat dilihat pada tabel 2. [Tabel 2. Hasil Uji Validitas] Berdasarkan tabel 2, dapat diketahui bahwa seluruh butir item pernyataan dalam kuesioner penelitian dinyatakan valid. Hal tersebut dikarenakan nilai r-hitung dari setiap butir pernyataan lebih besar dari nilai r-tabel. Sementara itu untuk hasil uji reliabilitas dapat dilihat pada tabel 2. [Tabel 3. Hasil Uji Reliabilitas] Berdasarkan tabel 3, dapat diketahui bahwa item pernyataan dalam kuesioner penelitian dinyatakan reliabel. Hal tersebut dikarenakan koefisien cronbach alpha lebih besar dari nilai signifikansi, yaitu 0,60 (Ghozali, 2018). Setelah kuesioner dinyatakan valid dan reliabel, maka langkah selanjutnya adalah melakukan pengujian awal dengan menyebarkan kuesioner kepada responden. Hasil dari pengujian awal yaitu pengujian terhadap sistem yang sudah ada, terdiri dari hasil task scenario dan analisis data. Berdasarkan hasil task scenario, diketahui bahwa pengguna tidak menemukan hasil pencarian sesuai dengan kata kunci yang dimasukkan ketika menggunakan fitur basic search. Namun ketika menggunakan fitur advance search, hasil pencarian dapat ditemukan. Beberapa responden merasa kesulitan untuk mencari fitur login dan create account karena penempatannya berbeda seperti website pada umumnya. Setelah menyelesaikan task scenario, responden diminta untuk mengerjakan kuesioner. Hasil skor SUS yang didapat pada pengujian awal adalah 50,1 dengan nilai atau grade F dengan adjective rating Awful. Berdasarkan hasil pengujian awal, responden memberikan usulan agar basic search diperbaiki lagi, sehingga hasil yang ditemukan dapat sesuai dengan kata kunci yang dimasukkan. Advance search juga perlu disederhanakan lagi karena terlalu memuat banyak kolom sehingga membuat responden kesulitan atau kebingungan saat akan mengisinya. Selain itu, dari segi penempatan fitur, letak fitur login dan create account sebaiknya diletakkan di pojok kanan atas navigasi. Responden juga memberikan usulan agar desain dibuat menjadi lebih menarik. Berdasarkan usulan perbaikan dari responden, setelah itu dibuat prototype perbaikan. Kemudian dilakukan pengujian akhir terhadap prototype perbaikan yang telah dibuat. Hasil skor SUS yang didapat pada pengujian akhir adalah 78,825 dengan nilai atau grade B dengan adjective rating Good. Berdasarkan hasil pengujian awal dan akhir, dapat diketahui hasil kuesioner adalah sebagai berikut. Pada pengujian awal, pernyataan ke-1 terkait “sering menggunakan/mengunjungi prototype E-Theses Perpustakaan UIN Malang”, dapat diketahui bahwa mahasiswa yang sering menggunakan/mengunjungi E-Theses Perpustakaan UIN Malang berjumlah 33% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut meningkat 51% menjadi 84% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih sering menggunakan/mengunjungi prototype perbaikan dibandingkan sistem yang sudah ada sebelumnya. Pernyataan ke-2 terkait “E-Theses Perpustakaan UIN Malang terlalu kompleks (memuat banyak hal yang tidak perlu”), dapat diketahui bahwa mahasiswa yang menilai E-Theses Perpustakaan UIN Malang terlalu kompleks (memuat banyak hal yang tidak perlu) berjumlah 42% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut menurun 35% menjadi 3% dari jumlah sampel. sehingga dapat diketahui bahwa mahasiswa lebih menilai E-Theses Perpustakaan UIN Malang terlalu kompleks (memuat banyak hal yang tidak perlu) dibandingkan hasil prototype perbaikan. Pernyataan ke-3 terkait “E-Theses Perpustakaan UIN Malang mudah dijelajahi”, dapat diketahui bahwa mahasiswa yang menilai E-Theses Perpustakaan UIN Malang mudah dijelajahi berjumlah 53% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut meningkat 39% menjadi 92% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih menilai prototype perbaikan mudah dijelajahi dibandingkan sistem yang sudah ada sebelumnya. Pada pernyataan ke-4 terkait “membutuhkan bantuan teknis untuk menggunakan/menjelajahi E-Theses Perpustakaan UIN Malang”, dapat diketahui bahwa mahasiswa yang membutuhkan bantuan teknis untuk menggunakan/menjelajahi E-Theses Perpustakaan UIN Malang berjumlah 47% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut menurun 35% menjadi 12% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih membutuhkan bantuan teknis untuk menggunakan/menjelajahi E-Theses Perpustakaan UIN Malang dibandingkan hasil prototype perbaikan. Pada pernyataan ke-5 terkait “fungsi/fitur yang disediakan pada E-Theses Perpustakaan UIN Malang dirancang dan disiapkan dengan baik”, dapat diketahui bahwa mahasiswa yang menilai fungsi/fitur yang disediakan pada E-Theses Perpustakaan UIN Malang dirancang dan disiapkan dengan baik berjumlah 48% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut meningkat 44% menjadi 92% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih menilai fungsi/fitur yang disediakan pada prototype perbaikan dirancang dan disiapkan dengan baik dibandingkan sistem yang sudah ada sebelumnya. Pada pernyataan ke-6 terkait “terlalu banyak inkonsistensi pada E-Theses Perpustakaan UIN Malang”, dapat diketauhi bahwa mahasiswa yang menilai terlalu banyak inkonsistensi pada E-Theses Perpustakaan UIN Malang berjumlah 43% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut menurun 39% menjadi 4% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih menilai terlalu banyak inkonsistensi pada E-Theses Perpustakaan UIN Malang dibandingkan hasil prototype perbaikan. Pada pernyataan ke-7 terkait “kebanyakan orang akan mudah menggunakan/menjelajahi E-Theses Perpustakaan UIN Malang dengan cepat”, dapat diketahui bahwa mahasiswa yang merasa kebanyakan orang akan mudah menggunakan/menjelajahi E-Theses Perpustakaan UIN Malang dengan cepat berjumlah 49% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut meningkat 39% menjadi 88% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih merasa kebanyakan orang akan mudah menggunakan/menjelajahi prototype perbaikan dengan cepat dibandingkan sistem yang sudah ada sebelumnya. Pada pernyataan ke-8 terkait “E-Theses Perpustakaan UIN Malang sangat rumit untuk dijelajahi”, dapat diketahui bahwa mahasiswa yang menilai E-Theses Perpustakaan UIN Malang sangat rumit untuk dijelajahi berjumlah 30% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut menurun 25% menjadi 5% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih menilai E-Theses Perpustakaan UIN Malang sangat rumit untuk dijelajahi dibandingkan hasil prototype perbaikan. Pada pernyataan ke-9 terkait “sangat percaya diri menjelajahi E-Theses Perpustakaan UIN Malang”, dapat diketahui bahwa mahasiswa yang merasa sangat percaya diri menjelajahi E-Theses Perpustakaan UIN Malang berjumlah 53% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut meningkat 32% menjadi 85% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih merasa sangat percaya diri menjelajahi prototype perbaikan dibandingkan sistem yang sudah ada sebelumnya. Pada pernyataan ke-10 terkait “perlu belajar banyak hal sebelum saya dapat menjelajahi E-Theses Perpustakaan UIN Malang dengan baik”, dapat diketahui bahwa mahasiswa yang merasa perlu belajar banyak hal terkait fitur-fitur yang disediakan sebelum dapat menjelajahi E-Theses Perpustakaan UIN Malang dengan baik berjumlah 55% dari jumlah sampel. Kemudian pada pengujian akhir, presentase tersebut menurun 39% menjadi 16% dari jumlah sampel. Sehingga dapat diketahui bahwa mahasiswa lebih merasa perlu belajar banyak hal sebelum dapat menjelajahi E-Theses Perpustakaan UIN Malang dibandingkan hasil prototype perbaikan. Sementara itu berdasarkan hasil pengujian awal dan akhir, dapat diketahui bahwa terjadi peningkatan skor SUS sebesar 28,725. Peningkatan skor usability tersebut sesuai dengan hasil penelitian terdahulu yang dilakukan oleh Kaban et al. (2020) berjudul “Evaluasi Usability Menggunakan Metode System Usability Scale (SUS) Dan Discovery Prototyping Pada Aplikasi PLN Mobile (Studi Kasus PT. PLN)”, dimana hasil pengujian mengalami peningkatan sebesar 62,49%. Sementara itu penelitian lainnya yang dilakukan oleh Nioga et al. (2020) berjudul “Evaluasi Usability Aplikasi Mobile KAI Access Menggunakan Metode System Usability Scale (SUS) Dan Discovery Prototyping (Studi Kasus PT KAI)” juga menunjukkan terjadinya peningkatan skor sebesar 25,55%. Hasil tersebut dapat membuktikan bahwa perbaikan dengan pembuatan prototype berhasil, serta metode SUS dan discovery prototyping berpengaruh positif terhadap nilai usability. Selain itu, menurut responden, sistem yang sudah diperbaiki lebih mudah digunakan dan memiliki tampilan muka yang lebih menarik dibanding dengan sebelumnya. Pada perbaikan prototype yang telah dibuat, peneliti menggunakan sql query yang memuat seluruh kemungkinan keyword yang ditulis pengguna, seperti nama penulis, judul, tahun, dan juga kata kunci sehingga fitur basic search dapat berfungsi dengan semestinya. [Tabel 3. Query Basic Search (Pratama et al., 2018)] Usulan perbaikan yang diberikan oleh responden memberikan hasil yang lebih baik terhadap usability E-Theses UIN Maulana Malik Ibrahim Malang. Hal ini tentunya juga akan mempermudah pengguna dalam penggunaannya, sehingga membuat proses pencarian lebih efisien. Pengguna juga dapat mengehemat waktu jika dibandingkan dengan pengunaan sistem yang sebelumnya.

Berdasarkan hasil penelitian yang telah dilakukan, diperoleh kesimpulan bahwa skor SUS (usability) IR Perpustakaan UIN Maulana Malik Ibrahim Malang adalah sebesar 50,1 dengan grade F dan adjective rating Awful. Sementara itu skor SUS prototype perbaikan adalah sebesar 78,825 dengan grade B dan adjective rating Good. Hal ini dapat menunjukkan bahwa uji usability pada Institutional Repository Perpustakaan UIN Maulana Malik Ibrahim Malang dengan metode SUS dan discovery prototyping berhasil. Selain itu dapat diketahui juga bahwa metode SUS dan discovery prototyping memiliki pengaruh positif terhadap nilai usability. Hal ini dapat dibuktikan dengan terjadinya peningkatan skor SUS yaitu sebesar 28,725. Selanjutnya, penelitian ini diharapkan dapat dikembangkan lebih lanjut dengan saran peneliti seperti dapat mengembangkan penelitian ini dengan metode selain SUS dan discovery prototyping untuk melihat perbandingan ataupun mengoptimalkan hasil penelitian.