UJI USABILITY DENGAN METODE COGNITIVE WALKTHROUGH PADA SITUS WEB PERPUSTAKAAN UNIVERSITAS MERCU BUANA JAKARTA

Perpustakaan perguruan tinggi sebagai salah satu unit pendukung diharuskan untuk selalu dapat memberikan layanan pengguna secara cepat dan tepat untuk mendukung tri darma perguruan tinggi. Salah satunya dengan membangun situs web perpustakaan yang dapat memenuhi kebutuhan dari para penggunanya. Pembangunan sebuah situs web perpustakaan perguruan tinggi perlu memperhatikan aspek usability sebagai kunci keberhasilan dan syarat penerimaan pengguna terhadap keberadaan situs web. Usability merupakan cerminan dari kebiasan yang umumnya dilakukan pengguna situs. Nielsen dan Loranger (2006) mengemukakan bahwa memperhatikan usability merupakan hal yang penting agar sebuah situs dapat bertahan hidup dan tidak ditinggal penggunanya. Situs yang memiliki usability tinggi memiliki peluang untuk lebih sering dikunjungi. International Standards Organization (ISO 9241-11) mendefinisikan usability sebagai sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk memperoleh tujuan tertentu dengan efektifitas, efisiensi, dan kepuasan dalam konteks penggunaan. Usability berarti memastikan bahwa sesuatu bekerja dengan baik untuk tujuan tertentu tanpa membuat penggunanya menjadi putus asa (Krug dalam Tullis & Albert, 2008). Efektifitas berhubungan dengan tingkat penyelesaian skenario tugas oleh responden untuk mencapai tujuan dalam menggunakan situs web. Efisiensi berkaitan dengan jumlah waktu yang diperlukan responden dan jumlah kesalahan yang dilakukan oleh responden dalam mencapai tujuan. Tingkat kesalahan ini dapat digunakan untuk membantu memprioritaskan masalahmasalah dan untuk mengukur tingkat kesulitan skenario tugas dibandingkan dengan skenario tugas yang lainnya (George 2008). Hasil uji usability mengarahkan keputusan dan memungkinkan untuk mengambil lompatan besar menuju user experience (pengalaman pengguna) yang lebih baik (Blakiston 2015). Menurut Lewis dalam Bligard dan Osvalder (2013) cognitive walkthrough adalah metode evaluasi usability di mana satu atau lebih evaluator bekerja melalui serangkaian skenario tugas dan meminta sejumlah pertanyaan dari perspektif pengguna. Pada cognitive walkthrough, urutan tindakan merujuk kepada langkahlangkah pada antarmuka yang diperlukan pengguna untuk mencapai tujuan tertentu. Cognitive walkthrough merupakan metode berbasis teori, di mana evaluator mengevaluasi setiap langkah yang diperlukan untuk melakukan tugas berbasis skenario, dan mencari masalah usability yang akan mengganggu belajar dengan eksplorasi (Hwang, 2010). Cognitive walkthrough dapat dilakukan menggunakan deskripsi tekstual dari urutan aksi (tindakan), sketsa, kertas prototipe, dan produk yang sudah bekerja (Wilson, 2014). Responden pada penelitian ini adalah pengguna perpustakaan yang sedang berkunjung ke perpustakaan. Menurut Nielsen (2000) jumlah penguji dapat mempengaruhi identifikasi masalah usability situs web. Satu penguji memungkinkan untuk dapat meng-identifikasi sekitar 25 persen masalah uji usability, sedangkan 15 penguji memung-kinkan kita dapat mengidentifikasi 100 persen masalah. Pada tahun 2009 Ali melakukan evaluasi usability terhadap perpustakaan digital Blekinge Tekniska Hogoskolan (BTH) dengan melakukan uji usability dengan metode think aloud, kuesioner dan wawancara (Ali et al. 2009). Hasil penelitian Ebenezer pada perpustakaan NHS London menunjukkan bahwa masalah yang ada pada situs web perpustakaan adalah pengorganisasian informasi, dan penggunaan istilah perpustakaan yang membingungkan pengguna (Ebenezer 2003). Maryati menjelaskan bahwa pengujian antarmuka web perpustakaan digital pada Pusat dokumentasi dan Informasi Ilmiah-LIPI menggunakan metode cognitive walkthrough (Maryati 2014). Nurhadryani melakukan pengujian usability untuk meningkatkan antarmuka aplikasi mobile menggunakan metode observasi langsung dan kuesioner (Nurhadryani et al. 2013). Aelani melakukan penilaian usability sistem perwalian online di STMIK Amik Bandung menggunakan USE Questionnaire dengan tiga parameter utama yaitu Usefullness, Satisfaction dan Ease of Use (Aelani et al. 2012). Sejak peluncuran situs web perpustakaan UMB tahun 2009 sampai dengan sekarang ini, uji usability situs web belum pernah dilakukan. Berdasarkan hal tersebut uji usability perlu dilakukan untuk mengidentifikasi dan menganalisis permasalahan-permasalahan yang dihadapi pengguna ketika menggunakan situs web perpustakaan UMB. Dengan demikian uji usability penting untuk dilakukan untuk mendapatkan antarmuka yang sesuai dengan kebutuhan dan kepuasan pengguna dalam menggunakan situs web. Metode yang digunakan adalah cognitive walkthrough. Metode cognitive walkthrough dapat membantu memastikan desain antarmuka situs web memenuhi pemetaan pemikiran pengguna, mengidentifikasi bagian desain antarmuka yang biasanya tidak dipahami oleh dosen dan mahasiswa (Wook et al. 2012). Tujuan Penelitian ini bertujuan untuk : 1) Mengidentifikasi dan menganalisis permasalahan apa saja yang dihadapi oleh pengguna ketika menggunakan situs web perpustakaan UMB. 2) Memberikan rekomendasi perbaikan antarmuka situs web Perpustakaan UMB kepada pengembang berbasis kebutuhan pengguna agar lebih user friendly. Manfaat Penelitian ini dilakukan untuk memperoleh masukan dari pengguna mengenai antarmuka situs web perpustakaan yang lebih layak (usable). Ruang Lingkup Penelitian Ruang lingkup penelitian ini adalah : 1) Katalog online yang diuji adalah katalog Perpustakaan Kampus Meruya & Cibubur 2) Responden penelitian meliputi mahasiswa, dosen, dan karyawan UMB yang datang ke Perpustakaan UMB 3) Pengujian usability mencakup dua komponen yaitu efektivitas dan efisiensi. Efektivitas berkaitan dengan tingkat penyelesaian skenario tugas sedangkan efisiensi berhubungan dengan jumlah waktu yang diperlukan untuk menyelesaikan dan jumlah kesalahan yang dilakukan pada saat menyelesaikan skenario tugas.

berapa tahapan yaitu pengujian cognitive walkthrough, analisis hasil pengujian, dan rekomendasi perbaikan antarmuka situs web. Pengujian Cognitive Walkthrough Uji usability dengan metode cognitive walkthrough terdiri dari dua tahapan yaitu tahan persiapan (preparation) dan tahap eksekusi (execution). Tahapan persiapan meliputi studi literature, mempelajari sistem yang akan diuji, menentukan responden dan menyusun skenario tugas yang harus dikerjakan oleh responden. Tahapan eksekusi meliputi urutan aksi walk through dan perekaman masalah (Jacobsen dan John 2000). Responden Responden penelitian ini meliputi pengguna yang menjadi target utama dari Perpustakaan UMB yaitu mahasiswa, dosen, dan karyawan yang berkunjung ke perpustakaan. Teknik yang digunakan dalam menentukan sampel adalah sampel acak berstrata (stratified random sampling). Teknik ini mengambil sampel dengan memperhatikan strata (tingkatan) didalam populasi. Responden yang dipilih adalah pengguna yang telah mahir dalam mengoperasikan komputer dan mencari informasi menggunakan situs web. Pertimbangan lain adalah pengetahuan, keterampilan dan frekuensi responden dalam menggunakan internet, web browser, website, dan search engine. Penentuan jumlah responden berdasarkan rata-rata persentase jumlah pengunjung perpustakaan. Pengunjung perpustakaan menjadi dasar dalam menentukan komposisi responden. Data pengunjung perpustakaan dikelompokkan berdasar profesi yang menjadi target utama pengguna situs web. Persentase jumlah pengunjung periode 2011-2014 dosen 3,4%, karyawan 0,4% dan mahasiswa 96,2% menjadi dasar dalam menentukan komposisi jumlah responden yaitu sepuluh orang. Menurut Nielsen (2012) jumlah peserta pengujian pada studi usability adalah lima peserta. Hal ini memungkinkan penelitian menemukan hampir sama banyaknya masalah usability menggunakan peserta pengujian yang lebih banyak. Pengujian usability dengan lima peserta hampir selalu mendekati rasio antara manfaat dan biaya maksimum pada pengujian usability. Skenario Tugas Skenario tugas yaitu kumpulan tugas-tugas yang harus dikerjakan oleh responden pada saat menggunakan situs web perpustakaan UMB. Menurut Tullis dan Albert (2008) jumlah skenario tugas sebaiknya antara lima sampai dengan empat belas skenario tugas. Pada penelitian ini menggunakan sebanyak tujuh skenario tugas yang relevan dengan menu-menu yang ada pada situs web perpustakaan UMB. Tabel 1 menjelaskan skenario tugas yang harus dikerjakan oleh responden. Tabel 1 Skenario Tugas Uji Usability ST Tujuan Tahapan ST 1 Mencari judul buku dan pengarang 9 ST 2 Mencari judul jurnal 7 ST 3 Mencari artikel 6 ST 4 Mencari abstrak e-tesis 8 ST 5 Mencari artikel dari database ProQuest 9 ST 6 Melihat sejarah pinjaman buku 6 ST 7 Mencari informasi jam layanan perpustakaan 3 Keterangan : ST = Skenario tugas Analisis Hasil Uji Usability Pada tahapan ini dilakukan analisis terhadap tingkat keberhasilan pengguna yaitu persentase skenario tugas yang diselesaikan dengan benar oleh responden, waktu penyelesaian tugas, dan jumlah kesalahan yang dilakukan oleh responden. Efektivitas berhubungan dengan tingkat penyelesaian skenario tugas oleh responden untuk mencapai tujuan dalam menggunakan situs web. Efisiensi berkaitan dengan jumlah waktu yang diperlukan responden dan jumlah kesalahan yang dilakukan oleh responden dalam mencapai tujuan. Tingkat kesalahan ini dapat digunakan untuk membantu memprioritaskan masalahmasalah dan untuk mengukur tingkat kesulitan skenario tugas dibandingkan dengan skenario tugas yang lainnya (George, 2008). Hasilnya dapat menunjukkan kendala-kendala yang dihadapi oleh pengguna ketika berinteraksi dengan situs web perpustakaan UMB. Identifikasi Masalah dan Rekomendasi Perbaikan Setelah menganalisis hasil uji usability maka dilakukan identifikasi masalah-masalah yang dihadapi responden ketika menggunakan situs web perpustakaan UMB. Masalah yang timbul pada masing-masing skenario tugas akan diberikan rekomendasi perbaikan yang menjadi prioritas untuk segera dilakukan.

Tingkat Penyelesaian Skenario Tugas Tingkat penyelesaian tugas adalah ukuran dari jumlah penyelesaian yang berhasil diselesaikan oleh responden untuk setiap tugasnya (George, 2008). Tingkat penyelesaian skenario tugas diukur berdasar persentase skenario tugas yang diselesaikan secara benar oleh responden. Skenario tugas yang dapat diselesaikan oleh seluruh responden dengan benar sebanyak dua skenario tugas (melihat sejarah pinjaman buku dan mencari jam layanan). Skenario tugas yang tidak berhasil diselesaikan dengan benar oleh responden sebanyak lima skenario tugas (mencari judul buku, mencari judul jurnal, mencari artikel, mencari abstrak e-tesis, dan mencari artikel dari basisdata ProQuest). Hal ini menunjukkan bahwa rata-rata skenario tugas yang berhasil diselesaikan responden sebesar 90%. Responden yang berhasil menyelesaikan skenario tugas secara benar sebesar 50% dan sisanya tidak berhasil menyelesaikan seluruh skenario tugas yang diberikan dengan benar (Gambar 2). Sebanyak dua responden (20%) hanya berhasil menyelesaikan skenario tugas sebesar 71%. Hasil rekapitulasi menunjukkan skenario tugas yang berhasil sebanyak dua skenario tugas. Skenario tugas yang gagal diselesaikan oleh responden sebanyak lima skenario tugas (Gambar 1). Hal ini menunjukkan bahwa masih ada kekurangan pada antarmuka situs web perpustakaan UMB mulai dari navigasi pada menu katalog online sampai dengan ketidakpahaman responden pada istilah e-tugas akhir dan e-thesis. Masalah ini sesuai dengan yang diungkapkan oleh Singley (2014) yaitu memahami perangkat penelusuran (pencarian) dan pengguna mengalami kesulitan dalam menemukan teks secara lengkap. Skenario Tugas(%) 80 90 90 80 90 100 100 - 20 40 60 80 100 ST1 ST2 ST3 ST4 ST5 ST6 ST7 Responden (%) Skenario Tuga s Gambar 1 Persentase Responden Berhasil Menyelesaikan Skenario Tugas 100 100 86 100 71 71 86 86 100 100 - 20 40 60 80 100 R1 R2 R3 R4 R5 R6 R7 R8 R9 R1 0 Responde n Gambar 2 Persentase Skenario Tugas yang Diselesaikan oleh Responden Jumlah Kesalahan yang Dilakukan Kesalahan adalah hasil dari suatu tindakan yang tidak sesuai dengan apa yang dimaksudkan oleh responden ketika uji usability berlangsung (George 2008). Jumlah kesalahan adalah banyaknya kesalahan yang dilakukan oleh responden ketika menyelesaikan skenario tugas yang tidak sesuai dengan langkah-langkah yang telah ditentukan. Tingkat kesalahan ini dapat digunakan untuk membantu memprioritaskan masalah-masalah dan untuk mengukur tingkat kesulitan skenario tugas dibandingkan dengan skenario tugas yang lainnya. Sebanyak tujuh skenario tugas diberikan kepada responden untuk diselesaikan secara benar. Hasil pengujian usability menunjukkan bahwa tidak ada satu skenario tugas pun yang dapat diselesaikan oleh seluruh responden tanpa melakukan kesalahan (Gambar 3). Jumlah kesalahan paling banyak dilakukan oleh responden adalah lima belas kali kesalahan sedangkan kesalahan terkecil adalah tiga kali kesalahan (Gambar 4). Skenario tugas 5, mengunduh artikel dari basisdata ProQuest, dan kenario tugas 4, mengunduh e-tugas akhir, merupakan dua skenario tugas dengan jumlah kesalahan tertinggi. Responden melakukan klik pada menu yang salah yaitu e-thesis untuk menyelesaikan skenario tugas 4. Pada skenario tugas ini responden juga melakukan klik pada menu “Digital Library’ secara berulang-ulang untuk dapat mendapatkan e-tugas akhirnya. Ketika responden diharuskan mengunduh file dokumen yang ditugaskan, responden tidak melakukan-nya. Penggunaan istilah untuk penamaan sebuah menu yang tidak sesuai dengan apa yang diharapkan oleh responden menyebabkan responden melakukan banyak kesalahan. Hal ini sesuai dengan masalah yang diungkapkan oleh Singley (2014) yaitu maksud dari istilah-istilah perpustakaan dan kesulitan menemukan teks secara lengkap dan Ebenezer (2003) yang menyatakan bahwa penggunaan istilah perpustakaan yang membingungkan pengguna. Jumlah Waktu yang Diperlukan untuk Menyelesaikan Skenario Tugas Waktu penyelesaian skenario tugas adalah jumlah waktu yang diperlukan responden untuk menyelesaikan skenario tugas. Waktu penyelesaian ini adalah waktu masingmasing skenario tugas yang dicatat atau direkam baik itu berhasil ataupun tidak berhasil (George 2008). Jumlah waktu dihitung berdasarkan jumlah detik yang diperlukan oleh responden untuk menyelesaikan skenario tugas. Waktu pada saat situs web loading tidak diperhitungkan agar perhitungan waktu tidak menjadi bias. Oleh sebab itu waktu loading dilakukan pemotongan. Jumlah waktu yang digunakan oleh responden untuk menyelesaikan seluruh skenario tugas dapat dilihat pada Tabel 2. Tabel 2 Rekapitulasi Jumlah Waktu Penyelesaian Skenario Tugas Responden ST1 ST2 ST3 ST4 ST5 ST6 ST7 Total (detik) Rata-rata (detik) R1 115 62 78 81 137 48 12 533 76 R2 159 59 37 221 120 58 12 666 95 R3 60 26 26 63 70 37 29 311 44 R4 134 165 36 153 301 43 8 840 120 R5 81 109 35 132 244 28 27 656 94 R6 269 121 79 254 467 101 37 1,328 190 R7 84 47 25 73 107 58 15 409 58 R8 278 118 97 101 233 107 37 971 139 R9 79 43 57 118 116 83 12 508 73 R10 121 68 35 160 135 46 10 575 82 Rata-rata 132 82 50 142 193 62 19 680 11 MIN 60 26 25 63 70 28 8 311 MAX 278 165 97 254 467 107 37 1,328 Keterangan : ST = Skenario tugas R = Responden Hasil perhitungan menunjukkan jumlah waktu paling cepat yang digunakan oleh responden dalam menyelesaikan skenario tugas adalah 311 detik dengan skenario tugas yang berhasil diselesaikan sebesar 86%. Jumlah waktu paling lama yang digunakan oleh responden sebanyak 1.328 detik dengan skenario tugas yang dapat diselesaikan sebesar 71 %. Rata-rata jumlah waktu yang digunakan responden untuk menyelesaikan seluruh skenario tugas adalah 680 detik. Pengujian usability menunjukkan bahwa skenario tugas 5, mengunduh artikel dari basisdata ProQuest, skenario tugas 4, mengunduh e-tugas akhir dan skenario tugas 1, mencari judul buku melalui katalog online, merupakan tiga skenario tugas yang paling banyak membutuhkan waktu untuk menyelesaikannya. Skenario tugas 7 melihat waktu layanan perpustakaan merupakan jumlah waktu paling sedikit. Hal ini sesuai dengan masalah yang diungkapkan oleh Singley (2014) bahwa pengguna tidak mengetahui posisi pengguna berada (tersesat) pada saat melakukan penelusuran. Masalah-Masalah dan Rekomendasi Perbaikan Berdasarkan penjelasan pada parameter tingkat penyelesaian skenario tugas dan kesalahan menunjukkan masalah-masalah yang dihadapi oleh pengguna ketika menggunakan situs web perpustakaan UMB. Dengan adanya berbagai masalah itu, maka perlu dilakukan adanya perbaikan-perbaikan. Permasalahan dan rekomendasi perbaikan dapat dijelaskan pada Tabel 3. Tabel 3 Masalah dan Rekomendasi Perbaikan Antarmuka Situs Web ST Tujuan Permasalahan Rekomendasi perbaikan ST 1 Mencari judul buku dan pengarang a) Responden tidak dapat mengisi nama penerbit pada kotak pencarian ‘Penerbit’ dengan cara mengetik nama penerbit, penerbit harus dipilih dengan menggulung ke atas ke bawah b) Responden tidak memilih judul dengan cara klik pada judul sehingga responden tidak dapat mengetahui detail status dan lokasi buku berada pada saat dilakukan pencarian c) Responden tidak langsung mencari menu katalog tetapi berusaha melakukan log in pada menu log in mahasiswa untuk melakukan pencarian judul buku d) Responden memilih jurusan pada saat mencari judul buku a) Kotak pencarian muncul di setiap halaman situs web. b) Jika menu katalog dipilih sebaiknya tidak menampilkan jendela baru. c) Dibuatkan menu “Ketersediaan dan lokasi” dari masing-masing dokumen yang ditampilkan dari hasil penelusuran. Menu ini akan memberikan informasi buku tersedia di tempat atau sedang dipinjam serta lokasi perpustakaan dimana buku disimpan. d) Kotak pencarian untuk penerbit dibuat dengan sistem pengguna harus mengetikkan penerbit yang diinginkan bukan dengan sistem pilihan penerbit. ST 2 Mencari judul jurnal Responden tidak melakukan klik pada “ISSN” dari hasil jurnal yang ditampilkan, sehingga detail edisi dari jurnal tidak tampil di layar monitor. Judul jurnal hasil penelusuran, jika dipilih (klik) akan tampil detail edisinya, bukan dengan melakukan klik pada nomor ISSN ST 3 Mencari artikel Responden kesulitan melakukan klik menu “Katalog > Koleksi Meruya & Cibubur” Menu ditampilkan secara horizontal drop down dengan menu horizontal ST 4 Mencari abstrak e-tesis a) Responden tidak melakukan klik pada menu “e-tugas akhir” tetapi melakukan klik pada menu “e-thesis” b) Responden tidak mengunduh abstrak a) Istilah yang digunakan pada menu maupun submenu harus sesuai dengan isi informasi yang akan disampaikan sehingga tidak membingungkan pengunjung situs web. Istilah “Digital Library” sebaiknya diganti dengan “Koleksi Digital” b) Petunjuk lokasi pengunjung situs web (breadcrumbs) yaitu navigasi yang memberikan informasi posisi menu yang sedang diakses oleh pengunjung. ST 5 Mencari artikel dari basisdata ProQuest Responden kesulitan menemukan menu “Teks lengkap – PDF” untuk dapat mengunduh artikel yang telah ditemukan dari basisdata ProQuest Petunjuk cara mencari artikel ke basisdata ProQuest dan pencarian buku melalui katalog online yang dilengkapi dengan gambar tampilan layar. Petunjuk ini ditempatkan pada halaman menu dari masingmasing menu pencarian. ST 6 Melihat sejarah pinjaman buku Responden melakukan klik pada menu “Pinjamanku” secara berulang kali Mempercepat tampilan sub menu pada menu “Pinjaman Saya” ketika menu tersebut disorot oleh pointer ST Tujuan Permasalahan Rekomendasi perbaikan ST 7 Mencari informasi jam layanan perpustakaan Responden melakukan scroll (menggulung layar) berulang kali untuk mendapatkan lokasi menu “Peraturan”. a) Menu-menu ditampilkan di bagian atas layar termasuk menu log in untuk anggota, Judul buku baru, Usefull link dan statistik jumlah koleksi. b) Menu ditampilkan secara horizontal drop down dengan menu horizontal c) Menu gambar sebaiknya hanya ditampilkan pada halaman utama bukan pada setiap halaman. Tujuannya untuk mengurangi kegiatan menggulung (scroll) layar monitor ke atas atau ke bawah, pada saat pengguna melakukan pencarian informasi.

Kesimpulan Hasil pengujian usability menunjukkan bahwa permasalahan yang dihadapi pengguna pada waktu menggunakan situs web Perpustakaan UMB adalah mengunduh artikel dari basisdata ProQuest, mengunduh e-tugas akhir, mencari judul artikel, mencari judul buku dengan menggunakan katalog online, dan mencari judul jurnal. Rekomendasi perbaikan antarmuka situs web Perpustakaan UMB berdasarkan hasil analisis yaitu menampilkan pedoman atau petunjuk cara pencarian artikel dari masing-masing database, kotak pencarian koleksi (buku, artikel, jurnal, e-tugas akhir) berada pada bagian atas setiap halaman situs web, gambar tidak ditampilkan disetiap halaman, dan diberikan navigasi yang memberikan lokasi pengunjung situs web berada. Saran Penelitian selanjutnya dapat dilakukan dengan melakukan uji usability kedua setelah situs web Perpustakaan dilakukan desain ulang dengan memperhatikan dari rekomendasi yang diberikan pada penelitian ini. Dari pengujian ke-2 ini dapat dilakukan perbandingan besaran tingkat efisiensi dan efektifitas antarmuka situs web Perpustakaan. Komponen usability dapat ditambahkan seperti kepuasan pengguna. Selain itu metode think aloud, heuristic evaluation, dapat digabungkan untuk uji usability selanjutnya.