Evaluasi IMK

Pendahuluan

Adanya perdebatan tentang penilaian sebuah tampilan
Ada yang mengatakan “BAGUS”, “SEDANG”, atau “JELEK”
Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus
Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena akan menambah waktu pengembangan dan biaya
Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user
Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu
Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll

Mengapa Evaluasi Dibutuhkan

Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidelines menjamin bahwa karyanya pasti bagus
Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya
Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview

Kapan Evaluasi Dilakukan

Evaluasi dapat dilakukan pada:

• Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations
• Saat produk tersebut telah jadi yaitu melalui prototype
• Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang terbaru/upgrade, mis: program-program Windows, Winamp, dll. Evaluasi ini biasa disebut summative evaluations

Evaluasi produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau sekelompok user

Paradigma Evaluasi

• “Quick and dirty” evaluation

Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya
Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati

• Usability testing

Evaluasi ini cukup dominan digunakan pada tahun 1980-an
Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya
Kinerja user umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas
Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara:

1. Melihat secara langsung
2. Merekamnya dalam video

Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut
Penelitian biasanya dilakukan di dalam sebuah laboratorium, dimana user diberi suatu treatment tertentu (mis: cahaya, suara, warna, dll) atau bisa juga tanpa treatment
 

• Field studies

Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya
Evaluasi ini dapat digunakan untuk:

1. Membantu mengidentifikasi kesempatan sebuah teknologi baru
2. Menentukan kebutuhan-kebutuhan untuk melakukan desain
3. Memfasilitasi pengenalan sebuah teknologi
4. Evaluasi teknologi

Teknik yang dapat digunakan:

1. Interview
2. Observasi (pengamatan yang hanya dilakukan oleh desainer)
3. Partisipatori (user dilibatkan dalam pembuatan desain)
4. Ethnography (penilaian berdasarkan budaya)

Dari data yang didapatkan tersebut, maka desainer dapat melakukan evaluasi, baik secara kuantitatif maupun kualitatif, terhadap produknya

• Predictive evaluation

Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk
Keuntungan evaluasi ini:

1. User yang diinginkan tidak perlu untuk dihadirkan
2. Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh perusahaan

Tahun-tahun terakhir ini, evaluasi ini cukup populer

Teknik-Teknik Evaluasi

• Observing users
• Asking users their opinions
• Asking experts their opinions
• Testing user’s performance
• Modeling users’ task performance to predict the efficacy of a user interface

Hubungan Antara Paradigma dan Teknik Evaluasi

Teknik	“Quick and Dirty”
Observing users	Penting untuk melihat bagaimana user berperilaku dalam lingkungan aslinya
Asking users	Diskusi dengan user dan user yang potensial, dalam suatu group atau group yang khusus
Asking experts	Untuk mendapatkan kritik tentang kegunaan sebuah prototipe
User testing	===
Modeling users’ task performance	===
Observing users	Melalui video dan catatan, dilakukan analisa untuk mengidentifikasi kesalahan, investigasi cara kerja software, atau menghitung kinerja waktu
Asking users	Dengan menggunakan kuesioner kepuasan, maka dilakukan pengumpulan opini user. Interview kadang digunakan untuk mendapatkan opini yang lebih detail
Asking experts	===
User testing	Dilakukan di laboratorium
Modeling users’ task performance	===
Observing users	Dilakukan di lokasi manapun juga. Dalam studi etnografi, evaluator turut serta dalam lingkungan user
Asking users	Evaluator dapat melakukan interview atau mendiskusikan apa yang dilihatnya kepada peserta.
Asking experts	===
User testing	===
Modeling users’ task performance	===
Observing users	===
Asking users	===
Asking experts	Seorang menggunakan patokannya dalam pembuatan desain untuk memprediksi kemanjuran sebuah tatap muka
User testing	===
Modeling users’ task performance	Model yang digunakan untuk memprediksi kemanjuran sebuah tatap muka atau membandingkan kinerja waktu dengan versinya

Skala Likert

Merupakan suatu skala yang cukup banyak digunakan untuk melakukan evaluasi
Ukuran skala mulai dari 4 hingga 7
Ukuran 4 (1 = sangat buruk, 2 = buruk, 3 = bagus, 4 = sangat bagus)
Ukuran 5 (1 = sangat buruk, 2 = buruk, 3 = netral, 4 = bagus, 5 = sangat bagus)
Ukuran 7 (1 = sangat buruk, 2 = buruk, 3 = agak buruk, 4 = netral, 5 = agak bagus, 6 = bagus, 7 = sangat bagus)
Penelitian umumnya menggunakan 5 skala