KEPUASAN ANTARA MUKA SISTEM: KAJIAN KES PERKHIDMATAN LAWATAN KE PERPUSTAKAAN

SULTANAH BAHIYAH

Zakirah Othman, Khairul Bariah Ahmad dan Juliana Aida Abu Bakar Fakulti Pengurusan Teknologi, Universiti Utara Malaysia, 06010 Sintok,

Kedah Darul Aman. Emel:{zakirah, kbariah. liana) 0uum.edu.my Tel: -1604 9287184, No. Faks: +604 9287117

Abstmk

P

Penilaian adalah kunci utama dalam menentukan kualiti dun kebolehgunaan sesuatu sistem. Penilaian merupakan proses sistematik mengutip data untuk mendapatkan maklumat tentang persepsi pengguna untuk memastikan bahawa sistem yang dibina adalah berguna serta memenuhi keperluan dun kehentink pengguna. Dengan itu, kajian ini adalah berkaitan penilaian kebolehgunaan antara muka sistem panorama VR dalam perkhidmatan lawatan ke Perpustakaan Sultanah Bahiyah(PSB), Universiti Utara Malaysia. Kajian kes ini akan melihat lima aspek kepuasan antara muka pengguna iaitti reakri keseluruhan pengguna terhadap sistem, skrin, terminologi dun maklumat sistem, pembelajaran dun k eupayann s istem. Kaedah penilaian yang dilakukan ndalah berhsarkan pandangnn pengguna. Berdasarkan dapatan kajian daripada borang soul selidik, secara keseluruhannya sistem panorama VR PSB mencapai tahap memuaskan. Ini menunjukkan sistem tersebuf me~upakan salah satu media kolnunikasi visual yang memuaskan pengguna selaras (lengan perkembangan makluinat di hujung jari.

Kata kunci: kepuasan antara muka, sistem

1.0 PENGENALAN

Sebelum era teknologi maklumat, perpustakaan lebih menitikberatkan pengembangan koleksi, tetapi kini tumpuan itu telah beralih kepada melayani pengguna, termasuk juga bantuan perkhidmatan sistem perpustakaan. Morales (2000), menyatakan perkhidmatan perpustakaan akan lebih tertumpu kepada membantu pengguna untuk mencapai maklumat secara terkawal dan bebas. Justeru itu, prestasi pustakawan ditentukan berdasarkan kuantiti perkhidmatan maklumat yang tepat dan pada masa yang bersesuaian dapat diberikan kepada pengguna. Di sini, kualiti maklumat yang dititikberatkan ialah maklumat spesifik dan dipaparkan dalarn bentuk yang mudah digunakan. Begitu juga mengikut kajian Wilson (2000) yang menyatakan p engguna p elpustakaan k ini memerlukan 1 atihan d an bantuan pustakawan. Menurut Brinkley (1999) pula, laman web perpustakaan pada masa hadapan melibatkan pemaparan perhdmatan dan maklumat secara maya. Sehubungan itu, kini terdapat banyak pelpustakaan nlula menggunakan konse P lawatan maya seperti Perpustakaan Kebangsaan di ~ a n a d a ' , Perpustakaan RichLyn di Kolej Huntington , Perpustakaan Anteroom di ~orthwestern' dan Perpustakaan James G. ~ e e ~ di Universiti Texas A&M'

Seiring dengan arus perubahan teknologi itu, Perpustakaan Sultanah Bahiyah (PSB), Universiti Utara Malaysia turut nlelangkah ke hadapan dengan meningkatkan kemudahan sistem yang sedia ada, antaranya Sistem Panorama VR Perpustakaan Sultanah Bahiyah (SPPSB). Sebelum sistem perkhidmatan lawatan maya tersebut dilancarkan kepada pengguna umum, satu penilaian telah dijalankan. Dengan itu, artikel ini membincangkan hasil penilaian aspek kepuasan antara muka pengguna terhadap SPPSB yang merangkumi lima aspek iaitu reaksi keseluruhan pengguna terhadap sistem, skrin, terminologi dan maklumat sistem, pembelajaran dan keupayaan sistenl.

Kajian ini berkepentingan untuk mendapatkan output mengenai tahap kepuasaan pengguna terhadap antara muka kebolehgunaan SPPSB. Dengan itu, kelernahan sistem akan dapat dikenalpasti serta kebolehgunaan sistem akan dapat dipertingkatkan.

Sehubungan itu, sebelum diperjelaskan hasil penilaian, maklumat berkenaan perpustakaan dan perkhidmatan sistem ini diterangkan terlebih dahulu dan diikuti dengan konsep kebolehgunaan dan penilaian.

1.1 SPPSB - Perkhidmatan Lawatan ke Perpustakaan

Perpustakaan Sultanah Bahiyah (PSB), Universiti Utara Malaysia telah ditubuhkan pada 7 Julai 1984 dan mendapat pengiktirafan International Stnncinrd Orgnnisntion 9002 semenjak Disember 1997. PSB juga merupakan perpustakaan pertama yang menggunakan sistem rangkaian Ingatan Baca Sahaja - Cakera Padat (CD-ROM).

SPPSB telah dibangunkan oleh Jabatan Automasi Perpustakaan PSB. Sistem tersebut tersebut (Rujuk Rajah 1) menawarkan perkhidmatan lawatan maya ke perpustakaan dan boleh dicapai melalui laman web PSB di htt~:l/www.lib.uum.edu.mylweblibl. Perkhidmatan lawatan ke perpustakaan merupakan perkhidmatan yang disediakan kepada pengguna pelpustakaan terutama untuk ahli perpustakaan barn dan pelawat. Perkhidmatan ini memberi maklumat persekitaran, lokasi dan koleksi bahan perpustakaan.

Perkhidmatan lawatan maya selain SPPSB adalah dalam bentuk rakarnan dan teks di laman web serta buku panduan perpustakaan. Selain itu, p erkhidnlatan i ni j uga d isediakan o leh k ahtangan p erpustakaan s ecara lisan.

Berdasarkan bilangan ahli perpustakaan yang sentiasa meningkat dan rombongan pelawat yang tidak menentu, didapati SPPSB boleh digunakan sebagai alternatif tambahan untuk memberi maklumat perkhidmatan lawatan, tunjuk arah lokasi dan koleksi bahan dalam bentuk yang lebih cepat, menarik dan boleh dicapai tanpa had masa. Dengan itu, kajian kebolehgunaan sistem dilakukan untuk menilai tahap kepuasan pengguna terhadap sistem tersebut.

ucu cm v a tm h q e ~ rps lo rm degw h d&mt d r a c h . ~basd prroed lo ~b w p d y~m. F u k l r a , urn 1024 a 7 6 phel a r m . Wata mrh JFFrauht lfym cm gksw a cornmntffcdwk h t 66 vr wl TPI. u CU&IC~ DI vd&mi~w KT to@ w y ~ b .

Thm &Us w s p-lal a n alh*na(he hl v;ar bl hltf &%tad tha I b w mk65, ular k r k n s . I l b r a y ~ m m l u ek.

MW :Tralmqnpesmted h 6 s r r ~ l m r w e m Y , ; n J s r x r a ~ b p O m t h n ~ w ~ W ~ 1817.

r*Y*n%....d..*..1,F.k-.1*

Rajah 1: Laman web SSPSB

598

1.2 Kebolehgunaan

Perkataan kebolehgunaan telah digunakan sejak awal 1980-an untuk menggantikan istilah "user friendly" (Nielsen, 1993; Bevan et al, 1991). Istilah "Kebolehgunaan (usability)" merujuk kepada keupayaan komputer memberikan interaksi mesra pengguna dan boleh dipercayai. Terdapat beberapa definisi merujuk kepada istilah kebolehgunaan.

Definisi kebolehgunaan oleh International Organization for Standardization, I S 0 9241 (1997) merujuk kepada

"Usability is a measure of the eflectiveness, efficiency and satisfaction with which specified users can achieve specified goals in a particular environment".

Aspek kepuasan yang dinilai dari IS0 9241 ialah sama ada sistem tersebut sesuai dengan tugasan yang diberikan, menyenangkan serta menyeronokkan. Bevan, Kirakowski dan Maissel (1991) pula mendefinisikan kebolehgunaan sebagai sebarang perkara yang berkaitan interaksi pengguna dengan produk dan memberi penekanan khusus dari aspek mudah digunakan atau dalam aspek kebolehterimaan. Selain itu, kebolehgunaan juga dapat dinilai dari aspek kepuasan pengguna terhadap sistem.

Begitu juga, Federal Aviation Administration (FAA) Human Factors (2003) melihat aspek pengukuran kebolehgunaan kepada tiga iaitu efektif, efision dan kepuasan pengguna. Kepuasan pengguna yang dilihat ialah persepsi pengguna menerirna sistem.

Selain itu, mengikut definisi Nielsen (1993),

" .. usability is not a single, one dimensional property of a user interfclce. Usability has multiple colnponents and is traditionally associated with these f ive usability a ttributes: learnability, efficiency, memorability, errors and satisfaction".

Sementara, penilaian kebolehgunaan (usability evaluation) didefinisikan sebagai sebagai penilaian (assessment) terhadap aplikasi terperinci antara muka pengguna, teknik atau metafora interaksi dan alatan input untuk tujuan menentukan sama ada ianya boleh digunakan (Bowman et al, 2004).

Dengan itu, dapatlah diringkaskan secara umunmya, mengikut Dray (1995), Nielsen (1993), Bamum (2002) dan Bowman et a1 (2004), penilaian terhadap sesuatu sistem sama ada ianya berkualiti dan boleh digunakan atau sebaliknya dapat dilihat dari aspek:

Penggunaan yang efektif Penggunaan yang efisyen Selamat digunakan Keberangkalian berlaku kesalahan yang minima Mempunyai utiliti yang baik Mudah dipelajari Mudah diingati (memori) Subjek kepuasan pengguna.

Jelaslah di sini dapat disimpulkan bahawa sesuatu sistem memerlukan penilaian kebolehgunaan untuk menilai tahap kualiti sistem agar lebih baik dan memudahkan pengguna. Penilaian kebolehgunaan pula melibatkan beberapa teknik.

2.0 TEKNIK PENILAIAN

Terdapat dua jenis teknik penilaian iaitu penilaian Descriptive dan teknik penilaian Predictive (Gidiga et a/, 2002). Mengikut Gidiga et a1 (2002) lagi, teknik penilaian Descriptive adalah teknik berdasarkan pengguna yang digunakan untuk mengambarkan status dan masalah sebenar perisian agar mencapai objektif, kebolehpercayaan (reliable) dan kesahihan. Ianya terbahagi kepada:

(a) teknik penilaian berasaskan kelakuan seperti: i. teknik pemerhatian ii, thinking-aloud protokol ... 111. video confrontation

(b) kaedah penilaian berasaskan pandangan pengguna iaitu pandangan subjektif pengguna. Contohnya, temuramah, kajian rintis (survey) dan soal selidik.

(c) ujian kebolehgunaan (usability testing). T e h k ini merupakan kombinasi t e h k (a) dan (b). Teknik ini termasuklah:

Teknik penilaian predictive pula bertujuan memberi cadangan atau ramalan untuk pembangunan perisian akan datang dan cuba mengelakkan kesalahan berulang dalam kebolehgunaan.

Penilaian yang dilakukan terhadap SPPSB adalah melalui kaedah penilaian berasaskan pandangan pengguna. Dengan itu, pemilihan instrumen untuk borang soal selidik yang menurnpukan aspek kepuasan antara muka pengguna telah dilakukan. Mengikut Perlman (2004), aspek kepuasan antara muka pengguna terhadap sistem boleh diukur dengan pelbagai kaedah yang telah kukuh dari segi kesahihan dan kebolehpercayaamya(reliability). Kaedah tersebut antaranya seperti di Jadual I.

Jadual 1 : Instrumen untuk Penilaian Kepuasaan Pennnuna ~ k r o n i m ; Instrumen 1 Rujukan , Institut

I

-- -- --- -- -- --- - - I i ----"----- QUIS Questionnazre for User Interface Satisfaction :chin et al. ~Maryland

1 - - ------- jm I -

PUEU perceived Usefillness and Ease of Use I~av is , 1989 :IBM

Bilangan 1 Soalan ' -4

27 soalan j i

NAU Nielsen's Attributes of Usability i~ie lsen, i~ellcore 15 atribut 1 ... " .... '.... ." ....... 10 (heuristic) 1

' ASQ ' ~ f t e r Scenario Questionnaire p- - l l e w i s a :IBM 13 soalan 1 ---

i PHUE :Practical Heuristics for Usability Evaluation I~erlman, /OSU 113 (heuristic) 11997 !

, ----"

1 -""--

! - _ _ A I PUTQ :~urcltie Usability Testing Questionnaire I ~ i n et al, iPurdue 1100 soalan 1

11997 I i ,- ; ..-.-.-,---.- i " - . , " 4 ! j PSSUQ :post Study System Usability Questionaire. Uembangan dari jlewis, jIBM 119 soalan 1

:SUMS (System Usability Metrics, akhir 1980an. ) 12002. 1 1 ' " " .... ... ... ..I:..~.-.~~- I:

Berdasarkan instrumen di atas, QUIS telah dipilih untuk digunakan dalam penilaian SPPSB. Ini kerana QUIS diiktiraf mempunyai kebolehpercayaan yang tinggi dengan pembolehubah yang rendah dan memberi ketepatan maklumat untuk menilai reaksi penguna terhadap sistem. Hasil penilaiamya juga diakui dapat memberi maklumbalas k epada p ereka b entuk s istem untuk mempertingkatkan produk mereka (Marryland Imagination, 1990). y

2.1 QUIS -Qlrestionaire for User Interface Satisfaction

Questionaire for User Interacface Satisfaction (QUIS) mula diperkenalkan oleh Chin et a1 (1988) dan seterusnya dlkembangkan oleh sekumpulan penyelidik dari pelbagai disiplin ilrnu di Human-Computer Interaction Laboratory, Univesity of Marryland. QUIS adalah alat yang direka bentuk untuk menilai tahap kepuasan pengguna dengan beberapa aspek spesifik antara muka manusia-komputer. Ianya sesuai digunakan untuk semua sistem konlputer dan pakej perisian (Marryland Imagination, 1990) I~ttp://www.la~.umd.edu/QUIS/index.html. QUIS juga sesuai digunakan oleh semua populasi yang berbeza seperti p elajar, profesional komputer, p engguna novis dan pengemar komputer (Chin et al, 1988). QUIS juga telah terbukti sebagai satu instrumen yang boleh dipercayai (realibility) dan sahih (validity) dalam

~ ~ ~ ~ u k u r a n beberapa aspek antara muka sistem (Chin et a [ , 1988; Laboratory for Automation Psychology, 2004).

Pakej QUIS telah dikomersialkan oleh Office of Technology Commercialization, Universiti Of hfatyland. Pembangun yang mengawalselianya ialah Dr. Kent L. Norman dari Jabatan Psikologi, Dr. Ben Shneiderrnan dari Jabatan Komputer Sains, Dr. Laura Slaughter dari Laboratory for Decision Making and Cognition Department of Biomedical Informatics dan B en Harper d ari Ja batan P sikologi. Sehingga kini, lesen dan khidmat rundingcaranya telah digunakan secara meluas di makmal kebolehgunaan dan di makmal penyelidikan serata dunia. Pada tahun 1993 sahaja, QUIS telah mengeluarkan 76 lesen. 44 peratus daripadanya digunakan oleh pengguna komersial dan industri, 32 peratus oleh institut pendidikan dan ~ e n ~ e l i d i k antarabangsa dan 24 peratus oleh pengguna institut pendidikan dan penyelidik dalaman (Harper & Norman: 1993). Lesen QUIS yang terkini ialah versi QUIS 7.0.

Berdasarkan soalan QUIS ini, penyediaan borang soal selidik dan pengurnpu16n data telah dilakukan.

2.2 Borang Soal Selidik SPPSB

Borang soal selidik QUIS telah digunakan bersesuaian dengan skop kajian ini yang memfokuskan kepada lima dimensi kepuasan pengguna untuk SPPSB. Walau bagairnanapun, beberapa item soalan yang tidak berkaitan dengan SPPSB tidak digunakan. Pengubahsuaian QUIS kepada soalan selidik SPPSB perlu berdasarkan keperluan spesifiknya. Lihat kajian terhadap Information System for Youth Services (ISYS) (Slaughter et al, 1995).

Borang soal selidik ini boleh dibahagi kepada dua bahagian utama iaitu bahagian demografi dan bahagian berkaitan kepuasan pengguna mengggunakan SPPSB yang merangkumi kepuasan menggunakan sistem secara keseluruhan, skrin, terminologi dan maklumat sistem, pembelajaran dan keupayaan sistem.

3.0 PENGUMPULAN DATA

Kajian rintis yang melibatkan 18 orang responden telah dilakukan untuk menguji sama ada soalan yang dikemukakan tersebut dapat dan mudah difahami oleh responden. Dapatan kajian daripada kajian rintis menunjukkan responden memahami kehendak soalan dan keseluruhan jawapan yang diberikan secara puratanya berada pada tahap memuaskan. Walaupun begitu, beberapa perubahan telab dilakukan untuk rnenjelaskan lagi penerangan. Hasil pembaikian kajian rintis ini seterusnya digunakan pada kajian sebenar.

Responden terdiri daripada ahli Perpustakaan Sultanah Bahiyah yang dipilih melalui kaedah persampelan mudah (convenience). Responden dikehendaki nielawat laman web SPPSB di laman web h~:llwww.lib.u~~m.edu.mv/virtual/index,ltin (Rajah 2) bertempat di Makmal Komputer Perakaunan. Setelah tamat lawatan secara maya tersebut, borang soal selidik diedarkan kepada responden dan sejumlah 32 borang soal selidik telah dikumpulkan. Mengikut Nielsen (1993), bilangan responden bagi kaedah borang soal selidik terhadap sisten~ berkomputer yang paling minima ialah 30 orang. Seteiusnya data tersebut dianalisis.

Perpustakaan Sultan-ah Bduyah a u ~ ~ m r x ~ 1 m u u * h [ u n u ~ . a I

nanm#uwm dm- A . 2 ~ r d m r d D r m n W o 6- dM d 7.u u*. - -- h.hn~.,,- IYw h- .A,,, y, I ~J++*"$,",?&:,":L-~;.- '"- "*""--. - 6 h&. r.,,..,.

Rajah 2: Laman Web SPPSB sebelum penilaian

4.0 ANALISIS

Dapatan kajian menunjukkan jurnlah responden yang mempunyai pengetahuan menggunakan perkhidmatan lawatan maya adalah sedikit iaitu sebanyak 18.75% (enam orang).

Dapatan kajian berkaitan aspek kepuasan antara muka pengguna pula boleh dirujuk di Jadual2.

Jadual2: Min Lima Asuek Keuuasan Antara Muka Peneeuna "U

I Dimensi I Min (Skala 5)

Ini menunjukkan responden boleh menerima dan mempelajari sistem tersebut. Ini menunjukkan bahawa sistem SPPSB merupakan satu alat untuk memberi gambaran dan panduan tunjuk arah lokasi dan koleksi bahan PSB yang mudah digunakan dan senang difahami. Ini diperkukuhkan dengan jawapan responden yang memuaskan iaitu min keputusan terendah pada 3.96 dan min tertinggi ialah 4.27.

Reaksi Keseluiuhan Skrin Penggunaan Terminologi dan Maklumat Sistem Pen~belajaran

Seterusnya, berikut disenaraikan ulasan responden pada akhir borang soal selidik, kebanyakan mereka iaitu sebanyak 75 peratus memberikan jawapan yang positif antaranya SPPSB memberikan output yang memuaskan, menarik dan memudahkan tugasan. Sementara itu 12.5 peratus responden tidak memberi sebarang ulasan.

4.06 4.10 4.03 3.96

5.0 PENUTUP

Keupayaan Sistem

Kesimpulannya, kajian terhadap penilaian kepuasan antara muka sistem ini men~~njukkan SPPSB nlerupakan s alah s atu In edia k omunikasi v isual y ang m enluaskan p engguna. R esponden b oleh menerima,

602

mempelajari dan menggunakan sistem tersebut dengan mudah dan senang difahami. Walaupun artikel ini mengetengahkan beberapa hasil keputusan, namun begitu, kajian lanjutan perlu dilakukan untuk mendapatkan hasil yang lebih dipercayai, contohnya meluaskan skop kajian terhadap aspek kebolehgunaan lain seperti interaksi pengguna, navigasi, kecekapan dan keberkesanan sistem yang menekankan konsep realiti maya.

Akhirnya, perlu dijelaskan juga bahawa SPPSB bukanlah berperanan menghapuskan perkhidmatan konvensional yang sedia ada seperti buku panduan, khidmat pustakawan, rakaman video dan sebagainya. Ianya sebagai alternatif tambahan untuk membantu pustakawan memberi informasi dan mengiklankan perkhidmatan mereka tanpa batasan rnasa dan lokasi. Disamping memperbagaikan kaedah perkhidmatan sedia ada ke arah membentuk perpustakaan maya.

6.0 BIBLIOGRAFI B

Barnum, C.M. (2002). Usability testing and research. US: Pearson Education, Inc.

Bevan, N., Kirakowski, J. & Maissel, J. (1991). What is usability? Proceedings of the 4th International Conference on Human Computer Interaction. Stuttgart, September 1991. Elsevier.

Bevan, N. (1995). Measuring usability as quality of use. Journal of Software Quality. Issue 4, pp 115-140.

Bowman, D. A., Johnson, D. B. & Hodges, L. F. (2001). Testbed evaluation of virtual environment interaction techniques. Presence. Volume 10, number 1.

Bowman, D. A., Gabbard, J. L. & Hix, D. (2004). A survey of usability evaluation in virtual environment: classification and comparison of methods. Presence. Volume 1 1, number 4.

Brinkey, M. (1999). The library web site in 1999: A virtual tnp to the library. Internet Librarian / Libtech International 1999, Olympia, London.

Chin, J. P., Diehl, V. A. and Norman, K. L. (1988). D evelopment o f a n i nstrument measuring u ser satisfaction of the human-computer interface. Proceedings of SIGGHI '88, (pp. 213-218), New York:ACM/SIGCHI.

Dray, S. M. (1995). Tajuk . Interaction magazine. January. Volume 2, issue 1. pp: 17-20.

FAA Hunlan Factor. (2003). Retrieved May 5, 2003 from the World Wide Web: l~ttp://www.lif.faa.~ov/Webtrainino,/Usability/u03 definition.htm

Gabbard, J. L . ( 1997). A taxonomy of usability characteristics in virtual environments. Unpublished Master Thesis. Faculty of the Virginia Polytechnic Institute and State University, Virginia. US.

Gidiga, G., Hamborg, K. C. & Duntsch, 1. (2002). Evaluation of software systenls. Retrieved August 09, 2004 from the World Wide Web: people.freenet.de/pedi~a,,sofieval.~df

Harper, B. D. & Norman, K. L. (1993). Improving User Satisfaction: The Questionnaire for User Satisfaction Version 5.5. Proceedings of the IS' Annual Mid-Atlantic Human Factors Conference. (pp.224-228), Virginia Beach, VA.

IS0 9241. (1997). IS0 9241-1: Ergonomic requirements for office work with visual display terminals.

Laboratory for Automation Psychology. (2004). QUIS, University of Marryland httr,:lilap.un~d.edul~IJIS/index.htm~.

Lewis, J. R. (2002). Psychometrics Evaluation of the PSSUQ Using Data from Five Years of Usability Studies. International Journal of Human-Computer Interaction. 14(3&4), 463-488.

Lewis, J. R. (1995). IBM Computer Usability Satisfaction Questionaires: Psychometric Evaluation and Instructions for Use. International Journal of Human-Computer Interaction. 7(1), 57-78.

Marryland Imagination. (1990). New System Evaluates Human-Computer Interface. University of Manyland. Retrieved April 8, 2004 from the World Wide Web: http://www.lap.umd.edu/QUIS/publications/newspaper 1 .htrnl.

Morales, E. (2000). The future of the library: A view from Mexico. MCB New Library World, 10 (5). Retrieved January 27, 2001 from the World Wide Web: http://www.emerald- library.~orn/brev/0722tec 1 .htm.

Nielsen, J. (1993). Usability Engineering. US: Academic Press, Inc.

Perlman, G. (2004). Web-Based User Interface Evaluation with Questionnaires. Retrieved April, 2004 from the World Wide Web: http://www.acm.orp/-perlman/question.html

Preece, Jennifer. (2002). Interaction Design, US: John Wiley & Sons, Inc.

Saunders, L. M. (Ed.). (1993). The virtual library visions and realities. US: Meckler Publishing.

Shneiderman, B. (1998). Designing the User Interface. Third Edition. US: Addison Wesley Longman.

Slaughter, 1. , Norman, K. L. & Shnerdennan, B. (1995). Assessing Users' Subjective Satisfaction with the Information System for Youth Services (ISYS). University of Marryland March from April, 7 2004 at ftp://ftp.cs.umd.ed~~/pub~l~cil/Reports-Abstracts-Bibliographv/95-09htm1/95-09.html

Slaughter, L. A., Harper, B. D. & Norman, K. L. (1994). Assessing the Equivalence of the paper and On- line formats of the QUIS 5.5. Proceedings of the 2St Annual Mid-Atlantic Human Factors Conference. (pp.87-91), Washington, D.C.

University of Marryland (1 997). QUIS. Laboratory for Automation Psychology. University of Marryland. Retrieved Mei 3, 2004 http://www.cs.umd.edu/hciVquis/

Wilson, M. (2000, Jun). Understanding the needs of tomorrow's library user: rethinking library services for the new age. APLIS, 13 (2), p. 81 - 88. Retrieved October 1, 2000 from database EBSCO (Academic Search Elite) on the World Wide Web: http://www.psb 1 .uum.edu.my/intranet/onlinedb.htnl.

Xiao, D. Y. (2000). Experiencing the library in a panorama virtual reality environment.' Library Hitech, January. Vol: 18. Issue 2. p. 177 - 184.