ANALISIS ITEMMohd Yusof b. AliasMaktab Perguruan Perlis

PENGENALANAnalisis item adalah satu proses yang dilaksanakan bagi menentukan item atau soalan yang dibina mencapai sesuatu standard atau kreteria yang telah ditetapkan.

TUJUAN ANALISIS ITEMUntuk mengkaji sama ada sesuatu item itu baik atau lemah.Hasil daripada analisis item, kita akan memperolehi tiga jenis maklumat berhubung dengan Indeks Kesukaran, Indeks Diskriminasi dan Pola Pilihan Jawapan Calon.

Tujuan-Tujuan LainMenentukan kesahan dan kebolehpercayaan item-item yang dibina.Menentukan aras kesukaran melalui indeks kesukaran.Menentukan tahap diskriminasi item di antara calon pintar dengan calon lemah melalui indeks diskriminasi.Menentukan item-item itu berfungsi atau tidak.Menentukan item-item yang sesuai untuk dimasukkan ke dalam bank item.

ANALISIS ITEMKaedah TradisionalItem Response Theory

KAEDAH TRADISIONALDengan menggunakan kaedah tradisional ini, analisis yang dapat dibuat adalah terhad kepada menentukan indeks kesukaran dan indeks diskriminasi item sahaja.

ITEM RESPONSE THEORY

Andaian Model Rasch: Kebarangkalian calon berjaya menjawab sesuatu item adalah atau fungsi yang bergantung semata-mata kepada kebolehan calon dan kesukaran item. Tentukur (calibration) kesukaran item dan ukuran (measure) kebolehan calon dapat diletakkan pada satu skala linear.MODEL RASCH

Ciri tersebut membenarkan perbandingan dibuat antara kebolehan calon dan kesukaran item. Item yang didapati sesuai (fit) akan disimpan di dalam bank item untuk kegunaan masa hadapan.

KONSEP ASAS PENGUKURAN MODEL RASCHModel Rasch ialah satu formula matematik yang diberi oleh rumus berikut:P = f(b d), di mana P = Kebarangkalianf = fungsib = kebolehan calond = kesukaran item Unit bagi perbezaan (b d) adalah dalam logits. Unit logits adalah ungkapan Kebarangkalian.

Unit bagi perbezaan (b d) adalah dalam logits. Unit logits adalah ungkapan Kebarangkalian.

Analisis ITEMMenggunakan Perisian QUEST

Perisian QUEST dibina oleh Syarikat ACER (1960) dari Australia. Berguna untuk membuat analisis item ujian (objektif dan subjektif) dan soalan-soalan bagi soalselidik. .

Perisian dibina berdasarkan teori pengukuran Rasch (Item Response Theory).

Analisis QUEST memberi anggaran (estimate) item, kes dan statistik fit dalam bentuk jadual/gambarajah. Anggaran kesukaran dilaporkan dalam unit Logits. Statistik fit dilaporkan dalam mean square residuals.

Perisian QUEST perlukan pemproses Pentium III ke atas/setara, mempunyai co processor, cakera keras dan RAM yang besar.Pengguna perlu memahami setiap perintah untuk melaksanakan QUEST. Untuk melaksanakan anggaran dan output QUEST hanya memerlukan Fail data dan Fail Perintah

Struktur QUEST

DataPerintahQUESTQUESTOutput(Rasch estimates, fit statistics, summary tables, count tables, item maps with case distribution, fit maps, kidmaps, distractor/category analyses, Reilability indices, correlation matrices.)

CARA MENGANALISIS DATAKlik dua kali pada ikon QUESTTaip submit diikuti dengan nama fail kawalan yang telah dibina Contoh: > submit PA2051P.ctl Gunakan pemperoses kata (seperti Dos Editor, Microsoft Word, Wordpad, Notepad dan lain-lain) untuk melihat fail-fail yang telah dijana dan memilih fail-fail untuk dicetak..

Fail-fail yang dijana itu mempunyai sambungan (extention) sperti berikut:xxxxxxxx.mapxxxxxxxx.tblxxxxxxxx.cntxxxxxxxx.itmxxxxxxxx.casxxxxxxxx.anaxxxxxxxx.kim

Tafsiran Output Analisis Quest

Item Variable MapRajah yang memaparkan kedudukan kesukaran setiap item berbanding dengan kebolehan calon yang menduduki peperiksaan. Mengandungi taburan kesukaran item dan kebolehan calon yang ditentukur (calibrate) dalam unit Logits. Item yang berada disebelah atas ialah item yang lebih sukar manakala item yang berada di sebelah bawah adalah lebih mudah.

Item Variable MapJika taburan item dan calon mempunyai julat yang sama bermakna kesukaran soalan adalah sesuai dengan keupayaan pelajar.

Item Variable Map

Jika taburan item lebih luas daripada taburan pelajar, bermaksud item ujian adalah lebih sukar untuk pelajar.

Jika taburan calon mempunyai julat luas dari taburan item, ini menunjukkan item ujian mudah bagi pelajar.

Item Variable Map

.Kedudukan kebolehan calon diwakili dengan huruf X dan item objektif diwakili dengan nombor seperti 1, 2, 3. Item subjektif dinyatakan dalam bentuk seperti C2a,3 (Kategori 3 atau markah 3 bagi item C2a). Item diplot mengikut kesukarannya.

Item Fit MapRajah ini adalah mengenai kesesuaian item dalam bentuk gambarajah. Item yang berada di luar kawasan antara kedua garis putus-putus dianggap tidak sesuai (misfit).Item-item terkeluar jauh ke sebelah kiri bermaksud item mengukur kemahiran yang sama (redundance), manakala item terkeluar jauh ke sebelah kanan menunjukkan item mengukur kemahiran yang berbeza daripad apa yang dikehendaki.

Item Fit Map

Kedudukan fit item-item dalam rajah ini diplot mengikut nilai Infit Mean Squares masing-masing. Rajah ini harus diteliti bersana dengan jadual Statistik Fit.

Berdasarkan kajian, item/soalan yang baik dan sesuai digunakan untuk sesuatu ujian biasanya mempunyai indeks kesukaran di antara 0.40 hingga 0.60 dan indeks diskriminasinya lebih daripada 0.40.

Tafsiran Output Analisis Quest

Mempelajari, memahami dan berupaya membuat intrepretasi ke atas hasil cetakan fail-fail yang dijana oleh QUEST adalah penting.

Pengalaman yang diperolehi akan dapat membantu anda menyedia dan memastikan item-item yang dibina adalah mempunyai kualiti sewajarnya untuk dijadikan sumber berharga untuk bank item.

Indeks Kesukaran Bilangan calon yang menjawab dengan betul (B)Indek kesukaran = ----------------------------------------------------------- Jumlah calon yang mencuba item/soalan itu (J)

Rumus di atas sesuai untuk bilangan calon yang kecil. Bagi nilangan calon yang besar boleh guna rumus berikut:

Indeks DiskriminasiBT + BRIndeks Kesukaran = ------------- JBT= Jumlah calon dalam kumpulan tinggi menjawab soalan dengan betul BR = Jumlah calon dalam kumpulan rendah menjawab soalan dengan betulJ = Jumlah calon dalam kumpulan tinggi dan rendah

Tafsiran Indek Kesukaran

Indeks Kesukaran

Tafsiran

Item

Keputusan

IK

Indeks Diskriminasi

Indeks diskriminasi mempunyai kuasa atau fungsi membezakan calon-calon daripada kumpulan cerdas dengan kumpulan lemah.

Rumus Indeks DiskriminasiIndeks ini boleh dikira dengan menggunakan rumusberikut: BT - BRIndeks Diskriminasi (ID) = ------------- JBT = Bilangan calon dalam kumpulan tinggi menjawab soalan dengan betul BR = Bilangan calon dalam kumpulan rendah menjawab soalan dengan betulJ = Jumlah calon dalam kedua-dua kumpulan tinggi dan rendah

Tafsiran Indek Diskriminasi

Indeks Diskriminasi

Tafsiran

Item

Keputusan

ID>0.40

Diskriminasi positif yang tinggi

Amat Sesuai diterima

0.20

Berdasarkan kajian, item/soalan yang baik dan sesuai digunakan untuk sesuatu ujian biasanya mempunyai indeks kesukaran di antara 0.40 hingga 0.60 dan indeks diskriminasinya lebih daripada 0.40.

Jadual Statistik Fit

Jadual ini melaporkan Infit dan Outfit Mean Squares dan Infit dan Outfit t.Nilai Mean Squares serta t digunakan untuk menentukan (fit) kesesuaian item. Item dalam jadual ini disusun mengikut nilai Infit Mean Squares. Item yang mempunyai nilai Infit Mean Squares yang lebih daripada 1.3 dianggap sebagai tidak fit.

Jadual Statistik Fit

Bagi kertas peperiksaan yang mempunyai sampel besar (melebihi 800), statistik Mean Squares diutamakan untuk menentukan keadaan fit kerana statistik t lebih bersifat sample dependent.

Nilai Korelasi Piont BiserialNilai ini menunjukkan kesesuai/berpadanan antara item/soalan dengan ujian keseluruhannya. Ia dapat juga membezakan calon yang berkeupayaan dengan yang kurang berupayaan. Nilainya adalah di antara 1.00 hingga +1.00.

Nilai Korelasi Piont Biserial

Nilai point biserial bagi jawapan yang betul adalah positif dan bagi jawapan yang kurang tepat adalah negatif. Nilai point biserial bagi skor item subjektif seharusnya dalam susunan menaik dari skor terendah ke skor yang tertinggi.

P-value atau Nilai Memisah

P-value bagi sesuatu item sepatutnya kurang daripada 0.05. Item-item yang mempunyai p-value yang lebih daripada 0.05 perlu diubahsuai.

Kidmap

Kidmap menerangkan tentang keupayaan setiap calon dengan menunjukkan taburan item-item yang betul dan yang salah.

Item-item yang betul dicatatkan di sebelah kiri manakala item-item yang salah dicatatkan di sebelah kanan kidmap.

Kidmap

Barisan tiga X (XXX) menunjukkan tafsiran keupayaan calon. Item yang boleh dijawab oleh calon ditaburkan dibahagian kiri bawah barisan tiga X ini.

Item yang lebih sukar daripada keupayaan calon ini dicatat pada bahagian kanan kidmap atas barisan tiga X ini.