3112 topik 1

29
Alplikasi Teknologi Dalam Pentaksiran Analisis Item Dengan QUEST-2 1

Upload: khairul-asmizar-riguan

Post on 21-Oct-2015

62 views

Category:

Documents


1 download

DESCRIPTION

fdf

TRANSCRIPT

Page 1: 3112 TOPIK 1

Alplikasi Teknologi Dalam Pentaksiran

Analisis Item Dengan QUEST-2

1

Page 2: 3112 TOPIK 1

1. Pengenalan

Penganalisisan item menjadi sebahagian daripada perkara yang penting dalam pengujian dan penilaian. Kesesuaian item yang digunakan dalam ujian akan dapat memainkan peranan membezakan keupayaan calon. Calon-calon yang mencapai suatu tahap pretasi akan diberi pertimbangan untuk proses pemulihan atau pengayaan.

Kualiti sesuatu ujian sebahagiannya bergantung kepada kualiti tiap-tiap item. Sebuah panel adalah perlu untuk menggubal item-item yang baik. Semua item ini perlu melalui pra-ujian terlebih dahulu untuk melihat sama ada item-item itu berfungsi ataupun tidak. Proses memungut data, merumus dan menggunakan maklumat-maklumat daripada item yang diuji dinamakan analisis item. Hoffman(1995) mendefinisikan analisis item sebagai, “meneliti tindak balas calon terhadap tiap-tiap item untuk membuat pertimbangan tentang kualiti item-item tersebut.”

Dengan itu analisis item ialah huraian statistik yang terperinci tentang sesuatu item itu berfungsi semasa ia digunakan dalam sesuatu ujian. Ia juga memberikan maklumat tentang kepayahan item, tarikan relatif setiap pilihan dan sejauh mana item mendiskriminasikan calon-calon berdasarkan sesuatu kriteria. Kriteria yang kerap digunakan ialah markah ujian itu sendiri. Secara umumnya analisis item bertujuan untuk menapis, membuang atau membaiki item-item selepas diuji.

Quest dapat menganalisis item berasaskan teori pengukuran Rasch. Ia mudah digunakan serta dapat membekalkan pelbagai maklumat serentak terhadap ujian objektif(beraneka pilihan) dan ujian subjektif atau kedua-duanya sekali.

1.1 Konsep Asas

Beberapa perisian analisis item telah dibina berdasarkan analisis yang digubal oleh George Rasch(1960) seperti Quest, Iteman dan Bigsteps. Quest ialah salah satu perisian yang menggunakan teori pengukuran Rasch (Item Response Theory) ; dibina oleh ACER, Australia untuk menganalisis item ujian atau soal selidik. Model Rasch menganggap pretasi calon dalam sesuatu ujian dapat diramal mengikut ciri-ciri pembolehubah terpendam (latent variable). Konsep asas teori pengukuran Rasch adalah berlandaskan kepada

A person having a greater ability than another should have the greater probability of solving any item of the type in question, and similarly one item being more difficult than another one means that for any person the probability of solving the second item correctly is the greater one.

Rasch(1960)

2

Page 3: 3112 TOPIK 1

Quest menganggarkan kesukaran item dan kebolehan calon pada satu skala linear. Untuk menjelaskan andaian tersebut, Rajah 1, menunjukkan satu skala yang mengandungi satu item yang kesukarannya sederhana. Peluang calon kebolehan tinggi untuk menjawab item ini dengan betul adalah lebih baik jika dibandingkan dengan peluang calon yang berkebolehan rendah. Calon yang berkebolehan sederhana pula sukar diramal keputusannya.

Rajah 1: Keadaan Ujian Bagi Satu Item

Anggaran digunakan untuk kebolehan kerana tiada ujian yang dapat menentukan kebolehan seseorang calon. Ujian hanya memberi satu petunjuk yang baik tentang kebolehan.

You may wonder why we find an ability ‘estimate’. In fact no test (computerised or pencil-and-paper ) can exactly determine your ability. A test can only give us a good indication of what your ability really is, in other words.

(Linarce 1987)

Quest menghitung anggaran kebolehan calon dan kesukaran item dalam unit Logits. Apabila perbezaan antara anggaran dengan keputusan yang diramalkan itu kecil, data dikatakan memadani model(fit the model). Jika perbezaan itu besar, ada kemungkinan item dan calon tidak bertindak seperti yang diramalkan. Dalam keadaan demikian, skala tidak dapat menggambarkan kebolehan calon dan kesukaran item dengan baik dan data pula dianggap tidak sesuai bagi pengukuran linear.

Secara ringkas, model Rasch menerangkan bahawa kebangkalian seorang calon menjawab sesuatu item itu dengan betul ialah fungsi perbezaan antara kebolehan calon dengan kesukaran item berdasarkan formula matematik:

3

Item of medium difficulty

People of low - Medium - High ability

Page 4: 3112 TOPIK 1

Formulanya diwakili: p=f(b-d) p=kebarangkalian f=fungsib=kebolehan calond=kesukaran item

Analisis Quest memberi anggaran (estimate) item, anggaran calon(case) dan statistik fit yang dapat disampaikan dalam bentuk jadual atau gambar rajah. Quest dapat mengingatkan penggubal item tentang item yang mempunyai jawapan yang salah, tekaan yang betul dan item yang isi kandungannya heterogen. Model Rasch menganggap tekaan sebagai respons yang tidak disangka(unexpected response). Jika item tekaan dikekalkan dalam analisis, ukuran kebolehan calon berkenaan akan menjadi lebih tinggi daripada yang sepatutnya.

1.2 QUEST

Pengguna tidak perlu mengetahui setiap opsyen atau perintah untuk melaksanakan QUEST. Sebagai contoh; melalui fail kawalan(control) dan fail data sudah cukup untuk membolehkan pengguna menganalisis item ujian objektif dan subjektif yang ditadbirkan. Walau bagaimanapun, pengetahuan yang mendalam akan memudahkan pengguna menjalankan kajian yang lebih mendalam lagi.

Quest hanya memerlukan:

Fail data Fail kawalan (control) iaitu perintah untuk melaksanakan

anggaran dan hasil(output)

Data Quest Quest commands

Rajah 2: Struktur Pelaksanaan QUEST

4

Quest output(Rasch estimates fit statisticsSummary tablesCount tablesItem maps with case distributionFit mapsKitmaps Distractor/category analysisReliability indicesCorrelation matrices)

Page 5: 3112 TOPIK 1

1.3 Langkah-langkah Melaksanakan Quest

Apabila fail data dan fail kawalan telah disediakan, kita boleh mengarahkan Quest untuk menganalisis atau menghasilkan output yang dikehendaki dengan mengikut langkah-langkah berikut:

1. Klik pada ikon Quest, apabila Quest memaparkan >Taipkan Submit MT2313.ctl (untuk memulakan analisis)

2. Tunggu beberapa ketika sehingga komputer berhenti membuat anggaran.3. Analisis yang terhasil boleh dilihat dan dicetak dalam sebarang pemprosesan kata.

1.4 Menyediakan Fail Untuk QUEST

Sebelum program Quest dapat menganalisis item-item peperiksaan, Fail Data dan Fail Kawalan perlu disediakan. Fail-fail tersebut dikenali sebagai Input file yang boleh disediakan dengan menggunakan DOS Editor atau pemprosesan perkataan seperti MS Word, professional Write dan lain-lain dan disimpan dalam format ASCII (American Standard Code For International Interchange). Quest akan menggunakan arahan dari Fail Kawalan untuk menganalisis data daripada Fail Data.

Program MS Excel boleh digunakan untuk menyediakan Fail Data kerana ia memudahkan data yang dimasukkan dilihat secara keseluruhan dan bukan satu per satu. Fungsi kiraan automatik MS Excel membolehkan angka giliran calon dan nombor-nombor item dimasukkan dengan cepat. Markah yang lebih daripada 10 boleh dibahagi 2 dan markah 10 boleh digantikan dengan 9 dengan menggunakan formula. Untuk melaksanakan analisis item dengan Quest, fail data yang disediakan dengan Excel ini perlu disimpan dalam format ASCII yang boleh dibaca oleh MS-DOS.

1.5 Menyediakan Fail Data

Fail data mengandungi jawapan calon. Fail data boleh ditaipkan dalam bentuk angka ataupun abjad. Susunan data dalam fail data adalah seperti yang diterangkan dibawah:

Ujian Objektif

Data di bawah mempunyai 23 lajur. Lajur 1 hingga 3 disediakan untuk nombor calon atau nama calon, lajur 4 hingga 23 untuk jawapan yang dipilih oleh calon (sama ada jawapannya betul ataupun salah) bagi semua item dalam ujian.

Contoh:001ABDCBACDBBADDCBDABCD002DDBCCDABDBAACBDBBDCA(Teruskan masukkan data calon-calon yang lain sehingga ke calon yang terakhir)

5

Page 6: 3112 TOPIK 1

Maklumat-maklumat lain seperti jatina, nama sekolah, juga boleh dimasukkan seperti berkut:

MASPMRSMABBDBBCCDBABDCBBAADCB

Sekiranya ada diantara calon yang tidak menjawab soalan, anda perlu mengosongkan sahaja ruang data tersebut dengan menggunakan ‘space bar’. Manakala calon yang menjawab satu soalan dengan menandakan dua jawapan, anda hendaklah menganggap calon tersebut tidak menjawab soalan.

Ujian Subjektif Untuk menyediakan fail data bagi ujian subjektif pula, kita perlu memasukkan markah yang diperolehi oleh calon bagi setiap item atau pecahan item soalan yang ditetapkan. Data dibawah mempunyai 12 lajur. Lajur 1 hingga 3 untuk nombor calon atau nama calon, lajur 4 hingga 12 untuk markah yang diperolehi calon.

Contoh:001167899732002363754212(Teruskan masukkan data calon-calon yang lain sehingga ke calon yang terakhir)

Adalah diingatkan bahawa markah ujian subjektif yang digunakan dalam fail data Quest dihadkan kepada angka 0-9 sahaja. Jika terdapat markah yang lebih daripada 9, markah semua item subjektif terpaksa dibahagikan dengan satu angka supaya hasil bahaginya menjadi kurang daripada 10. Contoh: Ujian subjektif yang ditadbirkan mengandungi 9 item yang markah maksimum bagi setiap item adalah 10, 5, 15, 2, 8, 10, 3, 8, dan 14. Semua item ini hendaklah dibahagikan dengan dua. Dengan itu hasil bahagi markah-markah tersebut menjadi 5, 3, 8, 1, 4, 5, 2, 4 dan 7; markah ini yang dimasukkan sebagai data ujian subjektif dalam fail data.

1.6 Menyediakan Fail Kawalan

Fail Kawalan

Beberapa perintah yang mudah sudah mencukupi untuk melaksanakan Quest. Quest hanya memerlukan satu fail kawalan yang mengandungi perintah untuk melaksanakan analisis data yang ada(berdasarkan fail data). Beberapa perintah Quest dan penjelasan ringkasnya adalah seperti berikut:

6

Page 7: 3112 TOPIK 1

_______________________________________________________________________Perintah Penjelasan_______________________________________________________________________

Title akan memaparkan tajuk mata pelajaran yang hendak dianalisis diatas setiap muka surat dalam fail output.

Set logon Merekodkan semua mesej yang dipaparkan pada skrin.Mesej ini boleh disimpan dalam cakera dipemacu AContoh: >A:MT2313.log

data_file membaca fail data daripada pemacu Acontoh: <<A:MT2313.dat

codes kod yang digunakan untuk jawapan calon seperti yang terdapat dalam fail data. Contoh: ABCD

format kedudukan calon dan item dalam fail data berdasarkan lajurContoh: name1-3 items 4-23

key jawapan sebenar seperti yang dinyatakan dalam PMM atau markah maksimum(bagi ujian subjektif); bergantung kepada bilangan soalan; boleh dalam bentuk angka atau huruf seperti dalam perintah kod. Contoh: BDABDCBABBCA

item_names membaca fail nama item, yang disimpan dalam cakera daripada pemacu A. Contoh: <<A:MT2313.nam

estimate menghitung anggaran kesukaran item/kebolehan calon(kes); iter(iteration) adalah bilangan anggaran yang dilakukan oleh Quest. Contoh: !iter=50

Set width set lebar kertas, jika 132 semua output dipaparkan untuk cetakan132 lajur !page supaya dicetak dalam set width yang dinyatakan

Show !map memaparkan hasil analisis dalam bentuk rajah: variable map, item fit map dan case fit map; boleh disimpan di pemacu A. Contoh: >A:MT2313.map

Show !table memaparkan hasil analisis dalam bentuk jadual: summary tables boleh disimpan dalam pemacu A. Contoh: >AMT2313.tbl

Show counts memaparkan pengiraan jawapan calon bagi setiap item; Contoh: >A:MT2313.itm

Show items !order memaparkan susunan Infit Mean Square berdasarkan calon; Contoh: >A:MT2313.cas

Itanal mamaparkan analisis klasik dan Model Rasch; Contoh: >A:MT2313.ana

kidmap mengilustrasikan pola jawapan setiap calon; Contoh: 1-10>A:MT2313.kim (1-10 menunjukkan kita mahu menyimpan untuk calon 1 hingga 10 sahaja)

quit menamatkan proses analisis; boleh juga digunakan end atau bye

7

Page 8: 3112 TOPIK 1

Contoh Fail kawalan

Ujian Objektif

Title PEPERIKSAAN Mei 2009 Science (OBJEKTIF)Set logon >-SCE3109(O).logdata_file <<SCE3109(O).prncodes "ABCDX"format institut 1-2 calon 3-5 items 6-25* 1 2 3 * 123456789012345678901234567890 23456789key DCBBBABBDDBCBADCCBDD !score=1*item_names << SCE3109(O).nam*delete << SCE3109(O).dei*delete << SCE3109(O).depestimate !iter= 80set width = 132 !page*show item !form=anchor >-SCE3109(O).ancshow item !form=export >-SCE3109(O).expshow !map = 1,2,3 >-SCE3109(O).mapshow !table = 1,2 >-SCE3109(O).tblshow items !order = fit >-SCE3109(O).itfshow cases !order = fit >-SCE3109(O).cafitanal >-SCE3109(O).ana*kidmap 1-5 >-SCE3109(O).kimquit

8

Page 9: 3112 TOPIK 1

Ujian Subjektif

Title PEPERIKSAAN MEI 2009 PISMP SEM 5 ENERGETICS IN CHEMISTRY SCE3109(S) (SUBJEKTIF)Set logon >-SCE3109(S).logdata_file << SCE3109(S).prncodes "0123456789X"format nama 1-3 maktab 4-5 items 6-21* 1 2 3 * 1234567890123456key 1111111111111111 !score=1key 22xx222222222222 !score=2key x3xx33x3x3x33333 !score=3key xxxx44xxx4x44444 !score=4key xxxxxxxxxxxx5555 !score=5key xxxxxxxxxxxxxx66 !score=6key xxxxxxxxxxxxxxx7 !score=7key xxxxxxxxxxxxxxx8 !score=8key xxxxxxxxxxxxxxxx !score=9item_names <<SCE3109(S).nam*delete << SCE3109(S).dei*delete << SCE3109(S).depestimate !iter= 80set width = 120 !page*show item !form=anchor >-SCE3109(S).ancshow item !form=export >-SCE3109(S).expshow !map = 1,2,3 >-SCE3109(S).mapshow !table = 1,2 >-SCE3109(S).tblshow items !order = fit >-SCE3109(S).itfshow cases !order = fit >-SCE3109(S).casitanal >-SCE3109(S).anakidmap 1-37 >-SCE3109(S).kimquit

9

Page 10: 3112 TOPIK 1

Contoh Fail Nama Item

Fail Nama Item (Ujian subjektif)

1 B1a2 B1b3 B2a4 B2b5 B36 C1a7 C1b8 C1c9 C2a10 C2b

2. Hasil Analisis

Setelah Fail Data dan Fail Kawalan disediakan serta disimpan dalam cakera atau folder yang sama. Anda boleh memulakan analisis Quest dengan menaipkan submit A:MT2313.ctl pada tanda > QUEST memulakan analisisnya.

Semua hasil ESTIMATE akan dipaparkan atau disimpan ke dalam cakera melalui perintah(berdasarkan Fail Kawalan anda). Hasil analisis yang diperolehi melalui Fail Kawalan adalah seperti berikut:

10

Page 11: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT -------------------------------------------------------------------------------Case Estimates In fit Order all on all (N = 412 L = 30 Probability Level= .50) ------------------------------------------------------------------------------- NAME |SCORE MAXSCR | ESTIMATE ERROR | INFIT OUTFT INFT OUTFT | | | MNSQ MNSQ t t ------------------------------------------------------------------------------- 257 10 | 8 30 | -1.19 .44 | 1.60 2.29 2.51 2.57 260 109 | 7 30 | -1.40 .46 | 1.57 2.58 2.18 2.71 246 94 | 6 30 | -1.62 .48 | 1.55 2.94 1.88 2.81 269 118 | 9 30 | -1.00 .43 | 1.55 2.36 2.52 2.91 377 151 | 21 30 | 1.00 .43 | 1.51 1.87 2.32 2.11 248 96 | 8 30 | -1.19 .44 | 1.46 2.12 2.00 2.31 245 93 | 10 30 | -.82 .42 | 1.45 1.80 2.31 2.10 251 99 | 9 30 | -1.00 .43 | 1.45 1.94 2.12 2.20 247 9 | 7 30 | -1.40 .46 | 1.43 2.35 1.71 2.42 275 124 | 7 30 | -1.40 .46 | 1.42 2.10 1.69 2.08 3 138 | 24 30 | 1.62 .49 | 1.42 1.46 1.48 1.00 249 97 | 7 30 | -1.40 .46 | 1.41 1.91 1.65 1.80 274 123 | 9 30 | -1.00 .43 | 1.40 1.92 1.92 2.16 343 031 | 11 30 | -.65 .41 | 1.40 1.82 2.20 2.28 272 121 | 12 30 | -.49 .41 | 1.40 1.48 2.30 1.57 402 177 | 22 30 | 1.19 .44 | 1.39 1.79 1.68 1.80 256 10 | 7 30 | -1.40 .46 | 1.36 2.29 1.48 2.34 261 110 | 7 30 | -1.40 .46 | 1.36 1.64 1.48 1.39 28 163 | 23 30 | 1.39 .46 | 1.35 1.36 1.41 .90 264 113 | 7 30 | -1.40 .46 | 1.35 2.31 1.44 2.36 151 127 | 22 30 | 1.19 .44 | 1.35 1.55 1.53 1.35 265 114 | 11 30 | -.65 .41 | 1.35 1.63 1.95 1.85 253 102 | 4 30 | -2.15 .56 | 1.34 3.49 .97 2.60 345 033 | 11 30 | -.65 .41 | 1.34 1.32 1.91 1.06 234 046 | 23 30 | 1.39 .46 | 1.34 1.65 1.36 1.41 252 100 | 7 30 | -1.40 .46 | 1.33 1.77 1.37 1.59 258 107 | 7 30 | -1.40 .46 | 1.33 1.72 1.36 1.52 277 12 | 7 30 | -1.40 .46 | 1.33 2.03 1.35 1.99 271 120 | 11 30 | -.65 .41 | 1.31 1.57 1.77 1.71 164 106 | 19 30 | .64 .41 | 1.31 1.27 1.71 .93 276 125 | 8 30 | -1.19 .44 | 1.30 1.44 1.40 1.13 270 119 | 5 30 | -1.87 .51 | 1.30 2.20 .99 1.80 255 104 | 7 30 | -1.40 .46 | 1.29 1.84 1.22 1.71 287 009 | 22 30 | 1.19 .44 | 1.29 1.19 1.30 .59 213 024 | 20 30 | .82 .42 | 1.29 1.19 1.51 .66 262 111 | 3 30 | -2.51 .63 | 1.28 3.65 .73 2.33 387 161 | 22 30 | 1.19 .44 | 1.28 1.80 1.27 1.80 254 103 | 4 30 | -2.15 .56 | 1.28 1.48 .82 .86 273 122 | 11 30 | -.65 .41 | 1.27 1.55 1.58 1.66 140 115 | 20 30 | .82 .42 | 1.27 1.28 1.43 .90 263 112 | 6 30 | -1.62 .48 | 1.27 1.86 1.02 1.57 232 044 | 22 30 | 1.19 .44 | 1.26 1.16 1.18 .52 278 154 | 6 30 | -1.62 .48 | 1.24 1.63 .94

11

Calon yang tidak fit. Teliti kidmap untuk melihat pola jawapan.

Page 12: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT --------------------------------------------------------------------------------Item Estimates (Thresholds) In fit Order all on all (N = 412 L = 30 Probability Level= .50) -------------------------------------------------------------------------------- ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | 1 | MNSQ MNSQ t t --------------------------------------------------------------------------------3 item 3 | 176 412 | 1.32 | 1.38 2.05 10.7 10.0 | | .11| | | |24 item 24 | 200 411 | 1.05 | 1.21 1.69 6.2 7.6 | | .11| | | |12 item 12 | 289 412 | .03 | 1.19 1.21 3.2 2.2 | | .12| | | |23 item 23 | 358 412 | -1.17 | 1.17 1.12 1.5 .8 | | .16| | | |26 item 26 | 297 412 | -.08 | 1.16 1.15 2.5 1.5 | | .12| | | |11 item 11 | 152 412 | 1.59 | 1.12 1.57 3.0 5.5 | | .11| | | |18 item 18 | 281 412 | .13 | 1.11 1.11 2.0 1.2 | | .11| | | |8 item 8 | 303 412 | -.17 | 1.08 1.10 1.2 1.0 | | .12| | | |13 item 13 | 256 412 | .44 | 1.07 1.05 1.6 .7 | | .11| | | |7 item 7 | 150 412 | 1.61 | 1.06 1.14 1.6 1.5 | | .11| | | |4 item 4 | 279 412 | .16 | 1.03 1.04 .5 .5 | | .11| | | |14 item 14 | 162 412 | 1.47 | 1.02 1.21 .7 2.3 | | .11| | | |17 item 17 | 266 412 | .32 | 1.01 1.01 .3 .1 | | .11| | | |30 item 30 | 317 411 | -.39 | 1.00 .96 .0 -.3 | | .13| | | |================================================================================

12

Item tidak fit (>1.3)

Rujuk MT5191PO.map(b)

Page 13: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT --------------------------------------------------------------------------------Item Estimates (Thresholds) In fit Order all on all (N = 412 L = 30 Probability Level= .50) -------------------------------------------------------------------------------- ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | 1 | MNSQ MNSQ t t -------------------------------------------------------------------------------- 15 item 15 | 248 412 | .53 | .97 .98 -.7 -.2 | | .11|28 item 28 | 208 412 | .97 | .95 .94 -1.6 -.7 | | .11| | | |6 item 6 | 200 412 | 1.06 | .95 .90 -1.7 -1.3 | | .11| | | |29 item 29 | 282 412 | .12 | .93 .92 -1.3 -.9 | | .12| | | |================================================================================ *****Output Continues****

13

Item disusun mengikut nilai infit MNSQ

Page 14: 3112 TOPIK 1

PERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT -------------------------------------------------------------------------------Item Estimates (Thresholds) all on all (N = 412 L = 30 Probability Level= .50) ------------------------------------------------------------------------------- 4.0 | | X | | | | | | 3.0 X | | | | XX | | XXXXXXXX | | 2.0 | XXXXXXXXXX | | XXXXXXXXXXXXXXXX | 7 11 XXXXXXXXXXXXXXXXXX | 14 | 3 XXXXXXXXXXXXXX | | 6 24 1.0 XXXXXXXXXXXXX | 28 XXXXXXXXXXXXX | XXXXXXXXXXXXX | | 15 XXXXXXXX | 13 XXX | 17 XXXX | 4 18 .0 XX | 12 27 29 | 2 25 26 | 5 8 | X | 30 | XX | 1 20 | -1.0 X | 22 | 10 16 X | 23 XXXX | 19 | 21 X | 9 | X | -2.0 | X | | | | | | | -3.0 |------------------------------------------------------------------------------- Each X represents 3 students===============================================================================

14

Item yang lebih sukar

Calon berkebolehan tinggi

Item No. 11

Page 15: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT --------------------------------------------------------------------------------------------------------------------------------------Item Fit 8/ 7/ 4 16:20 all on all (N = 412 L = 30 Probability Level= .50) --------------------------------------------------------------------------------------------------------------------------------------INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60----------+--------+--------+--------+--------+--------+--------+--------+--------+--------+--------+------+--------+--------+--------

1 item 1 . * | . 2 item 2 . * | . 3 item 3 . | . * 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 * . | . 10 item 10 * . | . 11 item 11 . | * . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . | * . 15 item 15 . * | . 16 item 16 * | . 17 item 17 . |* . 18 item 18 . | * . 19 item 19 * . | . 20 item 20 . * | . 21 item 21 * . | . 22 item 22 . * | . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * .====================================================================================================================================

15

Item yang Fit

Item tidak fit (Berdiskriminasi rendah). Mungkin tidak mengikut JPU

Item tidak fit (Berdiskriminasi tinggi). Mungkin item yang “redundant”

Page 16: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT --------------------------------------------------------------------------------Item Analysis Results for Observed Responses 8/ 7/ 4 16:20 all on all (N = 412 L = 30 Probability Level= .50) -------------------------------------------------------------------------------- Item 1: item 1 Infit MNSQ = .87 Disc = .52 Categories A [1] B [0] C [0] D [0] missing Count 333 22 26 31 0Percent (%) 80.8 5.3 6.3 7.5Pt-Biserial .52 .00 -.13 -.66p-value .000 .000 .000 .000Mean Ability 1.20 .95 .50 -1.05 NAStDev Ability .68 .78 .82 .80 NA Step Labels 1 Thresholds -.65Error .14................................................................................ Item 2: item 2 Infit MNSQ = .89 Disc = .51 Categories B [0] C [0] D [1] [0] missing Count 18 95 298 1 0Percent (%) 4.4 23.1 72.3 .2Pt-Biserial -.11 -.49 .51 -.01p-value .000 .000 .000 .000Mean Ability .50 .17 1.26 .64 NAStDev Ability .78 1.19 .63 .00 NA Step Labels 1 Thresholds -.10Error .12................................................................................ Item 3: item 3 Infit MNSQ = 1.38 Disc = -.16 Categories A [0] B [0] C [1] D [0] missing Count 21 119 176 96 0Percent (%) 5.1 28.9 42.7 23.3Pt-Biserial .02 .21 -.16 -.06p-value .000 .000 .000 .000Mean Ability 1.08 1.29 .82 .85 NAStDev Ability 1.17 .68 1.03 .82 NA Step Labels 1 Thresholds 1.32Error .11

16

Harus +ve bagi jawapan dan –ve bagi distraktor

Tertinggi bagi jawapan

Jawapan

Indeks Diskriminasi

Infit MNSQ

Threshold

A tidak berfungsi.

A,B & C bermasalah.

Page 17: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 PENGAJIAN MATEMATIK MT5191P -SUBJEKTIF --------------------------------------------------------------------------------Item Analysis Results for Observed Responses all on all (N = 412 L = 12 Probability Level= .50) -------------------------------------------------------------------------------- Item 1: item 1 Infit MNSQ = .76 Disc = .57 Categories 0 [0] 1 [1] 2 [2] 3 [3] 4 [4] missing Count 4 2 20 104 268 0Percent (%) 1.0 .5 4.9 25.2 65.0 Pt-Biserial -.22 -.11 -.17 -.14 .42 p-value .000 .000 .000 .000 .000 Mean Ability -.62 -.29 .02 .23 .46 NAStDev Ability .46 .34 .41 .33 .38 NA Step Labels 1 2 3 4 Thresholds -.84 -.77 -.62 -.08Error .28 .27 .27 .22................................................................................ Item 2: item 2 Infit MNSQ = .98 Disc = .35 Categories 0 [0] 1 [1] 2 [2] 3 [3] [0] missing Count 17 44 120 227 4 0Percent (%) 4.1 10.7 29.1 55.1 1.0Pt-Biserial -.19 -.23 -.08 .30 -.02p-value .000 .000 .000 .000 .000Mean Ability -.06 .07 .28 .44 .24 NAStDev Ability .49 .47 .43 .37 .43 NA Step Labels 1 2 3 Thresholds -1.25 -.60 .21Error .25 .23 .18................................................................................ Item 3: item 3 Infit MNSQ = 1.10 Disc = .46 Categories 0 [0] 1 [1] 2 [2] 3 [3] 4 [4] 5 [5] 6 [6] missing Count 19 13 60 55 59 98 108 0Percent (%) 4.6 3.2 14.6 13.3 14.3 23.8 26.2Pt-Biserial -.26 -.09 -.39 .08 .07 .06 .30p-value .000 .000 .000 .000 .000 .000 .000Mean Ability -.16 .13 -.04 .40 .39 .37 .55 NAStDev Ability .54 .26 .42 .32 .30 .33 .41 NA Step Labels 1 2 3 4 5 6 Thresholds -.97 -.68 -.19 .08 .32 .89Error .25 .23 .18 .16 .16 .15

17

Susunan Menaik?

Skor

Page 18: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT5191P -OBJEKTIF Item Estimates (Thresholds) 8/ 7/ 4 16:20 all on all (N = 412 L = 30 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------------------------------------Summary of item Estimates=========================Mean .00SD .93SD (adjusted) .92Reliability of estimate .98 Fit Statistics=============== Infit Mean Square Outfit Mean Square Mean .97 Mean 1.01 SD .17 SD .32 Infit t Outfit t Mean .10 Mean .30 SD 3.02 SD 2.96 0 items with zero scores 0 items with perfect scores=============================================================================================PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT ----------------------------------------------------------------------------------------------------------------------------------------------------------------Case Estimates 8/ 7/ 4 16:20 all on all (N = 412 L = 30 Probability Level= .50) ---------------------------------------------------------------------------------------------------------------------------------------------------------------- Summary of case Estimates========================= Mean .97SD .93SD (adjusted) .80Reliability of estimate .75 Fit Statistics=============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.01 SD .18 SD .43 Infit t Outfit t Mean .03 Mean .05 SD .86 SD .85 0 cases with zero scores 0 cases with perfect scores

18

Kebolehpercayaan item ujian

Bil. calon Bil. Item

Antara +1.3 dgn -0.8

Antara +3 dgn -3

Kebolehan calon

Kebolehpercayaan

Kesahan

Antara +1.3 dgn -0.8

Antara +3 dgn -3

Kesahan

Page 19: 3112 TOPIK 1

PEPERIKSAAN AKHIR SEMESTER MEI 2004 KDPM SEMESTER 5 PENGAJIAN MATEMATIK MT --------------------------------------------------------- K I D M A P----------------------------------------------------- Candidate: 3 ability: 1.62 group: all fit: 1.42 scale: all % score: 80.00 -------------------------Harder Achieved ------------------------------------------------Harder Not Achieved ------------------ | | | | | | | | | | | | | |.................................................................... | | | | | | | | |XXX| 11 7 | | 14 | | 3 | | .................................................................... 6 | | 28 24 | | | | | | | | 15 | | 13 | | 17 | | | | 29 27 | | 4(A) 18(A) 12 | | 25(A) 2 | | 26(D) 8 | | 5(C) | | 30 | | | | 1 | | 20(C) | | 22 | | 16 | | 10 | | 23 | | 19 | | 21 | | 9 | |-------------------------Easier Achieved ------------------------------------------------Easier Not Achieved ------------------

19

Paras Kebolehan Calon

Salah kerana cuai ?

Page 20: 3112 TOPIK 1

20

Page 21: 3112 TOPIK 1

21

Page 22: 3112 TOPIK 1

22