pendekatan polinomial dan zero crossing untuk parsing kata...

Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Pada Data Rekaman Finger Motion Capture

Widda Ayui Silma – 2207100096Dosen Pembimbing:1) Dr I Ketut Eddy Purnama, S.T., M.T.2) Ahmad Zaini, S.T., M.T.

BahasaBahasa IsyaratIsyarat

Bahasa isyarat adalah salah satu bahasa yang menggunakan komunikasi visual, bahasa tubuh, dan gerak bibir, tanpa menggunakan suara untuk berkomunikasi.

3Image source: http://learnhowtospeaklanguage.com/images/sign-language.jpg

http://learnhowtospeaklanguage.com/images/sign-language.jpg

Bahasa Isyarat untuk tunga rungu berupa komunikasi visual

4

BahasaBahasa IsyaratIsyarat

PenampilPenampiltangan yang digunakan

PosisiPosisikedudukan tangan

TempatTempatbagian badan saat awal & akhir

ArahArahgerakan penampil

FrekuensiFrekuensigerak ulang

Perangkat Penerjemah Bahasa Isyarat

1. Berbasis Sensor2. Berbasis Visi

Komputer

Image source : 1) http://www.ohgizmo.com/wp-content/uploads/2011/03/sign_language.jpg2) http://www.sciencephoto.com/image/351245/large/T4810011-Computer_recognition_of_hand_sign_language-SPL.jpg

2)

1)

5

http://www.ohgizmo.com/wp-content/uploads/2011/03/sign_language.jpg

http://www.sciencephoto.com/image/351245/large/T4810011-Computer_recognition_of_hand_sign_language-SPL.jpg

6

Voice for Voiceless (V4V)Voice for Voiceless (V4V)

Finger Motion Capture

Pengenalan Kata Bahasa Isyarat

Parsing Parsing KataKata BahasaBahasa IsyaratIsyarat

Voice Generator

PenelitianPenelitian BahasaBahasa IsyaratIsyarat

PenelitianPenelitian BahasaBahasa IsyaratIsyaratD e t e k s i K a t a

D e t e k s i K a l i ma t

? P a r s i n g K a t a

7

Rekaman data finger motion capture

8

MetodeMetode yang yang digunakandigunakan

Pendekatan PolinomialPencarian indeks Zero Crossing

9

Metodelogi

10

11

Pengambilan data isyarat denganFinger Motion Capture

Pengklasifikasiandata sensor

Penghitungan nilai rata-rata data sensor

Curve Fitting

Pencarian indeks zero crossing

Parsing data isyarat kalimatberdasarkan indeks zero crossing

Perbandingan nilai data sensor

Pengambilan data isyarat dilakukandengan menggunakanfinger motion captureSoftware yang digunakan adalahSIBI (hasil penelitiansebelumnya)Data yang dihasilkanberupa file denganekstensi .ibi

12

PengambilanPengambilan Data Data IsyaratIsyarat

PengambilanPengambilan Data Data IsyaratIsyarat

Isyarat yang direkam :Gabungan kata yang memiliki gerakan isyarat tanganyang sangat berbeda

Adik sayaAdik saya minum

Gabungan kata yang memiliki kemiripan gerakan jaritangan

Adik kamuAdik kamu sakit

Gabungan kata yang memiliki kemiripan gerakan posisitangan

Saya hausSaya belum haus

13

ContohContoh Data Data IsyaratIsyarat yang yang DihasilkanDihasilkan

KolomKolom [c1[c1……c5] c5] adalah data dari sensor flex untuk lekukan jari jempol sampai kelingking

KolomKolom [c6[c6……c9]c9] adalah data dari sensor accelerometer untuk sumbu x, y, z dan referensi

BarisBaris [r1[r1……r10]r10] menunjukkan urutan data disimpan, yaitu dari awal gerakan isyarat sampai dengan selesai gerakan isyarat tersebut

14

KlasifikasiKlasifikasi DataData

Data sensor Data sensor flexflex Data sensor Data sensor accelerometeraccelerometer

Contoh Data isyarat ‘adik saya’ :

16

PencarianPencarian nilainilai ratarata--rata data rata data sensorsensor

Data rata rata yang dihasilkan berupavektor kolom yang berisi nilai rata-rata dari tiap baris data sensor

17

Data rataData rata--rata sensor rata sensor flexflex Data rataData rata--rata sensor rata sensor accelerometeraccelerometer


18

Curve fittingCurve fitting

Curve fitting atau pencocokan kurvadilakukan dengan metode least square polynomial regressionSistem ini memiliki keterbatasan, yakniuntuk data yang terdiri dari dua kataderajat yang digunakan adalah derajattiga sedangkan data yang terdiri dari tigakata digunakan derajat empat

19

HasilHasil Curve FittingCurve Fitting ((derajatderajat tigatiga) data rata) data rata--rata sensor rata sensor flexflex


20

PencarianPencarian Zero CrossingZero Crossing

Untuk mendapatkan nilai zero cross dilakukan beberapa tahapan penghitungan

21

TahapTahap 1:1: turunan kedua dari nilai y hasil curve fitting data rata-rata sensor flex


23

TahapTahap 2:2: signum dari hasil nilai Tahap 1 data rata-rata sensor flex


24

TahapTahap 1:1: turunan kedua dari nilai y hasil curve fitting data rata-rata sensor flex


23

TahapTahap 4:4: nilai indeks data rata-rata sensor flex adalah nilai x ketika nilai y > 0


26

0 5 10 15 20 25 30 35 40 45 500

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

x

y

Parsing Parsing Data Data IsyaratIsyarat

Berdasarkan nilai indeks zero crossing yang diperolehJika terdapat satu nilai indeks, misalnya i makadata isyarat tersebut di-parsing menjadi duabagian yakni pada baris ke-iJika terdapat dua nilai indeks, misalnya i dan jmaka data isyarat tersebut di-parsing menjaditiga bagian yakni pada baris ke-i dan ke-jData hasil parsing disimpan kembali dalam file dengan ekstensi .ibi

23

Percobaan

24

PencocokanPencocokan katakata hasilhasil parsingparsing

Digunakan software SIBI (hasilpenelitian sebelumnya)Metode yang digunakan pada SIBI adalah Dynamic Time Wrapping (DTW), data template yang paling cocok diukurberdasarkan nilai jarak yang paling minimum

25

Gabungan kata yang memiliki gerakan jari tangan yang sangat berbeda

‘adik saya’‘adik saya minum’

Adik Saya Minum

26

Tabel Hasil Percobaan ’adik saya’

Tabel Hasil Percobaan ’adik saya minum’

Gabungan kata yang memiliki kemiripan gerakan jari tangan

‘adik kamu’‘adik kamu sakit’

Adik Kamu Sakit

29

Tabel Hasil Percobaan ’adik kamu’

Tabel Hasil Percobaan ’adik kamu sakit’

Gabungan kata yang memiliki kemiripan gerakan posisi tangan

‘saya haus’‘saya belum haus’

Saya Belum Haus

32

Tabel Hasil Percobaan ’saya haus’

Tabel Hasil Percobaan ’saya belum haus’

Hasil percobaan parsing kata

35

KesimpulanKesimpulan

1. Metode regresi polinomial dan deteksi zero crossing dapat digunakan untuk mem- parsing data isyarat gabungan kata yang direkam oleh finger motion capture

2. Parsing data isyarat yang terdiri dengan dua kata dasar derajat polinomial yang digunakan adalah tiga, sedangkan untuk data isyarat yang terdiri dari tiga kata dasar derajat polinomial yang digunakan adalah empat.

3. Tingkat akurasi semakin menurun pada data dengan isyarat kata yang memiliki kemiripan gerak, baik gerakan jari tangan ataupun posisi tangan.

4. Akurasi yang dicapai untuk parsing data isyarat yang terdiri dari dua kata adalah 100% untuk 2 gabungan kata dan 85% untuk 1 gabungan kata

5. Akurasi tertinggi yang dicapai untuk parsing data isyarat yang terdiri dari tiga kata adalah 96.67% untuk kalimat ‘adik saya minum’ yang memiliki perbedan signifikan

36

T e r i m a K a s i h

pendekatan polinomial dan zero crossing untuk parsing kata...

Documents