sistem deteksi ketepatan pembacaan surah al-kautsar

9
Available at https://jtsiskom.undip.ac.id (3 October 2019) DOI:10.14710/jtsiskom.8.1.2020.27-35 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 27-35 Sistem deteksi ketepatan pembacaan surah al-Kautsar berbasis kata menggunakan mel frequency cepstrum coefficient dan cosine similarity Recites fidelity detection system of al-Kautsar verse based on words using mel frequency cepstrum coefficients and cosine similarity Jans Hendry 1) , Aditya Rachman 2) , Dodi Zulherman 2*) 1) Program Studi Teknik Elektro, FTTE, Institut Teknologi Telkom Purwokerto Jl. D. I. Panjaitan No. 128, Purwokerto, Indonesia 53147 2) Program Studi Teknik Telekomunikasi, FTTE, Institut Teknologi Telkom Purwokerto Jl. D. I. Panjaitan No. 128, Purwokerto, Indonesia 53147 Cara sitasi: J. Hendry, A. Rachman, and D. Zulherman, "Sistem deteksi ketepatan pembacaan surah al-Kautsar berbasis kata menggunakan mel frequency cepstrum coefficient dan cosine similarity," Jurnal Teknologi dan Sistem Komputer, vol. 8, no. 1, pp. 27-35, 2020. doi: 10.14710/jtsiskom.8.1.2020.27-35, [Online]. Abstract - In this study, a system has been developed to help detect the accuracy of the reading of the Koran in the Surah Al-Kautsar based on the accuracy of the number and pronunciation of words in one complete surah. This system is very dependent on the accuracy of word segmentation based on envelope signals. The feature extraction method used was Mel Frequency Cepstrum Coefficients (MFCC), while the Cosine Similarity method was used to detect the accuracy of the reading. From 60 data, 30 data were used for training, while the rest were for testing. From each of the 30 training and test data, 15 data were correct readings, and 15 other data were incorrect readings. System accuracy was measured by word-for-word recognition, which results in 100 % of recall and 98.96 % of precision for the training word data, and 100 % of recall and 99.65 % of precision for the test word data. For the overall reading of the surah, there were 15 correct readings and 14 incorrect readings that were recognized correctly. Keywords – speech signal recognition; Al-Kautsar recite; Mel coefficients; cosine similarity; MFCC Abstrak - Dalam penelitian ini telah dibuat sistem bantu untuk mendeteksi ketepatan pembacaan Al- Qur’an pada surah Al-Kautsar berdasarkan ketepatan jumlah dan pelafalan kata dalam satu surah lengkap. Sistem ini sangat tergantung dengan ketepatan segmentasi kata yang berdasarkan envelope sinyal. Metode ekstraksi ciri yang digunakan adalah Mel Frequency Cepstrum Coefficients (MFCC), sedangkan metode Cosine Similarity digunakan untuk deteksi ketepatan pembacaannya. Dari 60 data, 30 data digunakan untuk pelatihan, sedangkan sisanya untuk pengujian. Dari masing-masing 30 data latih dan uji, 15 data adalah pembacaan benar dan 15 data lain adalah pembacaan salah. Akurasi sistem diukur atas pengenalan kata demi kata, yaitu menghasilkan recall dan presisi 100 % dan 98,96 % untuk data kata latih serta 100 % dan 99,65 % untuk data kata uji. Dalam hal bacaan keseluruhan surah, ada 15 bacaan benar dan 14 bacaan salah yang dikenali dengan tepat. Kata kunci – pengenalan sinyal wicara; pembacaan Al- Kautsar; koefisien Mel; cosine similarity; MFCC I. PENDAHULUAN Al-Qur’an merupakan kitab suci umat Islam, dimana di dalamnya terdapat ajaran, perintah dan larangan dalam beribadah maupun menjalani kehidupan. Tiap ayat dalam kitab suci Al-Qur’an harus dibaca dengan cara yang tepat dan benar agar maknanya tersampaikan dengan tepat, selain menghasilkan alunan yang bagus dan indah. Aspek ketepatan pembacaan Al-Qur’an yang perlu diperhatikan agar arti dan makna yang disampaikan tidak keliru adalah pelafalan, tajwid, dan panjang pendeknya bacaan. Ketidaktepatan cara membaca berdasarkan ketiga aspek tersebut dapat menyebabkan kesalahan dalam pemaknaan tiap ayat dalam kitab suci Al-Qur’an. Dalam pembelajaran pembacaan ayat-ayat Al-Qur’an, diperlukan suatu alat bantu (sistem) yang dapat mendeteksi apakah pembacaan Al-Qur’annya sudah benar atau salah [1]. Sebuah sistem klasifikasi atau pengenal pembaca (reciter) ayat Al-Quran secara otomatis telah dikembangkan dalam [2]. Sistem tersebut dirancang untuk mengenali subyek yang sedang membaca ayat Al- Quran. Metode ekstraksi ciri (feature extraction) yang digunakan adalah MFCC, sedangkan metode klasifikasinya adalah SVM dengan variasi parameter kernel dan hyperparameter. Sistem tersebut menggunakan 2135 rekaman suara dari 7 reciter Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Submitted: 29 July 2019; Revised: 25 September 2019; Accepted: 7 October 2019; Published: 31 January 2020 *) Penulis korespondensi (Dodi Zulherman) Email: [email protected]

Upload: others

Post on 23-Oct-2021

19 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Sistem deteksi ketepatan pembacaan surah al-Kautsar

Available at https://jtsiskom.undip.ac.id (3 October 2019)DOI:10.14710/jtsiskom.8.1.2020.27-35

Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 27-35

Sistem deteksi ketepatan pembacaan surah al-Kautsar berbasis katamenggunakan mel frequency cepstrum coefficient

dan cosine similarity

Recites fidelity detection system of al-Kautsar verse based on words using melfrequency cepstrum coefficients and cosine similarity

Jans Hendry1), Aditya Rachman2), Dodi Zulherman2*) 1)Program Studi Teknik Elektro, FTTE, Institut Teknologi Telkom Purwokerto

Jl. D. I. Panjaitan No. 128, Purwokerto, Indonesia 531472)Program Studi Teknik Telekomunikasi, FTTE, Institut Teknologi Telkom Purwokerto

Jl. D. I. Panjaitan No. 128, Purwokerto, Indonesia 53147

Cara sitasi: J. Hendry, A. Rachman, and D. Zulherman, "Sistem deteksi ketepatan pembacaan surah al-Kautsarberbasis kata menggunakan mel frequency cepstrum coefficient dan cosine similarity," Jurnal Teknologi danSistem Komputer, vol. 8, no. 1, pp. 27-35, 2020. doi: 10.14710/jtsiskom.8.1.2020.27-35, [Online].

Abstract - In this study, a system has been developed tohelp detect the accuracy of the reading of the Koran inthe Surah Al-Kautsar based on the accuracy of thenumber and pronunciation of words in one completesurah. This system is very dependent on the accuracyof word segmentation based on envelope signals. Thefeature extraction method used was Mel FrequencyCepstrum Coefficients (MFCC), while the CosineSimilarity method was used to detect the accuracy ofthe reading. From 60 data, 30 data were used fortraining, while the rest were for testing. From each ofthe 30 training and test data, 15 data were correctreadings, and 15 other data were incorrect readings.System accuracy was measured by word-for-wordrecognition, which results in 100 % of recall and 98.96% of precision for the training word data, and 100 %of recall and 99.65 % of precision for the test worddata. For the overall reading of the surah, there were15 correct readings and 14 incorrect readings thatwere recognized correctly.

Keywords – speech signal recognition; Al-Kautsarrecite; Mel coefficients; cosine similarity; MFCC

Abstrak - Dalam penelitian ini telah dibuat sistembantu untuk mendeteksi ketepatan pembacaan Al-Qur’an pada surah Al-Kautsar berdasarkan ketepatanjumlah dan pelafalan kata dalam satu surah lengkap.Sistem ini sangat tergantung dengan ketepatansegmentasi kata yang berdasarkan envelope sinyal.Metode ekstraksi ciri yang digunakan adalah MelFrequency Cepstrum Coefficients (MFCC),sedangkan metode Cosine Similarity digunakan untukdeteksi ketepatan pembacaannya. Dari 60 data, 30data digunakan untuk pelatihan, sedangkan sisanyauntuk pengujian. Dari masing-masing 30 data latih

dan uji, 15 data adalah pembacaan benar dan 15 datalain adalah pembacaan salah. Akurasi sistem diukuratas pengenalan kata demi kata, yaitu menghasilkanrecall dan presisi 100 % dan 98,96 % untuk data katalatih serta 100 % dan 99,65 % untuk data kata uji.Dalam hal bacaan keseluruhan surah, ada 15 bacaanbenar dan 14 bacaan salah yang dikenali dengantepat.

Kata kunci – pengenalan sinyal wicara; pembacaan Al-Kautsar; koefisien Mel; cosine similarity; MFCC

I. PENDAHULUAN

Al-Qur’an merupakan kitab suci umat Islam, dimanadi dalamnya terdapat ajaran, perintah dan larangandalam beribadah maupun menjalani kehidupan. Tiapayat dalam kitab suci Al-Qur’an harus dibaca dengancara yang tepat dan benar agar maknanya tersampaikandengan tepat, selain menghasilkan alunan yang bagusdan indah. Aspek ketepatan pembacaan Al-Qur’an yangperlu diperhatikan agar arti dan makna yangdisampaikan tidak keliru adalah pelafalan, tajwid, danpanjang pendeknya bacaan. Ketidaktepatan caramembaca berdasarkan ketiga aspek tersebut dapatmenyebabkan kesalahan dalam pemaknaan tiap ayatdalam kitab suci Al-Qur’an. Dalam pembelajaranpembacaan ayat-ayat Al-Qur’an, diperlukan suatu alatbantu (sistem) yang dapat mendeteksi apakahpembacaan Al-Qur’annya sudah benar atau salah [1].

Sebuah sistem klasifikasi atau pengenal pembaca(reciter) ayat Al-Quran secara otomatis telahdikembangkan dalam [2]. Sistem tersebut dirancanguntuk mengenali subyek yang sedang membaca ayat Al-Quran. Metode ekstraksi ciri (feature extraction) yangdigunakan adalah MFCC, sedangkan metodeklasifikasinya adalah SVM dengan variasi parameterkernel dan hyperparameter. Sistem tersebutmenggunakan 2135 rekaman suara dari 7 reciter

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Submitted: 29 July 2019; Revised: 25 September 2019; Accepted: 7 October 2019; Published: 31 January 2020

*) Penulis korespondensi (Dodi Zulherman)Email: [email protected]

Page 2: Sistem deteksi ketepatan pembacaan surah al-Kautsar

terkenal dari Arab Saudi dengan pembagian data latihdan uji yakni 80 % dan 20 %. Sistem dapat mengenalreciter dengan akurasi 90 % untuk data uji dan 40 % -50 % untuk data lain di luar data uji.

Koefisien Mel umumnya digunakan untuk ekstraksiciri sinyal wicara (speech signal). Metode ini efektifuntuk ekstraksi ciri dari suara pembacaan (recite) ayat-ayat dalam Al-Quran [2], [3]. Pengembangan sistemdeteksi ketepatan pembacaan ayat-ayat dalam Quranyang bekerja secara otomatis berdasarkan pengenalanpola (pattern recognition) masih sangat dimungkinkan,bahkan masih menjadi fokus penelitian yang terbukalebar [4].

Kajian terdahulu belum menghadirkan sistemotomatis yang secara lengkap dan sistematis untukmengenali ketepatan pembacaan ayat-ayat dalam Al-Quran. Penelitian ini bertujuan mengembangkan sistemdeteksi otomatis ketepatan pembacaan ayat Al-Quranberdasarkan ekstraksi ciri dari setiap kata. Surah yangdipilih adalah surah Al-Kautsar yang memiliki 3 kalimatdengan jumlah total kata sebanyak 10 dan durasirekaman bacaan sekitar 25 - 35 detik. Metode ekstraksiciri yang digunakan adalah MFCC dengan pemodelanberdasarkan perbedaan frekuensi yang direkam olehtelinga manusia sehingga mampu merepresentasikan cirisinyal wicara seperti representasi manusia [5]-[8],sedangkan pengklasifikasinya menggunakan metodecossine similarity yang dapat mengukur jarak antara duavektor berdasarkan besar sudut kedua vektor, bukanberdasarkan magnitudo vektor seperti dalam [9], [10].Kelebihan dari sistem dalam penelitian ini adalah hanyamenggunakan satu rekaman pembacaan oleh expert(ustadz) berjenis kelamin pria.

Keberhasilan sistem ini sangat dipengaruhi olehkinerja masing-masing tahapan yang merupakan bagiandari speech signal processing (pengolahan sinyalwicara). Untuk itu, pemilihan metode yang tepat untuktiap langkah tersebut sangat diperlukan. Metode yangsederhana tapi akurat adalah pilihan dalam kajian inisehingga diperoleh sistematika metode dengan akurasiyang tinggi dan waktu proses yang cepat. Di dalampenelitian ini, ketepatan diuji berdasarkan ciri (feature)masing-masing kata dari surah Al-Kautsar dimana kata-kata tersebut didapatkan dari hasil segmentasi denganmelakukan teknik pemotongan kata demi kata dalamsebuah kalimat atau frasa. Metode segmentasi yangdigunakan adalah envelope detection yang jugabertujuan untuk menghilangkan efek gema (reverberasi)dan derau (noise).

II. METODE PENELITIAN

Penelitian ini menggunakan perangkat lunak Matlabsebagai alat bantu simulasi dan sebuah laptop. Datayang digunakan dibagi menjadi dua, yaitu data latih dandata uji. Seluruh data merupakan rekaman daripembacaan surah Al-Kautsar. Sinyal template berupasebuah rekaman dari seorang expert (ustadz), sedangkandata latih dan uji berupa rekaman dari mahasiswaInstitut Teknologi Telkom Purwokerto.

Rancangan sistem ditunjukkan oleh Gambar 1 yangmenunjukkan langkah-langkah pembuatan ciri templatedan Gambar 2 yang menunjukkan diagram alirpengujian sistem. Sinyal template yang digunakanhanya satu sinyal bertipe *.wav yang direkam dariseorang expert yang juga seorang ulama. Prosesperekaman dilakukan dalam kondisi hampir tidak adaderau (noise). Pada dasarnya sinyal wicara terbagi atas 3bagian, yaitu silence, unvoiced, dan voiced. Sinyalsilence merupakan sinyal ketika tidak ada wicara yangdihasilkan atau daya sinyalnya nol. Sinyal unvoicedmerupakan sinyal ketika pita wicara tidak bergetarsehingga menghasilkan bentuk gelombang wicaraperiodik atau aperiodik yang berdaya rendah. Sinyalvoiced merupakan bagian sinyal yang memiliki dayalebih besar dari kedua bagian tersebut [3].

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 28

Mulai

Sinyal Model

Prapengolahan

Pemotongan Ayat

Pemotongan Kata

1

1

Pre-emphasize

Ekstraksi Ciri

Simpan Ciri Model(template)

Selesai

Gambar 1. Ekstraksi ciri sinyal template

Sinyal Suara

Prapengolahan

Pemotongan Ayat

Pemotongan Kata

Pre-emphasize

Ekstraksi Ciri

Menghitung Jarak

Mulai

Selesai

Load Model (Template)

Print: Sudah Tepat

Print: Tidak Tepat

Jarak �Nilai Ambang Batas

Ya Tidak

Gambar 2. Proses pengujian sistem

Page 3: Sistem deteksi ketepatan pembacaan surah al-Kautsar

A. Pengumpulan dan pengelompokan data

Perekaman penutur dilakukan secara real timemenggunakan mikropon dengan frekuensi cupliksebesar 44.100 Hz dan berformat *.wav. Data tuturmenggunakan 10 identitas penutur berbeda denganmasing-masing membaca surah Al-Kautsar, baik laki-laki maupun perempuan, yang telah fasih membaca Al-Qur’an maupun belum. Setiap penutur direkamsebanyak 6 kali perekaman, 3 perekaman pembacaansecara benar, dan 3 perekaman pembacaan yang secarasengaja disalahkan hanya pada salah satu kata dalamsurah Al-Kautsar sehingga total dari data rekamanterdapat 60 data pembacaan dengan 30 bacaan benardan 30 bacaan salah.

Dari 60 data, dibagi menjadi 2 kelompok, yaitu datapelatihan dan data pengujian. Terdapat 15 data bacaanbenar dan 15 data bacaan salah yang dipilih secara acakdigunakan untuk data pelatihan, sementara sisanyadigunakan sebagai data pengujian. Dengan demikian,terdapat 30 data campuran benar dan salah untukpelatihan dan 30 data campuran benar dan salah lainnyauntuk pengujian. Pelatihan yang dimaksud dalampenelitian ini adalah langkah eksperimen dalammenentukan nilai-nilai parameter yang digunakan didalam sistem untuk mendapatkan hasil yang optimal.

B. Prapengolahan

Bagian ini adalah tahap pengkondisian sinyal.Seluruh sinyal terlebih dahulu melalui tahap ini yangterdiri atas 3 proses, yaitu centering, normalisasi, danend-point detection (EPD). Centering bertujuan untukmembuang komponen offset atau bias sehingga baselineseluruh sinyal akan berada pada sumbu x [11].Normalisasi membagi seluruh sinyal dengan nilaimaksimum mutlaknya (absolute) sehingga sinyal yangdiperoleh berada pada range -1 Volt sampai +1 Voltseperti dalam [12]. EPD memotong sinyal wicara yangdiawali dengan komponen voiced paling awal hinggakomponen voiced paling akhir dari sebuah sinyal utuh.Metode yang digunakan adalah spektrogram dengannilai ambang batas seperti dalam [13] dan zero crossingrate (ZCR) seperti dalam [14]. Walaupun sinyal yangdirekam sudah memenuhi kriteria centering dannormalisasi, namun untuk mengantisipasi perbedaanspesifikasi alat perekam, maka kedua langkah tersebuttetap diimplementasikan pada sistem ini.

C. Pemotongan ayat dan kata

Surah Al-Kautsar terbagi atas 3 ayat dimana masing-masing ayat memiliki jumlah kata yang berbeda. Ayatpertama terdiri atas 3 kata, ayat kedua terdiri dari 3 kata,dan ayat terakhir tersusun atas 4 kata. Ketiga ayatdisegmentasi terlebih dahulu dan tiap kata dalam tiap ayatjuga disegmentasi. Segmentasi yang dimaksud adalahekstraksi (pemotongan) ayat dan kata. Segmentasi inidilakukan dengan menggunakan metode envelope.Metode yang dipilih bekerja dengan cara mencari nilaimaksimum dalam panjang frame tertentu. Nilai tersebut

dipilih menjadi titik-titik pembentuk envelope. Lebar frameyang digunakan adalah 1501 titik, sedangkan nilai ambangbatasnya adalah 0,01. Kedua nilai tersebut didapatkanberdasarkan eksperimen.

D. Pre-emphasize

Proses ini pada dasarnya merupakan high pass filter(HPF) digital yang tujuannya untuk memperbesarmagnitudo sinyal pada frekuensi tinggi. Suara manusialebih dominan pada frekuensi rendah sehingga deraumenjadi dominan pada frekuensi tinggi. Untuk mengurangipengaruh derau, maka terlebih dahulu energi sinyal padafrekuensi tinggi diperkuat menggunakan filter ini sebelummengalami proses pengolahan lebih lanjut. Filter FIR inidiekspresikan dengan Persamaan 1 [15]. Parameter s(n)dan s’(n) adalah sinyal sebelum dan sesudah pre-emphasize. Proses ini dikenai ke setiap kata yang berhasildipotong. Nilai yang digunakan adalah 15/16 atau sekitar0,9375. Filter ini biasanya diikuti dengan filter de-emphasize yang berfungsi kebalikan dari filter pre-emphasize.

s ' ( n )=s ( n )−α ×s (n−1) (1)

Kedua filter tersebut memiliki tanggapan frekuensiseperti yang ditunjukkan oleh Gambar 3. Tanggapanfrekuensi filter pre-emphasize menunjukkan bahwa iniadalah tanggapan filter berjenis high pass filter. Dalampenelitian ini, filter de-emphasize tidak digunakankarena fungsinya adalah merekonstruksi sinyal yangterkena filter.

E. Ekstraksi Ciri

Ekstraksi ciri dikenai pada tiap-tiap kata yangberhasil disegmentasi. Metode ekstraksi ciri yangdigunakan adalah MFCC. Metode ini memberikan ciriberupa larik berisi koefisien cepstrum atau koefisienMel. Tiap kata memiliki ciri berukuran 1 x 13, namunhanya 12 elemen larik yang digunakan yakni elemenkedua hingga ketiga belas. Elemen pertama merupakankomponen offset atau bagian sinyal yang memilikienergi sangat besar bila dibandingkan dengan keduabelas elemen lainnya. Elemen tersebut tidak bisa dipakaikarena perbedaan magnitudo yang terlalu besardibandingkan dengan elemen lainnya yangmenyebabkan kurva ciri elemen lain tampak datar jikaditampilkan pada koordinat kartessian. Langkah-

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 29

Gambar 3. Tanggapan frekuensi filter pre-emphasize

Page 4: Sistem deteksi ketepatan pembacaan surah al-Kautsar

langkah untuk mendapatkan koefisien Mel adalahframing, windowing, fast Fourier transform (FFT), Melfilterbank, log frequency, dan discrete cosine transform(DCT).

Dalam framing, sinyal wicara dibagi menjadi banyakframe dengan setiap frame berukuran N titik dan frametetangganya diberi jarak M titik. Ukuran frame yangdipilih tidak terlalu besar dan tidak terlalu kecil,mengikuti karakteristik dari sinyal wicara sebagai sinyalquasi-stationary, yaitu pada jangka waktu pendektertentu dan sinyal masih bersifat tetap (stationary).

Setiap frame dibobotkan secara matematismenggunakan teknik windowing. Teknik windowingyang digunakan adalah Hamming window seperti dalam[7]. Windowing bertujuan untuk memastikan kontinuitassinyal frame demi frame. Tipe Hamming menghasilkansidelobe level sekitar -43 dB yang dinyatakan dalamPersamaan 2 dengan 0 ≤ n ≤ N-1 [16]. Variabel w berisikoefisien windowing, variabel n merupakan tiap-tiaptitik, sedangkan variabel N adalah jumlah titik dalamsebuah frame. Persamaan 2 menghasilkan koefisienwindow yang panjangnya N + 1. Bentuk kurvaHamming Window ditunjukkan oleh Gambar 4 denganmenggunakan nilai N = 100.

w ( n )=0,54−0,46 cos( 2πnnN −1 ) (2)

Setiap frame dianalisis menggunakan alihragamFourier yang mengubah sinyal dari kawasan waktu kekawasan frekuensi. Dengan demikian, ciri yangdiekstrak adalah representasi kompleks sinyal untukmemudahkan proses pengenalan tutur.

Spektrum frekuensi dari setiap window diubah kedalam skala Mel yang meniru skala pendengaranmanusia atau wrapping dengan menggunakantriangular bandpass filterbank seperti dalam [6].Dengan menggunakan filter ini, besar energi pada bandfrekuensi tertentu sinyal wicara dapat dihitung. Filteryang digunakan berupa susunan filter segitiga yangsaling tumpang tindih atau yang disebut sebagai Mel-spectrum seperti ditunjukkan dalam Gambar 5.

Berdasarkan hasil simulasi dalam penelitian ini,terdapat dua keuntungan ketika menggunakantriangular filterbank. Jumlah ciri yang digunakanmenjadi lebih sedikit sehingga proses pengenalan bisadilakukan lebih cepat. Sampul (envelope) dari spektrumdan harmonik juga bisa diperoleh dengan jelas. Filter inimemperhalus magnitudo spektrum sehingga komponenharmoniknya berkurang sehingga pitch dari tiap sinyaldihilangkan dan setiap sinyal wicara yang berbeda pitchtapi timbre-nya sama dianggap sama. Dengan kata lain,metode MFCC secara otomatis menghilangkanpengaruh pitch pada vektor ciri yang dihasilkannya.

Agar perbedaan magnitudo tiap spektrum Mel tidakterlalu besar, maka dikenai dengan operasi logaritmikdengan mengambil nilai Log dari tiap-tiap magnitudotersebut yang diekspresikan dalam Persamaan 3 sepertidalam [1]. Frekuensi Mel mel(f) berbanding lurusdengan logaritma natural dari frekuensi linier (f).

Perubahan nilai yang halus seiring denganmeningkatnya nilai frekuensi linier.

mel (f )=1125× ln (1+f

700) (3)

Gambar 6 menunjukkan hubungan antara spektrumfrekuensi linier (Hz) dan spektrum frekuensi Mel.Bentuk kurva ini lebih disebabkan fungsi logaritmanatural yang mengubah shape dari kurva menjadi non-linier. Ilustrasi tersebut juga menggambarkan bentuksesungguhnya tanggapan telinga manusia terhadapperubahan frekuensi.

Nilai-nilai logaritmik frekuensi hasil prosessebelumnya didekorelasi menggunakan alihragam(transformasi) fungsi genap (kosinus) menggunakanDCT sehingga dihasilkan representasi sinyal wicaradalam bentuk bilangan riil [5]. Perhitungan inidiekspresikan dalam Persamaan 4. Parameter C(m)adalah koefisien DCT, Ek adalah 20log dari hasiltriangular filterbank, N adalah jumlah triangular dalamfilterbanks, m memiliki nilai dari 1, 2, … L, dan Ladalah jumlah koefisien Mel yang diinginkan. Di dalam

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 30

Gambar 4. Bentuk kurva Hamming window

Gambar 5. Susunan triangular bandpass filterbank

Gambar 6. Hubungan antara Mel-Cepstrum danfrekuensi linier (Hz)

Page 5: Sistem deteksi ketepatan pembacaan surah al-Kautsar

kajian ini, jumlah triangular yang digunakan 20,sedangkan jumlah koefisien Melnya adalah 13.

C (m)=∑k=1

N

Ek

cos [mπn2N

∗( 2k−1 )] (4)

Hasil dari proses DCT adalah sebuah matriksberukuran I x J dengan I adalah baris dan J adalahkolom. Koefisien cepstrum merupakan hasil akhir darimetode MFCC sehingga disebut sebagai ciri (features)yang digunakan sebagai representasi baru sinyal. Didalam kajian ini, nilai J adalah 13 sehingga denganmenghitung nilai rata-rata untuk tiap matriks cepstrumterhadap jumlah kolom, maka didapatkan ciri akhir daritiap kata berupa larik berukuran 1 x 13.

F. Menghitung jarak

Metode pencocokan untuk menguji ketepatanpembacaan Surah Al-Kautsar yang digunakan dalampenelitian ini adalah metode penghitungan jarak cosinesimilarity. Metode ini bekerja dengan cara menghitungtingkat kesamaan antara dua buah larik. Dalam hal ini,larik-larik yang dihitung jaraknya merupakan nilaicepstrum hasil MFCC yakni antara cepstrum sinyaltemplate dan cepstrum sinyal masukan.

Metode cosine similarity dinyatakan dalamPersamaan 5. Variabel C merupakan hasil perhitunganjarak. Variabel q dan d adalah larik-larik yang akandibandingkan untuk diukur jaraknya. Variabel i dan jmelambangkan tiap-tiap elemen pada larik q dan dsedangkan t merupakan ukuran dari larik.

C (di, q

i )=1−qi× di

|qi||d i|

=1−

∑j=1

t

(dij dij)

√∑j=1

t

(qij )2 ∙ ∑

j=1

t

(dij )2

(5)

G. Recall dan Precision

Kinerja dari sistem ini diukur menggunakanparameter recall dan precision. Dalam perhitungannya,alat ukur kinerja ini melibatkan nilai-nilai True Positive(TP), True Negative (TN), False Positive (FP) danFalse Negative (FN). Parameter recall dan precisiondihitung menggunakan Persamaan 6 dan Persamaan 7[17].

recall= TPTP+FN

×100 % (6)

precision=TP

TP+FP×100 % (7)

H. Menentukan Nilai Ambang Batas

Pada proses ini, jarak antara ciri sinyal modeldengan sinyal pelatihan maupun sinyal uji dilakukan.Metode yang digunakan adalah cosine similiarity yangdihitung menggunakan Persamaan 5 yang mengukurkemiripan antara 2 buah larik. Prinsip ini digunakanuntuk menentukan ketepatan pembacaan Surah Al-Kautsar kata demi kata. Untuk menentukan apakah katatersebut tepat pembacaannya, maka sebuah nilaiambang batas (threshold) ditentukan berdasarkaneksperimen menggunakan kurva ROC (ReceiverOperating Characteristic). Kurva ini dihasilkan darinilai FPR (False Positive Rate) dan TPR (True PositiveRate) yang dapat menunjukkan letak nilai ambangterbaik untuk precision dan recall yang dinyatakandalam Persamaan 8 dan Persamaan 9 [17]. Sebuahpembacaan dikatakan tepat atau benar jika masing-masing kata yang terdapat pada setiap ayat dikenalisebagai benar oleh sistem.

FPR=FP

FP+TN (8)

TPR=TP

TP+FN (9)

I. Evaluasi Kinerja Sistem

Data latih digunakan sebagai data untukmendapatkan nilai ambang batas yang terbaik dalammenentukan ketepatan pembacaan kata demi kata. Datauji digunakan untuk menguji kinerja sistem yang sudahdiberikan nilai-nilai parameter terbaik. Evaluasi kinerjadari sistem baik saat pelatihan dan pengujian dilakukandengan menghitung precision dan recall. Keduaparameter kinerja tersebut dipilih karena pada dasarnyakasus ini merupakan kasus binary classifier (benar atausalah) dan melibatkan empat variabel penting dalamkasus pendeteksi/pengenal, yaitu True Positive, TrueNegative, False Positive, dan False Negative.

III. HASIL DAN PEMBAHASAN

Surah yang dijadikan bacaan dalah kajian ini adalahsurah Al-Kautsar yang terdiri dari 3 ayat dengan totalkata sejumlah 10 kata. Sinyal template berupa rekamansebanyak satu rekaman dari pembacaan Surah Al-Kautsar oleh seorang expert berjenis kelamin pria.Sinyal untuk pelatihan dan pengujian merupakanrekaman dari 10 orang, yaitu 5 laki-laki dan 5perempuan yang merupakan mahasiswa di FakultasTeknik Telekomunikasi dan Elektro, Institut TeknologiTelkom Purwokerto.

Setiap individu membaca surat tersebut sebanyak 6kali perekaman dimana 3 rekaman merupakanpembacaan yang benar, sedangkan sisanya dengan carayang salah. Total data latih dan uji adalah 60 rekaman.Data latih digunakan untuk perancangan sistem. Dalampenelitian, data ini digunakan untuk menentukan nilaiambang batas terhadap keputusan tepat atau tidaknyasebuah bacaan. Data uji digunakan untuk mengukur

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 31

Page 6: Sistem deteksi ketepatan pembacaan surah al-Kautsar

kinerja sistem secara keseluruhan setelah semuaparameter terbaik digunakan.

Salah satu sinyal audio yang digunakan dalampenelitian ini dan digunakan sebagai templateditunjukkan oleh Gambar 7. Durasi sinyal tersebutsekitar 32-35 detik dengan nilai yang sudahdinormalisasi dan centered. Secara visual, tampakbahwa masih ada komponen silence dan unvoiced diujung awal dan akhir sinyal. Bagian ini harusdihilangkan menggunakan metode EPD. Hasil dariproses ini ditunjukkan pada Gambar 8.

Bagian ujung dari awal dan akhir sinyal sudahterpotong yang meninggalkan hanya bagian sinyal yangdibutuhkan. Sinyal ini kemudian dipotong menjadi 3buah ayat yang sekaligus membuang komponen silencedan unvoiced, baik antara ayat maupun di awal atauakhir Surah sehingga panjang sinyal lebih pendekdaripada sinyal sebelum proses ini. Tidak ada perubahanpada amplitudo maupun frekuensi sinyal setelah melaluiproses ini. Hasil dari segmentasi ayat ini dipisahkandalam 3 warna seperti yang ditunjukkan pada Gambar 9menjadi warna biru untuk ayat pertama, warna hijauuntuk ayat kedua, dan warna merah untuk ayat ketiga.

Tiap ayat kemudian disegmentasi menjadi kata-katapenyusunnya dengan menggunakan metode yang samadengan segmentasi ayat. Hasil segmentasi kataditunjukkan secara berurutan pada Gambar 10. Samahalnya dengan segmentasi ayat, hasil dari segmentasikata tidak mengalami perubahan dalam amplitudomaupun frekuensi. Perubahan terjadi pada panjangmasing-masing ayat karena adanya penghilangankomponen silence dan unvoiced yang terdapat di antaramasing-masing kata. Tidak adanya perubahan padaspektrum frekuensi masing-masing ayat disebabkankecilnya energi komponen silence dan unvoicedsehingga keberadaan komponen tersebut tidakmemberikan pengaruh yang signifikan, demikian pulapenghilangannya.

Proses berikutnya adalah pre-emphasize yangdiberikan pada tiap-tiap kata. Dengan menggunakankata pertama dari ayat pertama, pengaruh dari filter inipada kawasan waktu ditunjukkan dalam Gambar 11.Amplitudo sinyal setelah proses ini menjadi semakinkecil yang menandakan bahwa distribusi sinyal wicaradominan pada frekuensi rendah sehingga ketikadiberikan filter pre-emphasize yang juga merupakanhigh pass filter, maka sinyal pada frekuensi rendahmengalami pelemahan (attenuation). Di sisi lain, bagian

sinyal pada frekuensi tinggi diloloskan yang jikadidengarkan hasilnya berbeda dengan sinyal awal.

Untuk setiap kata setelah proses pre-emphasize, cirikhasnya diekstrak menggunakan MFCC. Proses iniberlangsung secara berulang (iterative) kata demi kata.Hanya 12 koefisien cepstrum yang digunakan untukmerepresentasikan sebuah kata yang dimulai dari

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 32

Gambar 7. Sinyal template dalam kawasan waktu

Gambar 8. Hasil pemotongan menggunakan EPD

Gambar 9. Hasil segmentasi ayat

(a) (b) (c)

Gambar 10. Hasil segmentasi kata: a) ayat pertama, b) ayat kedua, dan c) ayat ketiga

Page 7: Sistem deteksi ketepatan pembacaan surah al-Kautsar

koefisien kedua hingga ketiga belas. Koefisien pertamatidak digunakan karena merupakan komponen offsetdengan energi paling besar yang menyebabkan rasiodirinya terhadap koefisien lain sangat besar. Hal inimenyebabkan pola yang seharusnya berupa kurvafluktuatif menjadi tampak datar. Koefisien pertama inijuga menunjukkan distribusi energi sinyal dominan padafrekuensi rendah. Gambar 12 menunjukkan kurva yangterbentuk dari koefisien cepstrum ini.

Ciri untuk setiap kata pada tiap ayat memiliki polayang berbeda. Dengan demikian, MFCC dinyatakanmampu menghasilkan representasi unik dari setiap katasehingga cepstrum dapat digunakan sebagai materidalam sistem ini seperti dalam [5]-[8]. Setiap koefisienpertama memiliki nilai yang cukup tinggi dibandingkandengan koefisien lainnya. Namun, pola yang terbentukdari tiap-tiap koefisien masih dapat dibedakan denganmenggunakan koefisien kedua dari 13 koefisiencepstrum. Gambar 13 berisi kurva dari 4 kata yangberasal dari ayat ketiga yang dibentuk dari 13 koefisiencepstrum. Koefisien pertama yang memiliki magnitudosangat besar diperbandingkan sehingga kurva yangterbentuk oleh koefisien lain mendekati garis datar.

Nilai yang tampak pada grafik negatif karena telahmengalami tahapan proses MFCC. Namun, dalamkawasan frekuensi (Hz) nilai ini memiliki magnitudospektrum paling besar. Salah satu contoh adalah kata keempat dimana koefisien pertama bernilai 25,8871 yangsangat besar dibandingkan dengan koefisien lainnya,bahkan dengan koefisien kedua yang bernilai 1,8565dan merupakan koefisien kedua terbesar. Hal ini berartitidak ada pola yang jelas yang membedakan masing-masing kata dalam 1 ayat, apalagi jika dibandingkandengan kata-kata berbeda pada ayat yang lainnya. Darihal tersebut, koefisien cepstrum yang tepat sebagai ciriadalah koefisien kedua hingga ketiga belas.

A. Pelatihan

Data sejumlah 30 buah digunakan dalam tahappelatihan ini untuk menentukan nilai ambang batas padaperhitungan jarak cosine similarity. Untuk memilih nilaiambang batas terbaik, disediakan pilihan nilai dalamrange 0,01 hingga 1 dengan kelipatan (increment)sebesar 0,01. Hal ini berarti terdapat 100 nilai ambangbatas yang diuji. Dari 30 data pelatihan, terdapat 15

bacaan benar dan 15 bacaan salah. Dari masing-masingbacaan terdapat 3 ayat yang berisi 10 kata. Untuk setiap

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 33

Gambar 11. Perbandingan sinyal sebelum dan sesudahpre-emphasize

(a)

(b)

(c)

Gambar 12. Ciri dari masing -masing kata pada setiapayat: a) ayat pertama, b) ayat kedua, dan c) ayat ketiga

Gambar 13. Koefisien pertama menyebabkan polamenjadi garis datar

Page 8: Sistem deteksi ketepatan pembacaan surah al-Kautsar

bacaan salah, hanya terdapat 1 kata yang disalahkan danlokasinya acak sehingga total kata yang benar adalah285 kata dan kata yang salah adalah 15 kata. Jumlahsemua kata adalah 300 kata.

Nilai ambang batas didapat melalui observasi kurvaROC yang terbentuk oleh FPR dan TPR. Target dariobservasi ini adalah nilai TPR yang besar diikuti dengannilai FPR yang kecil. Nilai ambang batas ini bisa sajabanyaknya lebih dari 1. Pada kurva ROC (Gambar 14),nilai ambang batas yang terbaik adalah 0,57, 0,58, 0,59dan 0,60 karena salah satu nilai tersebut dapat dipilihuntuk memberikan respon precision dan recall yangterbaik. Untuk nilai ambang lain, nilai TPR dan FPRtidak pernah bertemu pada kondisi terbaik, misalnyasaat TPR tinggi, maka FPR juga tinggi, sedangkan yangdibutuhkan adalah nilai TPR yang tinggi dan FPRrendah. Dalam penelitian ini, nilai ambang batas yangdipilih adalah 0,58.

Kurva ROC ini berbentuk imbalanced karena nilaiTP dan TN tidak sama. Nilai FP dan FN juga tidaksama. Nilai-nilai parameter tersebut dipaparkan padaTabel 1. Hasil tersebut menunjukkan akurasi dalambentuk recall dan precision dari data latih yangdigunakan untuk mendapatkan nilai ambang batas yangdigunakan dalam tahap pengujian sistem. Hasilpengujian menunjukkan bahwa nilai ambang batas 0,58memberikan nilai recall 100 % yang berarti seluruhbacaan benar berhasil dideteksi sebagai benar. Nilaiambang batas ini ditetapkan sebagai nilai yang palingbagus untuk digunakan dalam pengujian sistem.

B. Pengujian

Data berbeda sejumlah 30 buah digunakan dalampengujian. Dari data tersebut, terdapat 15 bacaan benardan 15 bacaan salah. Masing-masing bacaan terdiri dari3 ayat yang memiliki 10 kata. Sama halnya denganpelatihan, hanya ada 1 kata yang disalahkan danlokasinya acak sehingga total kata yang benar adalah285 kata dan kata yang salah adalah 15 kata. Jumlahsemua kata adalah 300 kata.

Berdasarkan Tabel 2, dengan menggunakan nilaiambang batas 0,58, terdapat 150 kata bacaan benar yangdikenali sebagai kata yang benar (TP), sedangkan dari150 kata bacaan yang salah, sebanyak 135 kata dikenalisebagai kata yang benar (TP), 14 kata salah terdeteksisebagai salah (TN), dan sisanya sebanyak 1 katadideteksi sebagai kata yang benar (FP). Hal ini berartiada 285 kata yang sudah tepat terdeteksi sebagai benar,14 kata salah yang tepat terdeteksi sebagai salah,sedangkan 1 kata salah terdeteksi sebagai benar.

Pembacaan surah Al-Kautsar dikatakan sudah benarjika setiap kata penyusun setiap ayat pada surah tersebutdikenali sebagai bacaan yang tepat atau benar. Dengandemikian, berdasarkan hasil deteksi ketepatan padamasing-masing kata pada setiap ayat utuh bacaan surahAl-Kautsar, dari 15 data bacaan benar semuanyaterdeteksi dengan baik sebagai bacaan Surah yangbenar, sedangkan dari 15 bacaan salah, sebanyak 14bacaan yang dideteksi sebagai bacaan yang salah dan 1bacaan salah dikenali sebagai bacaan yang benar.

Dengan kata lain, precision dan recall bacaan yangdiperoleh berurutan sebesar 100 % dan 93,75 %.

Hasil ini menunjukkan bahwa nilai ambang batasyang dipilih telah memberikan hasil deteksi yangsignifikan terhadap pembacaan surah Al-Kautsar. PadaGambar 15 ditunjukkan posisi terbaik dari tigaparameter yakni recall, precision, dan nilai ambangbatas. Garis-garis vertikal hitam menandakan lokasiempat nilai ambang batas terbaik.

Nilai precision dan recall yang diperoleh padapengujian ini menunjukkan unjukkerja sistem yang

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 34

Gambar 14. Kurva ROC TPR dan FPR

Tabel 1. Hasil recall dan precision katd dari data latih

No Parameter Hasil1. TP 2852. TN 123. FP 34. FN 05. Recall kata 100 %6. Precision kata 98,96 %

Tabel 2. Hasil recall dan precision kata dari data uji

No Parameter Hasil1. TP 2852. TN 143. FP 14. FN 05. Recall kata 100 %6. Precision kata 99,65 %

Gambar 15. Kurva recall dan precision terhadap nilaiambang batas terbaik

Page 9: Sistem deteksi ketepatan pembacaan surah al-Kautsar

sangat baik dalam mendeteksi ketepatan pembacaansurah Al-Kautsar jika dibandingkan [2] dengan nilaiakurasi hanya 90 %. Metode MFCC mampumenghasilkan representasi unik dari setiap kata danbacaan surah ini seperti dalam [5]-[8] dan penghitunganjarak dengan cossine similarity mampu menentukannilai ambang batas seperti [9], [10]. Rancangan dalampenelitian ini dapat digunakan sebagai sistem pendeteksikebenaran pembacaan Al-Quran secara otomatis seperti[2]-[4] dengan tingkat recall dan precision yang tinggidan nilai akurasi lebih besar dari 90 %.

IV. KESIMPULAN

Sistem deteksi ketepatan pembacaan surat Al-Kautsar menggunakan teknik pemotongan kata,ekstraksi ciri MFCC, dan penghitungan jarak cosinesimilarity bekerja dengan sangat baik dengan nilairecall untuk data uji berupa 300 kata adalah 100 % danprecision sebesar 99,65 %. Dalam keseluruhanpembacaan, sistem mempunyai precision dan recallbacaan sebesar 100 % dan 93,75 %.

UCAPAN TERIMA KASIH

Terima kasih kepada Lembaga Penelitian danPengabdian kepada Masyarakat (LPPM), FakultasTeknik Telekomunikasi dan Elektro (FTTE), sertaexpert dan mahasiswa/i yang terlibat dalampengambilan data di Institut Teknologi TelkomPurwokerto (ITTP).

DAFTAR PUSTAKA

[1] A. Muhammad, Z. U. Qayyum, W. I. Mirza, S.Tanveer, M-. Enriquez, and A. Z. Syed, “E-hafiz:Intelligent system to help muslims in recitation andmemorization of Quran,” Life Science Journal,vol. 9, no. 1, pp. 534–541, 2012.

[2] A. Elnagar, R. Ismail, B. Alattas, and A. Alfalasi,“Automatic classification of reciters of Quranicaudio clips,” in 2018 IEEE/ACS 15th InternationalConference on Computer Systems andApplications, Aqaba, Jordan, Nov. 2018, pp. 1-6.doi: 10.1109/AICCSA.2018.8612829

[3] M. Bezoui, A. Elmoutaouakkil, and A. Beni-Hssane, “Feature extraction of some Quranicrecitation using mel-frequency cepstral coeficients(mfcc),” in International Conference onMultimedia Computing and Systems, Marrakech,Morocco, Oct. 2016, pp. 127–131. doi:10.1109/ICMCS.2016.7905619

[4] N. R. R. Rashid, I. Venkat, F. Damanhoori, N.Mustaffa, W. Husain, and A. T. Khader, “Towardsautomating the evaluation of holy Quranrecitations: a pattern recognition perspective,” in2013 Taibah University International Conferenceon Advances in Information Technology for theHoly Quran and Its Sciences, Madinah, Saudi

Arabia, Dec. 2013, pp. 424–428. doi: 10.1109/NOORIC.2013.88

[5] Y. Afrillia, H. Mawengkang, M. Ramli, F.Fadlisyah, and R. P. Fhonna, “Performancemeasurement of mel frequency ceptral coefficient(mfcc) method in learning system of al-quranbased in nagham pattern recognition,” Journal ofPhysics: Conference Series, vol. 930, no. 1, pp. 1-6, 2017. doi: 10.1088/1742-6596/930/1/012036

[6] A. Mustofa, “Sistem pengenalan penutur denganmetode mel-frequency wrapping,” Jurnal TeknikElektro, vol. 7, no. 2, pp. 88-96, 2007. doi:10.9744/jte.7.2.88-96

[7] N. W. Arshad et al., “Makhraj recognition for al-quran recitation using mfcc,” IJIIP: InternationalJournal of Intelligent Information Processing, vol.4, no. 2, pp. 45-53, 2013.

[8] T. Nasution, “Metoda mel frequency cepstrumcoefficients (mfcc) untuk mengenali ucapan padabahasa indonesia,” SATIN - Sains dan TeknologiInformasi, vol. 1, no. 1, pp. 22-31, 2012.

[9] O. Nurdiana, J. Jumadi, and D. Nursantika“Perbandingan metode cosine similarity denganmetode jaccard similarity pada aplikasi pencarianterjemah al-qur’an dalam bahasa Indonesia,”Jurnal Online Informatika, vol. 1, no. 1, pp. 59-63,2016. doi: 10.15575/join.v1i1.12

[10] M. R. Maarif and C. Hadi, “Implementasi cosinesimilarity dalam aplikasi pencarian ayat al-quranberbasis android,” Jurnal Teknologi Informasi danKomunikasi, vol. 6, no. 2, pp. 71-79, 2017.

[11] I. Wijayanto, B. Hidayat, and Suyanto, “Pemisahansuara musik instrumental menggunakan metodeindependent component analysis dan pemodelanautoregressive moving average,” in KonferensiNasional Sistem dan Informatika, Bali, Indonesia,Nov. 2011, pp. 61-68.

[12] R. Wulandari, A. Izzuddin, and T. Asrori,“Pengenalan ucapan menggunakan algoritma backpropagation,” Energy, vol. 6, no. 1, pp. 28-36,2016.

[13] K. Liu et al., “Endpoint detection of distributedfiber sensing systems based on STFT algorithm,”Optics & Laser Technology, vol. 114, pp. 122-126,2019. doi: 10.1016/j.optlastec.2019.01.036

[14] N. N. Lokhande, N. S. Nehe, and P. S. Vikhe,“Voice activity detection algorithm for speechrecognition applications,” International Journal ofComputer Applications, vol. ICCIA, no. 6, pp. 5-7,2012.

[15] I. McLoughlin, Applied science and audioprocessing with matlab examples. CambridgeUniversity Press, 2009.

[16] H. Erokyar, “Age and gender recognition forspeech applications based on support vectormachines,” master thesis, University of SouthFlorida, 2014.

[17] I. H. Witten, E. Frank, and M. A. Hall, Datamining: practical machine learning tools andtechniques. Morgan Kaufmann Publishers, 2016.

Copyright ©2020, JTSiskom, e-ISSN: 2338-0403, p-ISSN: 2620-4002 Jurnal Teknologi dan Sistem Komputer, 8(1), 2020, 35