FEEDFORWARD NEURAL NETWORKSUNTUK PEMODELAN RUNTUN WAKTU OLEH : SUHARTONO UNIVERSITAS GADJAH MADAYOGYAKARTA 2007 FEEDFORWARD NEURAL NETWORKSUNTUK PEMODELAN RUNTUN WAKTU Disertasi untuk memperoleh Derajat Doktor dalam Ilmu Matematika pada Universitas Gadjah Mada Dipertahankan di hadapanDewan Penguji Sekolah Pascasarjana Universitas Gadjah Mada Pada tanggal: 25 September 2007 oleh Suhartono Lahir di Malang, 29 September 1971 iii

Prof. Drs. H. Subanar, Ph.D. Promotor Prof. Drs. Suryo Guritno, M.Stat., Ph.D. Ko promotor iv PERNYATAAN PROMOVENDUS DenganinisayamenyatakanbahwadalamDisertasiinitidakterdapat karyayangpernahdiajukanuntukmemperolehgelarkesarjanaandisuatu PerguruanTinggi,dansepanjangpengetahuansayajugatidakterdapatkarya atau pendapatyang pernahditulisatau diterbitkanoleh oranglain,kecualiyang secara tertulis diacu dalam naskah ini dan disebutkan dalam daftar pustaka. Yogyakarta, 27 September 2007 Yang menyatakan, Suhartono v W hentheL ordcreatedtheworl dandpeopletol i veini tan enterprisewhi ch,accordi ngtomodernsci ence,tookaveryl ongti me I coul dwel l i magi nethatH ereasonedwithH i msel fasfol l ows: I f I makeeverythi ngpredi ctabl e,thesehumanbei ngs,whomI have endowedwi thprettygoodbrai ns,wi l l undoubtedl yl earntopredi ct everythi ng,andtheywi l l thereuponhavenomoti vetodoanythi ngat al l ,becausetheywi l lrecogni zethatthefuturei stotal l ydetermi ned andcannotbei nfl uencedbyanyhumanacti on.Ontheotherhand,i f I makeeverythi ngunpredi ctable,theywi l l gradual l ydi scoverthat therei snorati onalbasi sforanydeci si onwhatsoeverand,asi nthe fi rstcase,theywi l l thereuponhavenomoti vetodoanythi ngatal l . N ei therschemewoul dmakesense.I mustthereforecreateami xture ofthetwo.L etsomethi ngsbepredictabl eandletothersbe unpredi ctable.T heywi l l then,amongstmanyotherthi ngs,havethe veryi mportanttaskoffi ndi ngoutwhi chi swhi ch. Smal lIs Beauti f ulE. F. SCHUMACHER U ntuk: I striku tercinta Siti Azizah, Anak-anakku tersayang Al ivia Kirana Hartonoputri ,Vanissa Farhania Hartonoputri vi PRAKATA Dengan Nama Allah Yang Maha Pengasih lagi Maha Penyayang. PujisyukurkepadaTuhanYangMahaKuasaatassegalarahmatdan karunia yang telah dilimpahkan, sehingga penulisan disertasi dengan judul FEEDFORWARD NEURAL NETWORKS UNTUK PEMODELAN RUNTUN WAKTU dapat terselesaikan dengan baik. Disertasi ini disusun untuk memenuhi sebagian persyaratangunamemperolehderajatDoktordalamilmuMatematika,Program Pasca Sarjana Universitas Gadjah Mada. Padakesempatanini,penulismengucapkan terimakasihyangsedalam-dalamnya kepada: 1. Prof.Drs.H.Subanar,Ph.D.danProf.Drs.SuryoGuritno,M.Stat.,Ph.D. sebagai Tim Pembimbing Program S3 Jurusan Matematika UGM, yang telah membimbing,memberikanarahandandoronganselamapenelitiandan penulisan disertasi. 2.TimPenilaidanTimPengujiyangmemberikankritikdansaranuntuk penyempurnaan materi dan penulisan disertasi. 3.Dr.ToniBakhtiar,S.Si.,M.Sc.dariJurusanMatematika,InstitutPertanian Bogor, yang selalu memberikan bantuan kepustakaan khususnya soft journal dari University of Tokyo.4.RektorInstitutTeknologiSepuluhNopemberdanDirektoratJendral Pendidikan Tinggi yang telah memberikan kesempatan dan pendanaan untuk S3 kepada penulis. 5.Istridananak-anaktercinta,AliviadanVanissa,yangdengansabarselalu memberikandukungansampaidisertasiinidapatterselesaikan.Nenek, bapak dan ibu yang selalu mendoakan kelancaran studi penulis. vii 6.Drs.BrodjolSutijoS.U.,M.Si.,Dra.SriRezeki,M.Si.,Dra.DhorivaUrwatul Wutsqa,M.Si.,danDra.EmaCarnia,M.Si.,sebagaikandidatDoktor Matematikayangtelahmenjadirekanseperjuanganpenulisselama menempuh S3.7.Semua pihak yang telah memberikan bantuan dalam penulisan disertasi ini. Semogadisertasiinimemberikanmanfaat,khususnyabagiper-kembangan ilmu statistika dan umumnya bagi para pembaca. Yogyakarta, 27 September 2007 Penulis, Suhartono viii DAFTAR ISI hal. JUDUL, NAMA, TAHUN .............................................................................i DERAJAT ....................................................................................................ii PERSETUJUAN ..........................................................................................iii PERNYATAAN PROMOVENDUS ..............................................................iv PERSEMBAHAN ........................................................................................v PRAKATA ...................................................................................................vi DAFTAR ISI ................................................................................................viii ARTI LAMBANG DAN SINGKATAN ..........................................................xi DAFTAR GAMBAR .....................................................................................xiv DAFTAR TABEL .........................................................................................xvi INTISARI .....................................................................................................xvii ABSTRACT .................................................................................................xix BAB IPENDAHULUAN.............................................................................1 1.1Latar Belakang ............................................................................1 1.2Perumusan Masalah ...................................................................5 1.3Batasan Penelitian ......................................................................6 1.4Tujuan Penelitian ........................................................................7 1.5Tinjauan Pustaka ........................................................................7 1.5.1Konsep Dasar pada Analisis Runtun Waktu ...................9 1.5.2Neural Networks untuk Analisis Runtun Waktu ..............11 1.5.3Outline Disertasi ..................16 BAB IIANALISIS RUNTUN WAKTU .........................................................18 2.1 Proses Autoregressive-Moving Average (ARMA) ......................18 2.2Estimasi Parameter Model ARMA ..............................................222.2.1Estimasi Yule-Walker .....................................................22 2.2.2Estimasi Maximum Likelihood dan Least Squares .........24 2.3Teori Asimtotis ............................................................................27 ix 2.3.1Konvergen Hampir Pasti (Almost Sure Convergence) 28 2.3.2Konvergen dalam Probabilitas ........................................28 2.3.3Konvergen dalam Mean ke r,r > 0 ................................32 2.3.4Konvergen dalam Distribusi ............................................32 2.3.5Teorema Limit Pusat dan Hasil-hasil yang Berkaitan .....36 2.4Sifat Normalitas Asimtotis Estimator Model ARMA ....................39 2.4.1Sifat Estimator Yule-Walker ............................................39 2.4.2Sifat Estimator Maximum Likelihood dan Least Squares41 BAB IIIFEED FORWARD NEURAL NETWORKS ....................................44 3.1Algoritma Backpropagation ........................................................473.2Konsistensi Estimator Backpropagation .....................................543.3Sifat Normalitas Asimtotis Estimator Backpropagation ..............59 3.4Uji Hipotesa untuk Parameter Model Neural Networks ..............64 BAB IVFFNN UNTUK PERAMALAN RUNTUN WAKTU .........................68 4.1Uji Nonlinearitas pada Data Runtun Waktu ................................69 4.1.1Penurunan Uji Nonlinearitas Tipe Lagrange Multiplier(LM) dengan Ekspansi Taylor ........................................69 4.1.2Desain Kajian Terapan Uji Nonlinearitas Tipe Lagrange Multiplier (LM) dengan Ekspansi Taylor .........................77 4.1.3Hasil Kajian Terapan Uji Nonlinearitas Tipe LagrangeMultiplier (LM) dengan Ekspansi Taylor .........................82 4.2Prosedur Pembentukan FFNN untuk Peramalan Runtun Waktu83 4.2.1Kontribusi Penambahan melalui R2 ................................84 4.2.2Inferensia Statistik dari Kontribusi Penambahan R2 .......85 4.2.3Algoritma Pembentukan Model FFNN: ImplementasiUji Nonlinearitas, Inferensia Statistik R2incremental dan Uji Wald...........................................................................90 BAB VHASIL EMPIRIS .............................................................................94 5.1Pembentukan FFNN melalui Inferensia R2incremental dan uji Wald ..95 5.1.1Hasil Prosedur Backward versi Kaashoek dan Van Dijk ..95 x 5.1.2Hasil Prosedur Forward melalui Uji R2incremental untukPenentuan Jumlah Unit di Lapis Tersembunyi dan UnitInput yang Optimal .........................................................98 5.1.3Hasil Prosedur Backward dengan Uji Wald untukPemilihan Unit Inputyang Optimal ................................101 5.2Perbandingan Ketepatan Ramalan antara FFNN dan Model Runtun Waktu Univariat Klasik ...................................................102 5.2.1Hasil Perbandingan pada Kasus Inflasi Indonesia .........102 5.2.2Hasil Perbandingan pada Airline Data ............................104 5.3Efek Pemrosesan Awal Data terhadap Ramalan FFNN .........107 5.4Aplikasi FFNN untuk Peramalan Runtun Waktu Multivariat .......110 5.4.1Evaluasi Kondisi Stasioneritas Model GSTAR(11).........112 5.4.2Evaluasi Penentuan Bobot Lokasi (Spasial) yang Optimalpada Model GSTAR..........................................115 5.4.3Perbandingan Ketepatan Ramalan antara FFNN dan Model-model Runtun Waktu Multivariat .........................118 BAB VIKESIMPULAN DAN MASALAH TERBUKA ................................. 122 6.1Kesimpulan .................................................................................122 6.2Masalah Terbuka ........................................................................125 RINGKASAN...............................................................................................127 SUMMARY ...................................................................................................149 DAFTAR PUSTAKA ....................................................................................167 LAMPIRAN ...................................................................................................177 DAFTAR RIWAYAT HIDUP .........................................................................197 xi ARTI LAMBANG DAN SINGKATAN tY :variabel respon atau output pada waktu ke-t dalam tX :variabel prediktor atau input pada waktu ke-t dalam t :variabel kesalahan random pada waktu ke-t dalam ) (2 Var :variansi variabel random) , (s rY Y Cov :kovariansi antara variabel random rYdan sY) (Z :fungsi autokovarians dari} {tZp :matriks kovariansdet( ) A :determinan matriksA IID:independent and identically distributed IID 2(0, ) :independent and identically distributed dengan meandan variansi 2WN:white noise WN ) , 0 (2 : proses yang white noise dengan meandan variansi 2 :harga mutlak :norm ARIMA:Autoregressive Integrated Moving AverageFFNN:Feedforward Neural NetworksMLP:Multi Layer Perceptrons VAR:Vector AutoregressiveGSTAR:Generalized Space Time Autoregressive( ) i kx :variabel input sebanyakp ,) , , 2 , 1 ( p i K ( )ky :nilai dugaan dari variabel output (target) k :indeks pasangan data input-target) , () ( ) ( k k iy x ,n k , , 2 , 1 K xii hji jiw , :bobot dari input ke- iyang menuju neuron ke- j pada lapis tersembunyi, denganq j , , 2 , 1 K ,jojw :bobot dari neuron ke- jdi lapis tersembunyi yang menuju neuron pada lapis output, denganq j , , 2 , 1 K hj jb ,0 :bias pada neuron ke- jpada lapis tersembunyi, dengan q j , , 2 , 1 K ob ,0 :bias pada neuron di lapis outputhjf :fungsi aktifasi di neuron ke- jpada lapis tersembunyi of :fungsi aktifasi pada neuron di lapis output ) ( :fungsi aktifasi secara umum pada FFNN atau MLP :fungsi aktifasi logistik sigmoid :fungsi aktifasi linear ) , ( w :bobot-bobot network secara keseluruhan *w :bobot network yang optimal nw :estimator untukw nw~:estimatorm yang rekursif untukw . .s a:konvergen hampir pasti (almost sure) p: konvergen dalam probabilitas d: konvergen dalam distribusi r:konvergen dalam mean ker. . m s:konvergen dalam kuadrat mean ) 1 , 0 ( : distribusi Normal standar) , (2 : distribusi Normal meandan variansi 2) , ( I 0 : distribusi Normal standar multivariat ) , ( : distribusi Normal multivariate mean dan variansi nW :uji statistik WaldnW:nilai uji statistik Wald xiii LM:Lagrange Multiplier R2incremental:besaran kontribusi penambahan atau koefisien determinasi tambahan SSE:Sum of Squares Error (Residual) SSR:Sum of Squares Regression MAE:Mean Absolute ErrorMAPE:Mean Absolute Percentage Error xiv DAFTAR GAMBAR Gambar 1.1:ArsitekturMLPdengansatulapistersembunyi,tigaunitinput, empatunitneurondilapistersembunyi,dansatuunitoutput dengan fungsi aktifasi linear pada lapis outputGambar 1.2:ArsitekturAR-NNdengansatulapistersembunyi,tigalag variabeldependensebagaiinput(3 2 1, , t t tY Y Y ),empatunit neurondilapistersembunyi,dansatuunitoutput(tY )dengan fungsi aktifasi linear pada lapis output Gambar 3.1:Arsitektur FFNN dengan satu lapis tersembunyi,punit input,qunit neuron di lapis tersembunyi, dan satu unit neuron output Gambar 3.2:Ilustrasi dari persamaan update bobot-bobot pada lapis output Gambar 3.3:Ilustrasidaripersamaanupdateuntukbobot-bobotpadalapis tersembunyi Gambar 4.1:Arsitekturmodelneuralnetworkssatulapistersembunyipada persamaan (4.1.4) Gambar 4.2:Plotruntunwaktudata(2a),danplotdatadenganlag-lagnya,yaitu 2bdengan lag 1, 2c denganlag2, 2d dengan lag 3, dan 2e dengan lag 4, dari data simulasi AR(2) Gambar 4.3:Plotruntunwaktudata(3a),danplotdatadenganlag-lagnya,yaitu3bdenganlag1,3cdenganlag2,3ddenganlag3,dan 3e dengan lag 4, dari data simulasi Gerak Acak Gambar 4.4:Plotruntunwaktudata(4a),danplotdatadenganlag-lagnya,yaitu4bdenganlag1,4cdenganlag2,4ddenganlag3,dan 4e dengan lag 4, dari data simulasi LSTAR Gambar 4.5:Plotruntunwaktudata(5a),danplotdatadenganlag-lagnya,yaitu5bdenganlag1,5cdenganlag2,5ddenganlag3,dan 5e dengan lag 4, dari data simulasi ESTAR-2 xv Gambar 4.6:Prosedur pembentukan model melalui inferensia R2incremental Gambar 4.7:Prosedur kombinasi inferensia R2incremental dan uji Wald Gambar 5.1:Plotruntunwaktudanplotvariabellag(yt-1,yt-2)daridata simulasi Gambar 5.2:OutputFFNN(6,6,1)tanpasatuunitvariabellag, , , (2 1K t tY Y)6 tY dibandingkan dengan data aktual Gambar 5.3:Output networkdengan menambahkansatu unit neuron dilapis tersembunyi dibandingkan dengan data aktual Gambar 5.4:Plot runtun waktu inflasi Indonesia, Januari 1999 April 2005 Gambar 5.5:Plot runtun waktu data jumlah penumpang pesawat internasional Gambar 5.6:Plot runtun waktu dari data simulasi Gambar 5.7:ArsitekturFFNN-GSTAR(11)dengansatulapistersembunyi,6unitinput,q unitneurondilapistersembunyi,dansatuunit neuron di lapis output Gambar 5.8:ArsitekturFFNN-VAR(1)dengansatulapistersembunyi,3unit input,q unitneurondilapistersembunyi,dan3unitneurondi lapis output xvi DAFTAR TABEL Tabel 4.1:HasilperbandinganpowerujiTerasvirtadanujiWhitepada keenam model simulasi (1000 kali pengulangan) Tabel 5.1:Hasil-hasilpenentuanjumlahunityangoptimaldilapistersem-bunyi dengan prosedur backward versi Kaashoek dan Van DijkTabel 5.2:Hasil-hasilpenentuanunitinputyangoptimaldenganprosedur backward versi Kaashoek dan Van DijkTabel 5.3:Hasil-hasilpenentuanjumlahunitneuronyangoptimaldilapis tersembunyi dengan prosedur forward melalui uji R2incremental

Tabel 5.4:Hasil-hasilpenentuanunitinputyangoptimaldenganprosedur forward melalui uji R2incremental

Tabel 5.5:Hasil-hasilpenentuanjumlahunitdilapistersembunyiyang optimal dengan prosedur backward melalui uji WaldTabel 5.6:Ringkasan hasil perbandingan ramalan secara dinamis Tabel 5.7:Hasilperbandinganantarakelimamodelperamalanpadadata training dan testing Tabel 5.8:HasilperbandinganefekpemrosesanawaldatauntukFFNNdan ARIMA pada data simulasi Tabel 5.9:HasilperbandinganefekpemrosesanawaldatauntukFFNNdan ARIMA pada data Airline Tabel 5.10:HasilperbandinganketepatanramalanantaraGSTAR,VAR,FFNN-GSTAR, dan FFNN-VAR pada data produksi minyak xvii INTISARI FEEDFORWARD NEURAL NETWORKS UNTUK PEMODELAN RUNTUN WAKTU oleh Suhartono NeuralNetworks(NN)merupakansalahsatucontohmodelnonlinear yangmempunyaibentukfungsionalfleksibeldanmengandungbeberapa parameteryangtidakdapatdiinterpretasikansepertipadamodelparametrik. SalahsatubentukmodelNNyangbanyakdigunakanuntukberbagaiaplikasi adalahFeedforwardNeuralNetworks(FFNN).Peramalandataruntunwaktu adalah salah satubidang daripemodelanstatistikyangsejak awal telah banyak digunakanuntukaplikasimodelNN.Dalampenerapannya,FFNNmengandung sejumlahparameter(weight)yangterbatas.Bagaimanamendapatkanmodel FFNNyangsesuai,yaitubagaimanamenentukankombinasiyangtepatantara banyaknyavariabelinputdanbanyaknyaunitpadalapistersembunyi(yang berimplikasipadabanyaknyaparameteryangoptimal),merupakantopiksentral dalam penelitian tentang NN. BentukumumFFNNyangdigunakanuntukperamalanruntunwaktu univariatpadapenelitianiniadalahFFNNdengansatulapistersembunyidan satu unit neuron di lapisoutput. Estimasiparameter(weight) model inidilakukan dengan menerapkan algoritma backpropagation pada suatu optimisasi Nonlinear LeastSquares.Denganmenggunakanbeberapateoremaasimtotisdan konvergensi, dapat diturunkan sifat asimtotits estimator yang mengikuti distribusi normalmultivariatasimtotis.Sifatasimtotisestimatoriniselanjutnyadigunakan untuk konstruksi uji statistik Wald yang dapat diimplementasikan untuk inferensia statistikterhadapestimator-estimatormodelFFNN.Suatuujistatistikbaru melalui besaran kontribusi penambahan atau R2incremental telah dapat dikonstruksi. Ujiinidikonstruksimelaluitigatahapanutamapemodelan,yaitumodel Tereduksi, model Lengkap, dan penentuan uji statistikF .Kontribusiutamahasilpenelitianiniadalahdiperolehnyaduaprosedur baruuntukpembentukanmodelFFNNyangdiaplikasikanuntukperamalan runtunwaktu.ProsedurpertamamengimplementasikanujistatistikF pada R2incrementaldalamskemaforwardyang dimulaidenganpenentuanjumlah unitdi lapistersembunyidandilanjutkanpenentuanvariabelinputyangoptimal. ProsedurkeduamenggunakankombinasiantaraujistatistikF padaR2incremental xviii dalamskema forwarduntuk penentuanjumlah unit di lapistersembunyidengan uji Wald dalam skema backwarduntuk penentuan variabel input yang optimal.Hasilkajianempirismenunjukkanbahwaalgoritmainidapatbekerja denganbaikdalammenentukanarsitekturFFNNterbaikyangditerapkanuntuk peramalanruntunwaktu.Hasil-hasilempirisberkaitandenganperbandingan ketepatanramalan antara model FFNNdengan model-model runtun waktu yang lainmenunjukkanbahwatidakadajaminanbahwaFFNNselalumemberikan hasilyangterbaik.Selain itu, kajian empiristentang efekpemrosesan awal data jugatelahdilakukandanmenunjukkanbahwapemilihanmetodepemrosesan awaldatayangtepatdapatsecarasignifikanmeningkatkanketepatanramalan FFNN.Padaakhirnya,kajianperbandinganketepatanramalanpadakasus runtun waktu yang multivariat juga telah diperkenalkan. Hasil perbandingan pada dataproduksiminyakmenunjukkanbahwaFFNNmemberikanhasilramalan yanglebihbaikdibandingkandenganmodelGSTAR(GeneralizedSpace-Time Autoregressive) dan VAR (Vector Autoregressive). Kata kunci : Feedforward Neural Networks (FFNN), backpropagation, uji Wald, R2incremental, pemrosesan awal data, runtun waktu, univariat, multivariat xix ABSTRACT FEEDFORWARD NEURAL NETWORKS FOR TIME SERIES FORECASTING by Suhartono NeuralNetworks(NN)isaprominentexampleofnonlinearmodelwhich has a flexible functional form and contains parameters that have no interpretation such asinparametricmodel.Feed forwardneuralnetworks(FFNN)isthemost commonlyusedNNarchitectureinmanyfieldsofapplication.Timeseries forecasting has been an important application of NN from thevery beginning. In the application of FFNN, it contains limited number of parameters (weights). How tofindthebestFFNNmodel,thatis,howtofindanaccuratecombination between number of input variables and neurons in hidden layer (imply the optimal number of parameters), is a central topic in NN research. Inthispaper,thegeneralformofFFNNusedforunivariatetimeseries forecasting is FFNN whichcontains one hiddenlayer and one unit neuron atthe outputlayer.ParametersestimationofFFNNmodelisdonebyimplementing backpropagationalgorithmontheNonlinearLeastSquaresoptimization. Asymptotic properties of the estimators that follow asymptotic multivariate normal distributioncanbederivedbyusingsometheoremsofasymptoticand convergence. Then, these properties are used to construct Wald test that can be implementedforstatisticalinferenceofFFNNestimators.Byusingcontribution incrementalorR2incremental,thenewstatistictesthasbeenconstructed.Thistest containsthreemainstepsofmodeling,i.e.Reducedmodel,Fullmodel,and determination ofFtest statistic. TwonewproceduresforFFNNmodelbuildingappliedfortimeseries forecastingarethemaincontributionofthisresearch.Thefirstprocedure implementsF testforR2incrementalinferenceinforwardschemethatstartfrom determination of the number of neurons in hidden layer and then selection of the optimalinputs.ThesecondprocedureusesacombinationbetweenF testfor R2incremental inference in forward scheme for determining the number of neurons in hidden layer and Wald test in backward scheme for selecting the optimal inputs. xx Theempiricalresultsshowthattwoprocedurescanworkproperlyfor determiningtheoptimalFFNNarchitecturethatisappliedfortimeseries forecasting. The comparison results between FFNN and other time series models showthatFFNNdoesnotalwaysyieldthebestforecast.Additionally,the empiricalstudyabouttheeffectofdatapreprocessinghasbeenalsodoneand theresultshowsthatdeterminationofanoptimaldatapreprocessingcan increasesignificantlytheforecastaccuracyofFFNN.Finally,thecomparison study betweenFFNN and othertime series modelsonthemultivariate case has beenalsoconducted.Thecomparisonresultbyusingtheoilproductiondata showsthatFFNNyieldsbetterforecastthanGSTAR(GeneralizedSpace-Time Autoregressive) and VAR (Vector Autoregressive) models. Keywords: Feed forward Neural Networks (FFNN), backpropagation, Wald test, R2incremental, data preprocessing, time series, univariate, multivariate. - 1 - BAB IPENDAHULUAN 1.1Latar BelakangPemodelan yang digunakan untuk menjelaskan hubungan nonlinear antar variabel dan beberapa prosedur pengujian untuk mendeteksi adanya keterkaitan nonlineartelahmengalamiperkembanganyangsangatpesatpadabeberapa dekade terakhir ini. Sebagai overview hal ini dapat dilihat antara lain pada tulisan Granger danTerasvirta (1993). Perkembanganyang pesatinijuga terjadi dalam bidangpemodelanstatistik,khususnyamodel-modeluntukruntunwaktudan ekonometrika.Seiringdenganperkembangankomputasidanmeningkatnya kekuatankomputasi,modelnonparametrikyangtidakmemerlukanasumsi bentukhubunganfungsionalantarvariabeltelahmenjadilebihmudahuntuk diaplikasikan.ModelNeuralNetworks(NN)merupakansalahsatucontohmodel nonlinearyangmempunyaibentukfungsionalfleksibeldanmengandung beberapaparameteryangtidakdapatdiinterpretasikansepertipadamodel parametrik.PenggunaanmodelNNdalamberbagaibidangterapansecara umumdidasarimotivasihasilmatematikayangmenyatakanbahwadibawah syaratyangtidakterlaluketat,suatumodelNNyangrelatifsederhanadapat digunakanuntukpendekatansemuafungsiBorelyangdapatdiukurpada sebarangderajatakurasi;sebagaicontohhalinidapatdilihatpadaCybenko (1989), Funahashi (1989), Hornik dkk. (1989, 1990), dan White (1990). Padasaatinibanyakpenelitiandilakukansecaraluasdenganmotivasi adanyakemungkinanuntukmenggunakanmodelNNsebagaisuatualatuntuk menyelesaikanberbagaimasalahterapan,antaralainperamalanruntunwaktu, patternrecognition,signalprocessing,danproseskontrol.Sarle(1994) menyatakan bahwa ada tiga penggunaan utama NN, yaitu : (1). sebagai suatu model sistem syaraf biologi dan kecerdasan, Bab I.Pendahuluan 2(2). sebagaiprosesorsignalreal-timeyangadaptifataupengontrolyangdi-implementasikan dalam hardware untuk suatu terapan seperti robot, dan (3). sebagai metode analisis data. Wongdkk.(2000)telahmelakukansuatusurveiliteratursecaralengkap berkaitandenganpenelitianterapanNNdalambidangbisnisselamaperiode 19941998.Surveyinitelahmengidentifikasisebanyak302artikelpenelitian terapanNNyangterdistribusikanpadaberbagaibidangterapan,yaitubidang akuntansiatauauditing,keuangan,sumberdayamanusia,sisteminformasi, marketing atau distribusi, dan pada bidang produksi atau riset operasi. Dalamperkembangannya,modelNNjugatelahbanyakditerapkanpada bidangkedokteran.AplikasiNNpadabidanginiantaralainuntukdiagnosa myocardinal infarction (Baxt, 1991; dan Pazos dkk., 1992), klasifikasi signal EEG (ReddydanKorrai,1992),scanPET(Kippenhandkk.,1992)danprediksi mekanismeefekperkembanganobatkanker(Weinsteindkk,1992).Selainitu, Somoza dan Somoza (1993) juga telah menerapkan NN pada bidang psikiatri. ModelFeedforwardNeuralNetworks(FFNN)adalahsalahsatubentuk modelNNyangdapatdipandangsebagaisuatukelompokmodelyangsangat fleksibelyangdapatdigunakanuntukberbagaiaplikasi.Bentukkhususmodel FFNNyangpendekatanpemetaannonlinearnyamenggunakanjumlahanbobot kernel-kernel (fungsi aktifasi) Gauss dikenal dengan Radial Basis Function (RBF) networks. Beberapa referensi berkaitan dengan konsep dan bentuk model FFNN secara umumdapat ditemukan di Bishop (1995), Ripley (1996) danFine(1999). SedangkanbeberapaartikelkhusustentangmodelRBFdapatdilihatpada BroomheaddanLowe(1988),MoodydanDarken(1989),sertaPoggiodan Girosi (1990). Secarastatistik,modelFFNNmerupakansuatubagiandarikelompok pemodelan yaitu model regresi nonlinear dan model diskriminan. Referensi yang lengkapberkaitandenganperbandinganantarabeberapamodelNNdengan model-modelstatistikyangklasikdanmoderndapatdilihatpadaChengdan Bab I.Pendahuluan 3Titterington(1994),KuandanWhite(1994),Ripley(1993,1994),Sarle(1994), dan beberapa artikel Cherkassky dkk. (1994). Dalampenerapannya,FFNNmengandungsebanyakparameter(weight) yangterbatas.BagaimanamendapatkanmodelFFNNyangsesuai,yaitu bagaimanamenentukankombinasiyangtepatantarabanyaknyavariabelinput danbanyaknyaunitpadalapistersembunyi(yangberimplikasipadabanyaknya parameteryangoptimal),merupakantopiksentraldalambeberapaliteraturNN yangtelahbanyakdibahaspadabanyakartikeldanbanyakbukusepertipada Bishop(1995),Ripley(1996),Fine(1999),Haykin(1999),ataupadaReeddan Marks II (1999).Secaraumumadaduakelompokteknikatauproseduryangbiasanya digunakanuntukmendapatkanmodelFFNNterbaik(arsitekturoptimal),yaitu prosedur yang general-to-specific atau top-down, suatu prosedur yang dimulai darimodelyangbesar(komplek)dankemudianmenerapkansuatualgoritma untukmereduksibanyaknyaparameter(banyaknyaunitpadalapistersembunyi danbanyaknyavariabelinput)denganmenggunakanaturanpemberhentian iterasitertentu,danproseduryangspecific-to-generalataubottom-upyaitu suatu prosedur yang justru dimulai dari model yang sederhana. Dalam beberapa literatur NN prosedur pertama lebih dikenal dengan istilah "pruning" (Reed, 1993; Reed dan Marks II, 1999), sedangkan dalam kerangka pemodelan statistik dapat dipandangsebagaimetodebackward.Prosedurkedualebihdikenaldengan istilahconstructivelearningdansalahsatuyangtelahbanyakdikenaladalah cascadecorrelation(FahlmandanLebiere,1990;LittmanndanRitter,1996; Prechelt,1997),yangdapatdipandangsebagaisuatumetodeforwarddalam pemodelan statistik. Kaashoek dan Van Dijk (2001) memperkenalkan suatu prosedur pruning denganmengimplementasikantigahal,yaitubesarankontribusipenambahan (R2incremental),analisiskomponenutama,dananalisissecaragrafik,untuk mendapatkanbanyaknyaunitdalamlapistersembunyidanbanyaknyavariabel inputyangoptimaldarisuatumodelFFNN.SedangkanSwansondanWhite (1995,1997a,1997b)menerapkankriteriapemilihanmodelSBICatauSchwarz Bab I.Pendahuluan 4BayesianInformationCriteriapadaprosedurbottom-upuntukpenambahan banyaknyaunitdilapistersembunyidanbanyaknyainputsampaidiperoleh model FFNN yang optimal. Padaperkembangannya,prosedurstatistikainferensiajugaditerapkan dalampenentuanmodelFFNNyangterbaik.Dalamhalinikonsepujihipotesa, distribusiparameterdanpenggunaankriteriakesesuaianmodeldiaplikasikan untuk mendapatkan model FFNN yang optimal. Terasvirta dan Lin (1993) adalah kelompokpenelitipertamayangmengaplikasikanprosedurstatistikainferensia untukmendapatkanbanyaknyaunitdilapistersembunyiyangoptimalpada modelFFNNdengansatulapistersembunyi.Beberapaartikelterakhirtentang pembentukan model FFNN dengan penggunaan statistika inferensia dapat dilihat pada Anders dan Korn (1999), dan Medeiros dkk. (2002).Peramalandataruntunwaktuadalahsalahsatubidangpemodelan statistikyangsejakawaltelahbanyakdigunakanuntukaplikasimodelNN.LapedesdanFarber(1987)merupakansalahsatudaribeberapapeneliti pertamayangmenggunakanNNuntukperamalandataruntunwaktu.Selanjutnya,banyakpenelitiandilakukanberkaitandenganprediksipadadata realruntunwaktu;antaralaindapatdilihatpadadeGrootdanWurtz(1991), Weigenddan Gershenfeld (1993),Swansondan White(1995), Weigend (1996), FarawaydanChatfield(1998),LisidanSchiavo(1999),MotiwalladanWahab (2000),Yao danTan(2000),Leungdkk.(2000),sertapadaKaashoek danVan Dijk(2001,2002).Secaraumumdaribeberapapenelitianyangadatersebut, fokusutamayangdibahasadalahbagaimanamendapatkanmodelNNyang sesuaiuntuksuatudataruntunwaktu.Isuyangsampaisekarangmasih merupakanpertanyaanterbukadanbanyakpenelitilakukandalampenerapan modelNNuntukpemodelanruntunwaktuadalahdalamrangkamenjawab beberapa pertanyaan berikut : (1).Bagaimana prosedur identifikasi yang tepat untuk menentukan variabel input awal sebagai kandidat yang sesuai? (2).Bagaimana cara menentukan variabel input yang tepat? Bab I.Pendahuluan 5(3). Bagaimana cara menentukan jumlah unit yang tepat pada suatu lapis tersembunyi? (4).Bagaimana sifat-sifat estimator (parameter-parameter) pada model NN? (5).Apa kriteria (statistik) yang paling tepat untuk mengevaluasi kesesuaian suatu model NN? (6).Apa bentuk pemrosesan awal data yang tepat pada NN? Berdasarkanpermasalahanterbukayangadaberkaitandenganmodel NN, maka penelitian ini dilakukan dengan tujuan umum untuk mempelajari model NNdalamkerangkapemodelanstatistika.Secarakhusus,pemodelanstatistika yangakandibahaslebih banyakdifokuskanpadamodelruntunwaktuunivariat. Sehingga secara umum penelitian ini adalah dalam rangka mengkaji pendekatan NN untuk analisis runtun waktu. 1.2 Perumusan Masalah ProsedurBox-Jenkinsadalahsuatuprosedurstandaryangbiasanya digunakandalam analisis runtun waktu dengan model Autoregressive Integrated MovingAverageatauARIMA.PadapemodelanNN,adabanyakprosedur pembentukanmodelyangtelahdiperkenalkanolehbeberapapenelititerdahulu. Namun,sampaisaatinibelumadasatuproseduryangditerimasebagaisuatu prosedur standar oleh kalangan peneliti NN, khususnya yang diaplikasikan dalam analisis runtun waktu. Dengandemikian,permasalahanutamadalampembentukanmodelNN dalamkerangkapemodelanstatistik,khususnyamodelruntunwaktuadalah masihbelumadanyasuatuprosedurpembentukanmodelyangstandaruntuk mendapatkan model NN terbaik pada suatu data runtun waktu, yaitu mulai tahap identifikasi,estimasiparameterdanujihipotesisyangberkaitandengan signifikansiparameter,sertatahapcekdiagnosauntukmemvalidasikesesuaian modelmelaluisuatukriteria(ujistatistik)tertentu.Sehinggamasihterbukaluas untukdilakukanpenelitianlanjutberkaitandenganmodelNNdalamkerangka pemodelan statistik, khususnya model runtun waktu.Bab I.Pendahuluan 6Untukitudalampenelitianinifokuspermasalahanyangakandiselidiki peneliti adalahdalamrangkamendapatkan suatuprosedurpembentukanmodel NNyang padaakhirnya diharapkandapat diterima sebagai suatu prosedur yang standar.Beberapapermasalahanutamayangakandiselidikiuntukmendukung pembentukan prosedur standar tersebut adalah sebagai berikut : (1).Pengkajiantentangsifat-sifatestimator(parameteratauweight)model FFNN untuk pemodelan runtun waktu. (2).Pengembangandanpengkajianlanjuttentangkriteria(statistikuji)yang tepat untuk memvalidasi kesesuaian suatu model FFNN untuk pemodelan runtun waktu. (3). Pengkajiandanpengembanganlebihlanjuttentangprosedurpemben-tukan model FFNN yang optimal (kombinasi yang tepat antara banyaknya inputdanbanyaknyaunitdilapistersembunyi)denganmengimplemen-tasikan sifat-sifat estimator dan kriteria statistik yang akan diperoleh untuk pemodelan runtun waktu. 1.3 Batasan Penelitian Permasalahanyangberkaitan denganmodelNNmerupakanpertanyaan terbukayangbegituluasdankompleks.Untukitudalampenelitianiniperlu diberikanbatasanpermasalahanagarpenelitianyangakandikerjakanlebih fokus sesuai dengan rentang waktu yang direncanakan. Batasan yang diterapkan padapenelitiandisertasiiniyaitumodelNNyangdibahasadalahmodelFFNN (FeedforwardNeuralNetworks)dengansatulapistersembunyi,danfungsi aktifasiyangdigunakandalamlapistersembunyiadalahfungsilogistiksigmoid. Pemilihan bentuk FFNN ini dimotivasi dari fakta yang menyatakan bahwa bentuk inidapatmemberikanpendekatansebarangyangakuratpadasebarangfungsi dalamberbagairuangfungsinormjikadimensidariruangbobotadalahcukup besar(Cybenko,1989;Funahashi,1989;Hornikdkk.,1989).Selainitu,per-bandinganketepatanramalanhanyadilakukandenganmodel-modelruntun waktu yang linear. Bab I.Pendahuluan 71.4 Tujuan Penelitian Secaraumumpenelitianiniterbagidalamduakajian,yaitukajianteori berkaitandenganpenurunansifat-sifat estimator (parameteratauweight)model FFNNdanpengembangankriteriastatistikuntukujikesesuaianmodelFFNN, sertakajianterapanberkaitandenganimplementasihasilkajianteoriuntuk mendapatkanprosedurbaruyangdiharapkandapatbekerjaoptimaluntuk pembentukanmodelFFNNpadapemodelanruntunwaktu.Dengandemikian, tujuan dari penelitian ini adalah : A.Kajian Teori (1).Mengkaji penurunan sifat-sifat estimator yang sesuai untuk parameter-parametermodelFFNNyangditerapkanpadapemodelanruntun waktu. (2).Mengembangkandanmendapatkanstatistikujiyangtepatuntuk memvalidasikesesuaiansuatumodelFFNNyangdiaplikasikanpada pemodelan runtun waktu. B.Kajian Terapan (1). Mengembangkandanmendapatkansuatuprosedurpembentukan modelFFNNyangoptimaldenganmengimplementasikansifat-sifat estimator(parameter-parameter)modeldanstatistikujiyangakan diperoleh untuk pemodelan runtun waktu. (2).MembandingkanhasilimplementasimodelFFNNmelaluiprosedur yangdihasilkandalampenelitianinidenganhasil-hasilimplementasi model-modelstatistikstandaryangbiasanyadiaplikasikanuntuk peramalan runtun waktu. 1.5 Tinjauan Pustaka Secara umum analisis runtun waktu menurut Chatfield (2001) mempunyai beberapa tujuan, yaitu peramalan, pemodelan, dan kontrol.Peramalan berkaitan denganproblempembentukanmodeldanmetodeyangdapatdigunakanuntuk Bab I.Pendahuluan 8menghasilkansuaturamalanyangakurat.Pemodelanbertujuanmendapatkan suatumodelstatistikyangsesuaidalammerepresentasikanperilakujangka panjangsuatudataruntunwaktu.Perbedaanpemodelandenganperamalan adalahperamalanlebihcenderungpadasuatumodelyangblack-boxuntuk mendapatkanramalan,sedangkanpemodelancenderungpadamodelyang dapatdiinterpretasikanuntukmenjelaskanapayangsedangterjadiberkaitan denganhubunganantarvariabelpadasuatudataruntunwaktu.Sedangkan tujuanuntukkontrolbanyakdigunakandalambidangteknik,khususnyasignal processing. Pemodelanstatistikuntukanalisisruntunwaktujikadirunutkebelakang, diawaliolehYule(1927)yangmemperkenalkanmodelautoregresilinear(AR) untukmeramalkanbilangantahunansunspot.Sejakitupublikasiberkaitan dengananalisisruntunwaktuberkembangdenganpesat.Sampaitahun1980, sebagianbesarpenelitianterfokuspadamodelruntunwaktulinear,khususnya kelas model linear Autoregressive Integrated Moving Average (ARIMA). Box dan Jenkins (1976) mengembangkan suatu prosedur yang lengkap untuk metodologi model ARIMA yang sampai sekarang digunakan sebagai prosedur standar dalam pembentukanmodelruntunwaktulinear.Beberapaliteraturyangbanyak membahasmodelARIMAinidapatdilihatpadaCryer(1986),Wei(1990)dan Box dkk. (1994). Selainitu,sifat-sifatyangberkaitan denganteoristatistikuntuk modelARIMAjugatelahbanyakdianalisisdandikembangkanolehbeberapa peneliti, antara lain telah dilakukan oleh Brockwell dan Davis (1991). Dalamperkembangananalisisruntunwaktu,telahbanyakdiketahui bahwabanyakfenomenayangmenarikdansederhanaseringkalimerupakan fenomena yang nonlinear, yaitu hubungan antara kejadian di masa lalu dan saat iniadalah nonlinear.Dengan demikian, kelompokpemodelanruntun waktu yang lineartidaklahcukupdansesuaiuntukkasus-kasustersebut.Sebagai konsekuensinya,model-modelruntunwaktunonlineartelahmenjadifokus perhatianutamapenelitiruntunwaktupadabeberapatahunterakhirini. Beberapabentukmodelnonlineartelahdikembangkandandiaplikasikanpada beberapakasusruntunwaktu,dansebagaioverviewataudiskusilanjuthalini Bab I.Pendahuluan 9dapat ditemukan di Tong (1990), Priestley (1991), Lee dkk. (1993), serta Granger dan Terasvirta (1993). 1.5.1 Konsep Dasar pada Analisis Runtun waktu Padabagianiniakandijelaskansecararingkasbeberapakonsepdasar padaanalisisruntunwaktu,berkaitandenganidedasardanbeberapadefinisi yang sering digunakan. Secara lebih lengkap hal ini dapat dilihat pada Brockwell dan Davis (1991). Runtunwaktuadalahsuatuderet(barisan)daripengamatan tY pada suatuvariabelY ,yangtiap-tiappengamatandicatatpadasuatuwaktutertentu T t .DalamhaliniTadalahhimpunandariwaktudimanapengamatan-pengamatantersebutdilakukan.JikaTadalahsuatuhimpunanyangdiskrit, maka} , { T t Yt adalahsuaturuntunwaktuyangdiskrit.} , { T t Yt merupakan notasikeseluruhansuaturuntunwaktu,dimana tY adalahpengamatandari } , { T t Ytpada waktu ket . Pada kasus runtun waktu yang diskrit, pengamatan-pengamatan biasanya diambil pada interval waktu yang sama. Dalam hal ini axis waktu T diasumsikan sama dengan = {0,1,2,}, sehingga secara umum untuk axis waktu T adalah sama dengan = {0,t1,t2,}. Pendekatanstatistikpadaanalisisruntunwaktudilakukandengan menggunakanmodel-modelstatistikuntukmenjelaskanperilakudinamisdari suaturuntunwaktu.Halinimengasumsikanbahwasuaturuntunwaktudi-bangkitkandarisuatumekanismeataumodelyangstokastik,yangbiasanya didefinisikandengansuatupersamaanbedayangstokastik.Persamaanbeda yangstokastikterdiridarisuatupersamaandanbeberapakondisiawal.Hasil atau solusidari modeliniadalah suatu proses stokastik, yaitusuatu barisan dari variabelrandom} {tYyang didefinisikanpadaruang probabilitas (,,). Untuk tertentu,) (tY disebutsuaturealisasi(samplepathatautrajectory)dari } {tY . Setiap pengamatan) (tYadalah suatu nilai realisasi dari variabel random tYyang nilai-nilainya diperoleh dalam ruang Euclidean d-dimensi d. Bab I.Pendahuluan 10Contoh 1.5.1.Diberikan suatu model linear AR orde pertamat t tY Y + 1 1, ,..., 2 , 1 t (1.5.1) dan 0Y adalahsuatuvariabelrandomyangmerepresentasikankondisiawal.Dalam hal ini} {tadalah suatu barisan yang terdistribusikan secara identik dan independen(IID)darivariabelrandomyangmerepresentasikangangguanatau errorataudisturbanceterms.Penyelesaian} {tY daripersamaan(1.5.1)adalah suatu proses stokastik + 101 0 1tti tt ttY Y , ,... 2 , 1 t . (1.5.2) Sifat penting untuk analisis runtun waktu adalah proses-proses (stokastik) tersebutmerupakanprosesyangstasioner,yaitufungsi-fungsidistribusinya secarakeseluruhanadalahindependenterhadapwaktu.Definisi-definisiberikut berkaitan dengan proses stokastik yang stasioner. Definisi1.5.1.(BrockwelldanDavis,1991)Suatuproses} {tY dikatakan stasionerkuatjika) ,..., , (2 1kt t tY Y Y dan) ,..., , (2 1+ + + h t h t h tkY Y Y mempunyai fungsi distribusi bersama yang sama untuk semua bilangan bulat1 hdan untuk semua h t t tk, ,..., ,2 1. Proses-prosesdenganmomenpertamadankeduayangindependen terhadapwaktujugamenjadiperhatiandalamanalisisruntunwaktu.Definisi-definisiberikut berkaitan dengankonsepstasionerlemahataustasionersampai orde kedua. Definisi1.5.2.(BrockwelldanDavis,1991)Jikadiberikan} {tY adalahsuatu prosesdengan 2tY , } | :| {* *< w w w S . Proposisi3.2.1.(White,1989b)Misalkan} {nZ adalahsuatubarisanvektor 1 v yangrandomIIDsedemikianhingga < < | |nZ .Misalkan l l vm : adalahdapatditurunkansecarakontinupada l v dan anggap bahwa untuk setiapw dalam l , < )) , ( ( ) ( w Znm E w M .Misalkan } {+ n adalahsuatubarisanmenurunsedemikianhingga 1 nn , < ) sup( lim111n n n dan d . Definisikan suatu estimatormrekursif)~, (~ ~1 1 + n n n n nm w Z w w untuk) , 2 , 1 ( K n ,dengan l 0~wadalah sebarang. (a).Anggapbahwaada lQ: dapatditurunkansecarakontinuduakali sedemikianhingga0 ) ( ) ( w wM Q untuksemuawdalam l .Maka salahsatu} 0 ) ( ) ( : {~ * w w w W w M Qnatau nw~dengan probabilitas 1. (b).Anggapbahwa l *w adalahsedemikianhingga0 ]~Pr[*> Snwuntuk0 > . Maka0 ) (* w M .Jika, sebagai tambahan,Madalah dapat diturunkansecarakontinyudalampersekitarandari *w dengan ) (* *w M M terbatas,danjika) ) , ( ) , ( (* * * w Z w Z Jn nm m E adalah terbatasdandefinitpositif,maka *M mempunyaisemuanilaieigen dalam setengah sisi sebelah kiri. (c).Anggap bahwa kondisi dari bagian (a) terpenuhi, bahwa) ( ) ( w w Q M , bahwa) (w Q mempunyaititik-titikstasioneryangterisolasi,danbahwa kondisi-kondisidaribagian(b)terpenuhiuntuksetiap * *W w } 0 ) ( : { w w Q . Bab III.Feedforward Neural Networks 57Makauntuk n salahsatu nw~cenderungkesuatuminimumlokaldari ) (w Qdengan probabilitas 1 atau nw~ dengan probabilitas 1. UntukmengaplikasikanProposisi3.2.1padametodebackpropagationdi FFNNdengansatulapistersembunyi,diperlukanbeberapakondisiformalyang sesuai.Asumsi3.2.1.Suatubarisanpelatihanatautraining} ) , ( { n n nX Y Z adalah suatubarisanvektorrandomIIDsedemikianhingga < < | |nZ . nYmempunyainilai-nilaiyangberadadalam p , nX mempunyainilai-nilaidalam ,r p r, ,p r v + . Asumsi3.2.2.Diberikaninput rx ,outputnetworkdiberikandengan ko +qj kj j j k kF1 0) ) ( ( x ) , ( w xkf ,p k , , 2 , 1 K ,dengan :kFdan] 1 , 0 [ : j .Suatufungsi) , , (1 pF F F K ,) , , (1 q K mem-punyaielemen-elemenyangdapatditurunkansecarakontinusampaiorde2 pada.Kitatulis l ) , ( w ,p r p q l ) ( + dengan) , , (1 q K , ) , , , (1 1 0 jr j j j K ,) , , , (2 1 p K ,) , , , (1 0 kq k k k K . Perludicatatbahwafungsi kF dan j dapatsemuanyaberbedadan tambahan suatu bias pada lapistersembunyidengan mencantumkan 0 k .Bias pada lapis input dilakukan dengan menggunakan10 nX . Fungsi kFtidak harus suatupemetaankesuatuunitinterval;bolehjugamemilih kF sebagaisuatu fungsi identitas. Asumsi 3.2.3. } {+ nadalah suatu barisan menurun sedemikian hingga (a). 1 nn, (b). < ) sup( lim111n nn , dan (c). d . Bab III.Feedforward Neural Networks 58Berikutadalahnotasi-notasiyangdigunakan.Misalkan) , , (1 pf f K f , danmisalkanf adalahsuatumatriksJacobianl p darif terhadapw. Misalkan)) ( ( ) ( w wnq E Q ,dengan2 / )) ( ( ) ) ( ( ) ( w w wn n n n nf Y f Y q [sedemikianhingga)) ( ( ) ( ) ( w w wn n n nf Y f q ],dantetapkan ) (* *wn nq q .Tulis)~(~1 n n nf f wdan)~(~1 n n nf f w . Teorema3.2.1. (White,1989b) DiberikanAsumsi3.2.13.2.3, definisikansuatu estimator backpropagation)~(~~ ~1 n n n n n nf Y f + w w , K , 2 , 1 n . (3.2.5) dengan 0~w adalahsembarang.Makasalahsatudari * ~W w n} 0 )) ( ( : { w wnq E denganprobabilitas1atau nw~dengan probabilitas1.Jika,sebagaitambahan,) (w Q mempunyaititik-titikstasioner yangterisolasi sedemikianhingga) ' (* * *n nq q E J adalahdefinitpositifuntuk setiap W w ,makasalahsatu nw~konvergenkesuatuminimumlokaldari ) (w Qdengan probabilitas 1 atau nw~ dengan probabilitas 1. Dengandemikianestimatorbackpropagationadalahdivergenatau konvergen ke suatu titik stasioner dari) (w Q . Jika titik-titik stationer ini memenuhi suatukondisiyang dapatdiidentifikasi secara lokal, maka backpropagation akan divergen atau konvergen ke suatu minimum lokal dari) (w Q . Kondisi yang dapat diidentifikasiinimengesampingkankondisitepatdalam) (w Q ,disebabkanoleh inputatauunitdilapistersembunyiyangredundant.Kondisidapatdiidentifikasi secaralokaltidakmengesampingkansuatukemungkinanakandiperolehnya minimum global yang berganda.Hasilinimemformalkanketerbatasandaribackpropagation,yaitudapat berhentipadaminimumlokalataupadatitik-titikbelok,ataudivergen.Sehingga adalahmasukakaluntukmenetapkannilai-nilaiyangberbedauntuk 0~w , misalkansaja i0w ) , , 2 , 1 ( N i K ,mengaplikasikansuatualgoritmauntuk mendapatkan inw~) , , 2 , 1 ( N i K ,dankemudianmemilihsuatuestimatoryang memberikan nilai terkecil untuk ntin tinq n Q11)~(~w . Ini biasanya menghasilkan suatuestimasiyangkonsistenuntuksuatuminimumlokal,walaupuntidakada Bab III.Feedforward Neural Networks 59jaminanbahwa hasil ituakanmencapai nilai yang dekat dengan suatu minimum global. Untukkelengkapanterhadapjaminankonvergendariestimatorpada pembelajarannetworksepertipadaPersamaan(3.2.4)diberikanteorema sebagai berikut. Teorema3.2.2.(White,1989b)Misalkan) , F , ( P adalahsuaturuang probabilitas lengkap yang didefinisikan pada suatu barisan variabel random yang IID, : ( } {vt t Z ) , 2 , 1 K t , v } , 2 , 1 { K .Misalkan W lv:adalahsuatufungsisedemikianhinggauntuksetiapwdalamW ,suatusub-himpunan kompak dari s , s ,) , ( w l adalah ukuran-v(dengan vadalah suatu -fieldBoreldenganhimpunan-himpunanterbukadari v ),danuntuk setiapzdalam v ,) , ( z ladalah kontinupadaW. Anggap selanjutnyabahwa ada + vd :sedemikian hingga untuk semuaw dalamW,) ( | ) , ( | z d z l wdan < )) ( (tZ d E (yaitu,l terdominasipadaWolehsuatufungsiyangdapat diintegralkan). MakauntuksetiapK , 2 , 1 n adasuatupenyelesaian nw untukper-masalahan nt t n W wl n Q11) , ( ) (min w Z w dan, . . *P s an W w dengan ) ( ) ( : {* * *w w W w W Q Q untuk semua} W w ,)) , ( ( ) ( w Z wtl E Q . 3.3 Sifat Normalitas Asimtotis Estimator Backpropagation Konsepformalyangtepatuntukmempelajaridistribusilimit(asimtotis) nw adalahkonsep-konseptentangkonvergensidalamdistribusisepertiyang telah ditulis pada Bab II. Distribusi asimtotis nwtergantung pada sifat dasar *W . Secaraumum *W mungkinterdiridarititik-titikyangterisolasidan/ataubagian datar yang terisolasi. Jika konvergensi ke suatu bagian datar terjadi, maka bobot-bobottaksisran nw mempunyaisuatudistribusiasimtotisyangdapatdianalisis dengan menggunakan teori dari Phillips (1989) tentang model yang teridentifikasi secaraparsial.Distribusi-distribusiinitermasukdalamkeluargaGaussian gabunganasimtotisataulimitingmixedGaussian(LMG)sepertiyang Bab III.Feedforward Neural Networks 60dikenalkanolehPhillips.Ketika *w adalahuniksecaralokal,modeldikatakan teridentifikasisecaralokal dan bobot-bobottaksiran nw yangkonvergen ke *wmempunyai distribusi normal multivariat asimtotis.Berikutiniadalahteorema-teoremayangberkaitandengankondisi-kondisiyangmemastikanbahwa nw mempunyaidistribusinormalmultivariat asimtotis. Teorema3.3.1.(White,1989b)Misalkan) , F , ( P ,} {tZ ,Wdanl adalah sepertidalamTeorema3.2.2,dananggapbahwaP s an . . *w w dengan suatu elemen terisolasi pada *Wbagian dalam (interior) untukW. Anggapsebagaitambahanbahwauntuksetiapz dalam v ,) , ( z ladalahdapatditurunkansecarakontinusampaiorde2pada W;bahwa < )) , ( ) , ( (* *w wt tZ l Z l E ;bahwasetiapelemendaril2 adalah terdominasipadaWsuatufungsiyangdapatdiintegralkan;danbahwa )) , ( (* 2 *w AtZ l E dan) ) , ( ) , ( (* * * w w Bt tZ l Z l E matriks-matriksnon-singularberukuran) ( s s ,dengandan 2 adalah notasi dari gradien) 1 ( sdan operator-operator Hessian) ( s s terhadapw. Maka) , ( ) (* *C 0 w w dnn ,dengan 1 1 * A B A C .Jika sebagai tambahan, setiap elemenl l adalah terdominasi padaW oleh suatu fungsiyangdapatdiintegralkan,makaP s an . .C C ,dengan 1 1 n n n nA B A C , dan nZ lnt n tn 12) , (wA , nZ l Z lnt n t n tn 1) , ( ) , (w wB . Proposisi3.3.1.(White,1989a)Misalkankondisi-kondisiProposisi3.2.1(a,b) terpenuhi,dananggapjugabahwa < < | ) , ( | wnZ m a.s.untuksemuaw dalam s . Misalkan adalah nilai maksimum bagian realdari nilai-nilai eigen M dananggap 21 < .Definisikan)] , ( var[ ) ( w wnZ m J dananggapJadalahkontinyupadasuatupersekitarandari *w .Tetapkan) ( w J J dan 1 nn . Bab III.Feedforward Neural Networks 61Makasuatubarisanelemen-elemenrandom) (a Tndari] 1 , 0 [ l CRdengan norm sup , didefinisikan dengan 2 / 1] [ 1 ] [2 / 1] [) ])( [ () (nS S na nanSa Tna na nan + +,] 1 , 0 [ a , dengan)~( w wn nn S ,konvergendalamdistribusikesuatuprosesMarkov GaussianGdengand t a a Ga) )( (ln exp[ )] )( exp[(ln ) (] , 0 (I M M I + + W) (t , ] 1 , 0 ( a , denganWadalahsuatugerakBrowniandalam s ,denganW 0 ) 0 ( ,dan ( E W0 )) 1 ( , serta( E W) 1 ( W) ) 1 ( J . Secara khusus,) , ( )~(2 / 1 F 0 w wdnn ,dengan + + ] 1 , 0 (']) )[ (ln exp( ]) )[ (ln exp( dt t t I M J I M F adalahsuatu penyelesaian yang unik pada persamaan ) 2 / 1 ( ) 2 / 1 ('+ + + M F F M J . Ketika M adalahsimetrik, 1 PHP F ,denganP adalah matriksortogonal sedemikianhingga M P1dengansuatumatriksdiagonalyang terdiriatassuatunilai-nilaieigen(real),) , , (1 s K ,dari M dalamurutan menurun, danH adalah suatu matrikss s dengan elemen-elemen) 1 ( +j iijijKH ,s j i , , 2 , 1 , K , denganP J P K 1] [ijK . UntukmenerapkanProposisi3.3.1padabackpropagation,diperlukan penguatan Asumsi3.2.2 dan 3.2.3 seperti yang dijelaskan berikut ini. Asumsi 3.3.1.Asumsi 3.2.2 terpenuhi, dan elemen-elemen dariFdan turunan-turunan dariFdan adalah terbatas. Bab III.Feedforward Neural Networks 62Secarategas,kondisiinimengenyampingkansuatukasusdimanaFadalahsuatupemetaanidentitas.Bagaimanapun,gunakan ) (kF untuk < | | dan kF adalahfungsiyanghalus(smooth)danterbatasuntuk > | | ( besar), membolehkan pendekatan yang identik untuk hasil-hasil yang diperoleh ketika kFadalah suatu pemetaan identitas, diberikan batasan pada tY . Asumsi 3.3.2.UntukK , 2 , 1 n , 1 nn ,0 > . Teorema3.3.2.(White,1989b)DiberikanAsumsi3.2.1,3.3.1dan3.3.2, definisikan nw~sepertipada Persamaan(3.2.5).Anggapbahwa ~ . . w ws an, w suatutitikstasioneryangterisolasipada) (w Q dengan J definitpositif. Lebihlanjut,anggapbahwa 1) 2 ( > ,dengan0 > adalahnilaieigen terkecil dari Q2) (2 w Q . Makadengan) (a TnsepertidalamProposisi3.3.1,) (a Tnkonvergen dalamdistribusikesuatuprosesMarkovGaussianG dengandidefinisikan dengan ]) )[ exp((ln ) (2 Q a a G I ] , 0 (2)] )( exp[(lnaQ t I d W) (t ,] 1 , 0 ( a , denganWadalahsuatugerakBrowniandalam s ,denganW 0 ) 0 ( ,dan ( E W0 )) 1 ( , serta( E W) 1 ( W) ) 1 ( J . Secara khusus,) , ( )~(2 / 1 F 0 w wdnn ,dengan 1 PHP F ,danPadalahmatriksortogonalsedemikianhingga 1 P Q2dengansuatumatriksdiagonalyangterdiriatassuatunilai-nilai eigen) , , (1 s Kdari Q2 dalam urutan menurun (semakin kecil), danH adalah suatu matrikss s dengan elemen-elemen) 1 (2 +j iijijKH ,s j i , , 2 , 1 , K , denganP J P K 1] [ijK . Berdasarkanhasil-hasilteoridiatas,dengandemikiandapatdijelaskan bahwa backpropagation menghasilkanestimatordengan perilaku asimtotis yang Bab III.Feedforward Neural Networks 63dapatdigambarkansecaratepatolehsuatuprosesGaussiantertentu.Halini memberikankemungkinanuntukmelakukanujihipotesistentangkekuatan hubungandalamnetworks,yangmencakuphipotesistentangrelevansiatau signifikansi variabel-variabel input dan unit-unit di lapis tersembunyi. White(1989a)telahmelakukankajianteoritiktentangperbaikanhasil pembelajaranpadanetworks.Dalamhalini,teknikrekursifmurnidariback-propagation dihilangkan. White membuktikan bahwa metode pembelajaran untuk menyelesaikanPersamaan(3.2.4)secaralokaluntukperformansikuadrat kesalahanadalahrelatifefisiensecaraasimtotisdibandingmetodeback-propagation.Berikutiniadalahbeberapateoremadihasilkandalamkajian tersebut.Teorema 3.3.3. (White, 1989a).Misalkan s sM :mempunyai nol unik wbagian dalam untuk suatu himpunan kompak yang konvek s Wdan anggap M dapatditurunkansecarakontinupadaWdengan M terhinggadan nonsingular.Misalkan, ( ) , FP adalahsuaturuangprobabilitas,dananggap adasuatubarisan} : {snM W sedemikianhinggauntuksetiapw dalamW,) , ( w nM adalahmeasureable- Fdanuntuksetiapwdalam ) , ( , wnM dapatditurunkansecarakontinupadaW,denganJacobian ) , ( w Mn. Anggap bahwa untuk suatu matriks definit positif B ,) , ( ) , (2 / 1 B 0 wdnM n ,danbahwa0 ) ( ) , ( w w M Mn,0 ) ( ) , ( w w M Mna.s.) ( P secara seragam padaW. Misalkan} :~{sn w adalahsuatubarisanyangdapatdiukursede-mikianhingga ~ . . w ws andan)~(2 / 1 w wnn adalah) 1 (pO .Maka,dengan )~, (~n n nM M w dan)~, (~n n nM M w , n n n nM M~ ~~1 w w adalah sedemikian hingga w w. .s an dan) , ( ) (2 / 1 C 0 w wdnn ,dengan '1 1 A B A C , M A . Bab III.Feedforward Neural Networks 64Jikaada}~{nB sedemikianhingga B B. .~s an,makadengan n nM~ ~ Adiperoleh bahwa '1 1~ ~ ~ ~ n n n nA B A C C. .s a. KegunaandariTeorema3.3.4adalahbahwa nw dapatmenghasilkan suatu perbaikan atas nw~, yaitu dalam hal mempunyai matrik kovarians asimtotis yang lebih kecil. Teorema3.3.4.(White,1989a).Misalkankondisi-kondisidariTeorema3.3.3 terpenuhidengan w suatu nolyangterisolasipada0 )) , ( ( ) ( w wnZ M E M , danmisalkanWadalahsuatupersekitarankompakyangkonvekdari w . Tetapkan nt t nZ m n M11) , ( ) , ( w w sedemikianhingga ) , ( wnM nt tZ m n11) , ( w ,dananggapbahwam terdominasipadaWolehsuatu fungsiyangdapatdiintegralkan.Misalkan nw~adalahsuatuestimator- myang rekursifdandefinisikan n n n nM M~ ~~1 w w ,K , 2 , 1 n .Makakesimpulan-kesimpulan dari Teorema 3.3.3 terpenuhi dan C Fadalah semidefinit positif. 3.4 Uji Hipotesa untuk Parameter Model Neural Networks Padabagiansebelumnyatelahditunjukkanbahwapenggunaansatu tahapNonlinearLeastSquares(NLS)Newton-Raphsondariestimatorback-propagationmenghasilkansuatuestimatoryangekuivalensecaraasimtotis denganNLS.Suatukenyataanbahwa C F semidefinitpositifadalahsuatu alasanuntukmenyatakanbahwatahapaniniadalahpembelajarankonsolidasi, karena nw mempunyaipresisiasimtotisyangsamaataulebihbesardaripada nw~. Dengan demikian uji hipotesa berdasarkan nwadalah lebih bermanfaat dari pada berdasarkan nw~. Karena pencapaian presisiyang lebih baik ini,makauji hipotesis sebaik-nyadilakukandenganmenggunakan nw .Suatuujitentangrelevansi (signifikansi)inputyanghipotesisnyadapatdinyatakandengan0 Sw :0Hmelawan0 Sw :1H ,dapatdilakukanberdasarkanpadaversi-versistatistik Wald, Lagrange multiplier, dan Likelihood ratio.Bab III.Feedforward Neural Networks 65BerikutiniadalahCorollary,ProposisidanTeoremayangdiperlukan untukmenurunkandanmembuktikanTeoremauntukstatistikWaldpada parameter model NN. Corollary3.4.1.(White,1999)Misalkan} {nX adalahsuatubarisanvektor random1 ksedemikian hingga) , 0 (2 / 1I X V dn n,dengan} {nVdan} {1 nVadalah) 1 ( O .Misalkan} {nY adalahsuatubarisan) 1 ( O darimatriks(non stokastik)k q denganrankbarispenuhq untuksemuancukupbesar, seragam dalamn. Maka barisan nX { }nYadalah sedemikian hingga ) , (2 / 1I 0 N Y X dn n n, dengan n n n nX V X dan ndan 1 nadalah) 1 ( O . Proposisi3.4.1.(White,1999)Misalkan l kg : adalahkontinyupada suatuhimpunankompak k C .Anggapbahwa} {nY adalahsuatubarisan vektorrandom1 k dan} {nZ adalahsuatubarisanvektor1 k sedemikian hingga0 pn nZ Y ,danuntuksemuancukupbesar, nZ adalahbagian dalamC, secara seragam dalamn. Maka0 ) ( ) ( pn ng g Z Y . Teorema3.4.1.(White,1999)Misalkan) , 0 (2 / 1kdn nN I Y V ,dananggap bahwaada nVyangsemidefinitpositifdansimetriksedemikianhingga 0 pn nV V ,dengan nV adalah) 1 ( O ,danuntuksemuancukupbesar, 0 ) det( > >nV . Maka 2kdn n n Y V Y . Padaakhirnya,dapatdikonstruksiteoremabaruyangberkaitandengan statistikWaldyangdigunakanuntukpengujianhipotesispadaparametermodel NN dapat dikonstruksi seperti berikut ini. Teorema 3.4.2.Misalkan kondisi-kondisi pada Teorema 3.3.3 di atas terpenuhi, yaitu Bab III.Feedforward Neural Networks 66(i) ) , ( ) (2 / 1I 0 w w C dnn ,dengan '1 1A B A C ,dan 1 Cadalah) 1 ( O . (ii) Ada suatu matriks semidifinit positif dan simetris nB sedemikian hingga B Bn0 p.Maka C Cn0 p,dengan 1 1 n n n nA B A C ,n, Z lnt n tn 12) (wA , nZ l Z lnt n t n tn 1) , ( ) , (w wB , Dan, misalkank q ) ( rank S .Maka dibawahs H Sw :0, (i) ) , ( ) (2 / 1I 0 s w S dn nn , dengan 'nS SC ''S A B SA1 1 . (ii) Suatu statistik Wald,2 1) () (qdn n n nn W s w S s w S ,dengan 'n nS C S . Bukti:DenganmenggunakanCorollary,ProposisidanTeoremadiatas, diperoleh pembuktian untuk Teorema 3.4.2 sebagai berikut. (i)Di bawah,0H ) w w S( s w Sn n, didapatkan ) ( ) (2 / 1 2 / 12 / 1 2 / 1 w w C SC s w S n n n nn n . MengikutiCorollary3.4.1,denganS A ndan) ( w w bn nn , sehingga diperoleh) , ( ) (2 / 1I 0 s w S dn nn . (ii)DariTeorema3.3.3diketahuibahwa0. s anC C ,akibatnya 0 pnC C .MengikutiProposisi3.4.1,dengan)(n ng C dan ) ( C gn,sehinggadidapatkan0 pn n .Diberikanhasil dalambagian(i),yaitu) , ( ) (2 / 1I 0 s w S dn nn ,makadengan menggunakan Teorema 3.4.1 diperoleh 2 1) () (qdn n n nn W s w S s w S . Dengandemikian,suatuujitentangrelevansi(signifikansi)inputyang hipotesisnyadapatdinyatakandengan0 Sw :0H melawan0 Sw :1H , Bab III.Feedforward Neural Networks 67dapatdilakukandenganmengaplikasikanTeorema3.4.2ini.Sebagaicontoh, statistik uji Wald dapat dihitung untuk pengujian hipotesis ini yaitun n nn W w S S SC S w ) ( 1 , dengan C sepertiyangdijelaskansebelumnya.Realisasidarivariabelrandom initidakdapatdihitung,karenameskipunpernyataansecaraanalitisuntuk Cada,suatukeadaantentanghukumprobabilitasP dibutuhkanuntukevaluasi secaranumerik.Untungnya,suatutaksiran C dapatdikonstruksi,yaitu 1 2 1 2 n n n nQ Q J Cdengan) , (2 2n n nQ Q w ,dan nt t t t t nf f n11 Jdengan) (n t tf f w ,) ( n t t tf Y w .UjistatistikWald nWadalahlebih mudahdihitungdaripada nW~karena nClebihmudahdihitung.Ketikakondisi-kondisi aturan standar terpenuhi, maka2 1 )( qdn n nn w S S C S S w , di hipotesis 0Hyang menyatakan bahwa input tidak relevan. - 68 -BAB IVFFNN UNTUK PERAMALAN RUNTUN WAKTU Peramalanruntunwaktumerupakansalahsatubidangutamadalam aplikasiFFNN.Dalamkasusini,FFNNdapatdipandangsebagaisuatumodel runtun waktu yang nonlinear. Jika diberikan tadalah suatu himpunan informasi yang didefinisikan t } 0 , ; 0 , { > i X j Yi t j t,n t , , 2 , 1 K ,(4.1) yang menyatakan semua variabel lag tYdan suatu vektor variabel eksogen tX , makaprosespemodelanruntunwaktusecaraumumbertujuanmendapatkan suatu pendekatan yang baik untuk) (tI fsedemikan hingga ) ( ] | [t t tI f Y E .(4.2)Terasvirtadkk.(1994)menjelaskanbahwaadatigatahapanstrategipemodelanyangbanyakdilakukanpadakelompokmodelruntunwaktu nonlinear. Secara ringkas tahapan tersebut adalah : (i).Uji linearitas tYdengan menggunakan informasi t Banyak kemungkinan bentuk dari nonlinearitas, dan sampai saat ini tidak adasatutesyangmampumelakukansemuakemungkinannonlinear tersebut, sehingga beberapa tes mungkin diperlukan. (ii).Jika linearitas ditolak, gunakan beberapa alternatif model parametrik nonlinear dan/atau model-model nonparametrik.Dalamhalini,hasilujilinearitasjugamungkinmemberikanpetunjuk tentang model nonlinear yang sebaiknya digunakan. (iii). Model-model tersebut selanjutnya diestimasi dalam sampel (in-sample) dan dibandingkan pada data validasi (out-of-sample).Sifat-sifatdarimodeltaksiranharusdiselidikidandivalidasi.Jikasuatu modeltunggalterbaikyangdibutuhkan,makamodelyangmemberikan Bab IV.FFNN untuk Peramalan Runtun waktu 69 hasilout-of-sampleterbaikyangdipilih,dankemudianlakukanestimasi kembali pada semua data yang ada. Pada bab ini akan diberikan hasil-hasil kajian teori dan terapan tentang uji nonlinearitas pada runtun waktu, dan kajian teori tentang prosedur pembentukan FFNN untuk peramalan runtun waktu. 4.1 Uji Nonlinearitas pada Data Runtun waktuSeperti yang dijelaskan pada tahapan pemodelan runtun waktu nonlinear olehTerasvirtadkk.(1994),bahwatahappertamasebelummenerapkansuatu modelruntunwaktunonlinear(sepertiFFNN)adalahmelakukanujilinearitas padaruntunwaktu.Adabeberapaujinonlinearitasyangtelahdikembangkan, antaralainujiRESET,bispectral,BDS,danujitipetipeLangrangeMultiplier (LM). Kajian perbandingan kebaikan uji-uji ini dapat dilihat pada Lee dkk. (1993). Padabagianiniakandipaparkanhasil-hasilkajianteoridanterapan berkaitandenganujilinearitasyangdikembangkandarimodelneuralnetwork, yangdikenaldenganujilinearitastipeLMdenganekspansiTaylor.Kajianteori difokuskanpadapenurunanujistatistik.Sedangkankajianterapanlebih menitikberatkanpadaberfungsinyaujistatistik,danmengevaluasiadanya kemungkinankelemahandariujistatistiktersebut.Secaralengkaphasildari kajian ini telah dipublikasikan dan dapat dilihat di Suhartono dan Subanar (2004) serta Subanar dan Suhartono (2005, 2006a). 4.1.1 Penurunan Uji Nonlinearitas Tipe Lagrange Multiplier (LM) dengan Ekspansi Taylor Perhatikan model nonlinear t t t tu I I Y + + ) ( (4.1.1) dengan~tu IIDN ) , 0 (2 ,)~, 1 ( t tI I ,) , , (~1 p t t tY Y I K ,) , , , (1 0 p K , )~, (0 dan) , , (~1 p K .Dalammodel(4.1.1)ini, tI dibatasihanya variabel lag tYdan tidak melibatkan variabel eksogen tX .Misal diberikan Bab IV.FFNN untuk Peramalan Runtun waktu 70 ) ( ) (0 t tI I ,(4.1.2) dengan (lihat Terasvirta dkk. (1993)) 211)} exp( 1 { ) ( + t tI I . (4.1.3) Dengandemikianpersamaan(4.1.1)dapatdiinterpretasikansebagaisuatu modelautoregresifnonlineardengankonstanta) (0 0 tI + ,yangvariatif terhadapwaktudanberubahsecarahalusdari) 2 (0 0 ke) 2 (0 0 +dengan tI . Model(4.1.1)adalahkasuskhususdarimodelneuralnetworksdengan satu lapis tersembunyi, yaitu (lihat Terasvirta dkk. (1993)) + + qjt t j j t tu I I Y1210} ) ( { , (4.1.4) denganqadalah banyaknya unit neuron pada lapis tersembunyi. Secara visual, arsitektur model neural networks ini dapat dilustrasikan seperti pada Gambar 4.1. Perhatikanpersamaan(4.1.1) dengan(4.1.2)danujihipotesisbahwa tYadalahlinear,yaitu t t tu I Y + denganasumsibahwaprosesstasioner.Jadi hipotesisnoldapatdidefinisikansebagai0 :0 0 H .Untukmodel(4.1.4) hipotesis nolnya adalah0 :0 02 01 0 qH L , yangdisebuthipotesislinearitasdariujineuralnetworksmelawannonlinearitas yangterabaikan(lihatWhite(1989c)danLeedkk.(1993)).Selanjutnya,jika diberikan bahwa0 ) 0 ( maka halini berimplikasi pada kemungkinan lain untuk hipotesis nol untuk linearitas, yaitu 0 :*0H(4.1.5) melawan hipotesis alternatif0 . Bab IV.FFNN untuk Peramalan Runtun waktu 71 ) , , , (1 0 p K ) , , , (1 0 p j K) , , (0 01 0 q j K M Lapis Output (Va riab el Depend en) M Lapis Input(La g Va ria b el Dep end en) Lapis Tersembunyi (qunit neuron) Gambar 4.1.Arsitektur model neural networks satu lapis tersembunyi pada persamaan (4.1.4). Hipotesis(4.1.5)memberikansuatutitikawalyangmenarikuntuk mempelajaripermasalahanujilinearitasdalamkerangkapengujianLM. Perhatikankembalibahwamodel(4.1.1)hanyadiidentifikasidibawahalternatif 0 .SepertiSaikkonendanLuukkonen(1988)danLuukkonendkk.(1988), tulisaninimencobamenyelesaikanmasalahinidenganmengganti dalam (4.1.1)denganpendekatanekspansiTaylorpada0 .Pendekatanekspansi Tayloryang palingmudahadalahsuatupendekatan order pertama.Dari(4.1.2) dan (4.1.3) dapat ditunjukkan bahwa turunan pertama dari (4.1.2) adalah 2)} exp( 1 {) exp( .) (tt ttII wI + , sehingga diperoleh tttIII4120)} 0 exp( 1 {) 0 exp( .) ( + . (4.1.6) ty 1 1 ty p ty Bab IV.FFNN untuk Peramalan Runtun waktu 72 DengandemikianpendekatanekspansiTaylorordepertama,yang dinotasikandengan 1t ,yaitu ) (1 0 tI t t tI I 0 410) 0 ( bergabung denganbagianlineardarimodel(4.1.1),sehinggasemuainformasitentang nonlinearitas tereliminir. Hal ini merupakan cara lain untuk melihat bahwa (4.1.1) dengan(4.1.2)danmodellinearautoregresiorderp adalahalternatifyang secara lokal sama dengan dasar (4.1.5). Untukmengatasipermasalahantereliminasinyainformasitentangnon-linearitas diatas, dilakukan hal seperti dalam Luukkonen dkk. (1988) dan gantikan dalam(4.1.1)melaluipendekatanekspansiTaylordenganordeyanglebih tinggi, orde ketiga, yang dinotasikan dengan 3tuntuk menurunkan suatu uji yang tepat. Diberikan ++ pipjj ij ipiiit jI t0 0213) 0 (21 ) 0 () 0 ( ) ( +pipjpkk j ik j i 0 0 03) 0 (61 (4.1.7) dan gantikan dalam (4.1.1) oleh (4.1.6).Berikutiniadalahlangkah-langkahuntukmendapatkanpendekatanekspansiTaylorordeketiga.Pertama,persamaan(4.1.2)dapatdituliskembali dalam bentuk 211)} exp( 1 { ) ( + t tI I 2111 1 0])} [ exp( 1 { + + + + p t p tY Y L . Turunan pertama dari persamaan ini adalah i tp t p tp t p tiYy yy y + + + ++ + + .])} [ exp( 1 {]) [ exp(21 1 01 1 0 LL

i tttYII + .)} exp( 1 {) exp(2. Bab IV.FFNN untuk Peramalan Runtun waktu 73 Selanjutnya, turunan kedua dari (4.1.2) adalah

11]1

+ + + ++ + + i tp t p tp t p tj j iYY YY Y.])} [ exp( 1 {]) [ exp(21 1 01 1 02 LL { }j t i ttt t tY YII I I + + + .)} exp( 1 {) 2 exp( 2 )} exp( 1 )]{ exp( [3 . j t i ttt tY YII I + .)} exp( 1 {)} 2 exp( ) {exp(3 untuk1 , j i . Dengan demikian, turunan ketiga dari (4.1.2) ini adalah 11]1

+ j t i ttt tk k j iY YII I.)} exp( 1 {) 2 exp( ) exp(33 k t j t i ttt t tY Y YII I I + + .)} exp( 1 {)} 3 exp( ) 2 exp( 4 ) {exp(4 ,untuk1 , , k j i . Darihasil-hasilpenjabarandiatas,pendekatanekspansiTaylorpada 0 akan menghasilkan j i ) 0 (20)} 0 exp( 1 {)} 0 exp( ) 0 {exp(3 + j t i tY Y , dan k t j t i tk j iY Y Y ++ 43)} 0 exp( 1 {)} 0 exp( ) 0 exp( 4 ) 0 {exp( ) 0 ( . 1 , , ,81 k j i Y Y Yk t j t i tuntukJika1 , j idan0 k diperoleh j t i tk j iY Y 813) 0 ( . Bab IV.FFNN untuk Peramalan Runtun waktu 74 Dengan demikian, model (4.1.1) menjadi tpipi jpj kk t j t i t ijkpipi jj t i t ij t tu Y Y Y Y Y I Y + + + 1 1~ , (4.1.8) dengan~adalahgabunganantara dengankoefisien-koefisienbagianlinear hasilpendekatanTaylorordepertama,j i ij ijd 0 ,dan k j i ijk ijkd 0dengan481 ijk ijd d .Jika00 adalahsuatuinformasidarimodel,sehingga t tI I~ ~ (bagianeksponensialtidakmengandungsuatukonstanta),maka0 ij untuk semuaj i, .Dalamkasusini,persamaan(4.1.8)tidakmempunyaisukuorde kedua. Hipotesis nol yang bersesuaian dengan (4.1.5) adalah:*0H , 0 ij 0 ijk untuk; , , 1 p i K ; , , p i j K p j k , ,K . Dengandemikian,ujilinearitastipeLMmelawan(4.1.1)terdiridarideretorde ketiga dari ekspansi Volterra (lihat Priestley, 1980) suatu fungsi nonlinear. Dalam hal ini, uji hipotesis nolnya menyatakan bahwa koefisien-koefisien dari suku-suku kuadratikdankubikadalahsamadengannol.Jikaadaargumenyang menyatakanbahwafungsitidakmengandungsuatukonstanta,makadalamhal ini tidak ada suku kuadratik dalam ekspansi Taylor pada0 . Selanjutnya,perhatikanbahwa(4.1.4)merupakanbentukdasardariuji neuralnetworks.Jika1 > q ,(4.1.4)tidaksecaraglobaldapatdiidentifikasidi bawah hipotesis nol0 :1*0 qH L(4.1.9) ataupundibawahhipotesisalternatifbahwahipotesisnoladalahtidakbenar. Suatukonsekuensidariiniadalahkenyataanbahwapenurunansuatuujiyang dapatditerapkanuntukhipotesisnolpada(4.1.9)mengikutiargumendiatas menghasilkan (4.1.8) denganqh h hj hi ij ijd1 0 0 danqh hk hj hi ijk ijkd1 0 . Bab IV.FFNN untuk Peramalan Runtun waktu 75 Dengan demikian, uji linearitas berdasarkan dual (suku kuadratik dan kubik) dari ekspansiVolterratetaptidakberubahketikaprosespembangkitandataadalah seperti (4.1.4) pengganti dari (4.1.1). Ujiinitidakselalutergantungpadaasumsibahwafungsisquashing dalammodelneuralnetworksadalahlogistik.Sepertiyangtelahdikerjakan Luukkonendkk.(1988),ujiyangsamaakandapatdiperolehdenganasumsi bahwa (i).) (tI dalam(4.1.2)adalahsuatufungsiterbatas,ganjil,naiksecara monotondengansuatuturunanketigaberhinggapadasuatupersekitaran dari daerah asal, dan (ii).0 ) 0 ( , danturunan parsialpertama dan ketiga daripada nol adalah tidak sama dengan nol. Haliniberimplikasibahwaujitersebutmempunyaikuasa(power)dibanding beberapamodelnonlinear,tidakhanyasatubentuknonlinearitasyangdicirikan denganfungsilogistik.Fungsilogistikyangdigunakandalammenurunkanuji disini disebabkan karena fungsi tersebut yang dipakai pada (4.1.4).ImplementasipraktisujilinearitasyangdikenalkanolehTerasvirtadkk. (1993), dapat dilakukan melalui dua statistik uji, yaitu uji 2atau ujiF . Prosedur untuk mendapatkan uji 2adalah sebagai berikut : (i).Regresikan tY pada p t tY Y , , , 11K danhitungnilai-nilairesidual t t tY Y u . (ii).Regresikan tu pada p t tY Y , , , 11K danmprediktortambahan,dan kemudianhitungkoefisiendeterminasidariregresi 2R .Padaujiyang dikenalkanoleh Terasvirta dkk. (1993),mprediktor tambahan ini adalah sukukuadratikdankubikyangmerupakanhasilpendekatanekspansi Taylorsepertiyangtelahdijelaskanpadabagian3persamaan(4.1.8) sebelumnya. (iii).Hitung 2 2nR ,dengann adalahbanyaknyapengamatanyang digunakan.Bab IV.FFNN untuk Peramalan Runtun waktu 76 Dibawah hipotesis linearitas, 2mendekati distribusi) (2m , denganm adalah banyaknyaprediktortambahan.Kajianteoritikberkaitandenganpendekatan asimtotis 2 2 dnRdapat dilihat White (1989c). Sedangkan prosedur ujiFuntuk uji linearitas tipe LM ini adalah sebagai berikut : (i).Regresikan tY pada p t tY Y , , , 11K dan hitung nilai-nilai residual tudan hitung jumlah kuadrat residual 20tu SSE . (ii).Regresikan tu pada p t tY Y , , , 11K danmprediktortambahan,dan kemudianhitungresidual t t tu u v danjumlahkuadratresidual 21tv SSE .( mdanprediktor-prediktoryangterlibatbervariasiuntuk suatuujidenganujiyanglain,sepertiyangditunjukkanpadabagian sebelumnya). (iii).Hitung ) 1 /(/ ) (11 0m p n SSEm SSE SSEF , (4.1.10) dengannadalah banyaknya pengamatan yang digunakan.Dibawahhipotesislinearitas,F mendekatidistribusiF denganderajatbebas mdan) 1 ( m p n .PenggunaandariujiF menggantikanuji 2 ini didasarkanolehrekomendasidariteoriasimtotisdalamsampelkecil,yaitu karena uji ini mempunyai sifat-sifat kuasa dan ukuran yang baik (Harvey, 1990). 4.1.2 Desain Kajian Terapan Uji Nonlinearitas Tipe Lagrange Multiplier (LM) dengan Ekspansi Taylor KajianterapanterhadapujinonlinearitastipeLMinidilakukanmelalui studisimulasiyangdifokuskanpadaperbandingankuasa(power)antarauji TerasvirtayangdibahaspadabagiansebelumnyadenganujiWhite.UjiWhite adalahujinonlinearitastipe LMdengansamplingacakyangdiperkenalkan oleh White (1989c) dan Lee dkk. (1993). Isu lain yang akan dikaji dalam studi simulasi iniadalahefekdarioutlierpadamodellinearterhadapkuasadarikeduauji tersebut.Bab IV.FFNN untuk Peramalan Runtun waktu 77 EksperimenMonteCarlosecaraumumberupaduakelompokpem-bangkitandataunivariat,yaitulineardannonlinear.Model-modellinearyang dipilihdalameksperimeniniadalahmodelAutoregresiforde2atauAR(2)dan modelGerakAcak.ModelAR(2)mewakilikelompokmodellinearARIMAdan dalamhalinidipilihkoefisien1,2dan-0,6yangmemenuhisyaratstasioneritas. SedangkanmodelGerakAcakmewakilikelompokmodellinearyangtidak memenuhi syarat stasioner. Adaduamodelnonlinearyangdigunakandalamstudisimulasiiniyaitu modelLogisticSmoothTransitionAutoregressive(LSTAR)danExponential SmoothTransitionAutoregressive(ESTAR).ModelLSTARyangdigunakan secara umum mempunyai bentuk yang sama dengan yang telah digunakan oleh Terasvirta dkk. (1993). Sedangkan model ESTAR yang dipilih adalah model yang mempunyai bentuk yang sama dengan yang digunakan oleh Connor dkk. (1994). Perbedaankeduamodeliniadalahterletakpadabesarnyanilai-nilaiparameter yang digunakan.Secaraumum,penentuanbesarnyaparameterpadastudisimulasi mengikutiLeedkk.(1993).Secaralengkapmodellineardannonlinearyang digunakan dalam studi simulasi ini adalah : a.Kelompok model linear (i).Model AR(2):t t t tu Y Y Y + 2 16 . 0 2 . 1 ,dengan) 5 . 0 , 0 ( IIDN ~2tu . (ii).Gerak Acak:t t tu Y Y + 1,dengan) 5 . 0 , 0 ( IIDN ~2tu . (iii).Model Autoregresif dengan outlier atau AR(2)-O t T t t tu I Y Y Y + + 5 6 . 0 2 . 12 1 dengan1 TIuntuk101 Tdan nol untuk101 T ,) 5 . 0 , 0 ( IIDN ~2tu . b.Kelompok model nonlinear (i).Model LSTAR : t t t t t t tu Y F Y Y Y Y Y + + + ) ( ) 795 . 0 9 . 0 ( 6 . 0 2 . 11 2 1 0 2 1Bab IV.FFNN untuk Peramalan Runtun waktu 78 dengan 11 1)}] 02 . 0 ( exp{ 1 [ ) ( + t tY Y F ,02 . 00 ,100 ,dan ) 05 . 0 , 0 ( IIDN ~2tu . (ii).Model Exponential Smooth Transition Autoregressive (ESTAR-1), yaitu t t t t t t tu Y F Y Y Y Y Y + + + ) ( ) 795 . 0 9 . 0 ( 6 . 0 2 . 11 2 1 0 2 1dengan} . 2000 exp{ 1 ) (21 1 t tY Y F , dan) 05 . 0 , 0 ( IIDN ~2tu . (iii).Model Exponential Smooth Transition Autoregressive (ESTAR-2), yaitu t t t tu Y Y Y + ) 25 . 0 exp( . 5 . 621 1,dengan) 5 . 0 , 0 ( IIDN ~2tu . Untuk masing-masingmodel, besarukuransampel yang digunakanadalah 200. StudisimulasiinidilakukandenganmenggunakanprogramR,dansecara lengkapscriptprogramuntukkajianterapaninidapatdilihat pada Subanardkk. (2005).Ilustrasigrafikyangberupa plotruntunwaktudatadan plotdatadengan lag-lagnyadarihasilsimulasiuntukkelompokmodellineardapatdilihatpada Gambar 4.2 dan 4.3. Gambar 4.2 adalah untuk model AR(2), sedangkan Gambar 4.3untukmodel Gerak Acak.DariGambar 4.2a dapatdilihatbahwa datarelatif stasionerdanhalinisesuaidenganyangdipostulatkan.Berdasarkanplotlag-lagnya,yaituGambar4.2bsampaidengan2e,dapatdijelaskanbahwalag-lag yangrelatifkuatberhubunganlineardengankejadianpadawaktuke-t, tY , adalah lag 1 dan 2, atau 1 tYdan 2 tY . HasilpadaGambar4.3amenunjukkanbahwapoladatatidakstasioner dandariGambar4.3bsampaidengan4.3eterlihatjelasbahwaadahubungan linear yang sangat kuat antara lag 1, 2, 3 dan 4, atau,1 tY ,2 tY3 tYdan 4 tY , dengankejadianpadawaktuke-tatau tY .Adanyahubunganyangsangatkuat terutama antara 1 tYdengan tYmenunjukkan bahwa hasil simulasi telahsesuai denganpostulatmodelyangsebenarnya,dimanahanyalag1yangadadalam model. Bab IV.FFNN untuk Peramalan Runtun waktu 79 Gambar 4.2.Plot runtun waktu data (2a), dan plot data dengan lag-lagnya,yaitu 2b dengan lag 1, 2c dengan lag 2, 2d dengan lag 3,dan 2e dengan lag 4, dari data simulasi AR(2). Gambar 4.3.Plot runtun waktu data (3a), dan plot data dengan lag-lagnya,yaitu 3b dengan lag 1, 3c dengan lag 2, 3d dengan lag 3,dan 3e dengan lag 4, dari data simulasi Gerak Acak. Bab IV.FFNN untuk Peramalan Runtun waktu 80 Gambar 4.4 dan 4.5 adalah hasil ilustrasi grafik berupa plot runtun waktu danplotdatadenganlag-lagnyadarisimulasiuntukkelompokmodelnonlinear, yaitu model LSTAR diGambar 4.4 danmodel ESTAR-2padaGambar 4.5.Dari Gambar 4.4a dapat dilihat bahwa pola data fluktuatif di sekitar angka nol. Secara visualpoladataterlihatstasionerdansulitmembedakandenganmodellinear pada Gambar 4.2a sebelumnya. Begitu juga dengan visualisasi data dengan lag-lagnyayangmengindikasikanbahwabentukhubunganlineardenganlag-lag datamasihrelatifada.Haliniterutamadapatdilihatpadaplotdenganlag1di Gambar 4.4b. Kondisi ini sesuai dengan yang dipostulatkan dalam model bahwa modelLSTARjugamengandungunsurmodellineardidalamnya.Gambar4.4d dan4.4ejugamenunjukkanbahwalag3danlag4relatiftidakberhubungan dengan tY .Indikasiinidigambarkandenganbentuktitik-titikpadaplotlag-lag tersebut yang relatif menyerupai suatu lingkaran. Gambar 4.4. Plot runtun waktu data (4a), dan plot data dengan lag-lagnya,yaitu 4b dengan lag 1, 4c dengan lag 2, 4d dengan lag 3,dan 4e dengan lag 4, dari data simulasi LSTAR. Bab IV.FFNN untuk Peramalan Runtun waktu 81 Gambar 4.5. Plot runtun waktu data (5a), dan plot data dengan lag-lagnya,yaitu 5b dengan lag 1, 5c dengan lag 2, 5d dengan lag 3,dan 5e dengan lag 4, dari data simulasi ESTAR-2. BerbedadenganmodelLSTARsebelumnya,Gambar4.5amengin-dikasikanbahwadatacenderungtidakstasionerdanberfluktuasidenganpola yangteraturdisekitarangkanol.HasilpadaGambar4.5bsampaidengan4.5e menunjukkan dengan jelas bahwabentuk hubungan dengan lag-lagdata adalah nonlinear.Haliniterutamadapat dilihatpada plotdatadenganlag1 diGambar 4.5b. Kondisi ini sesuai dengan postulat model sebenarnya yaitu lebih didominasi unsur nonlinearnya. 4.1.3 Hasil Kajian Terapan Uji Nonlinearitas Tipe Lagrange Multiplier (LM) dengan Ekspansi Taylor Studisimulasiinidilakukanpadamasing-masingmodeldiatasdengan pengulangansebanyak1000kalidanukuransampelsebesar200.Banyak pengulanganinisamasepertiyangtelahdilakukanolehTerasvirtadkk.(1993), sedangkanbesarnyaukuransampeltersebutmewakilibesardatayangbesar Bab IV.FFNN untuk Peramalan Runtun waktu 82 untuksuaturuntunwaktu.Secararingkashasil-hasilperhitungandaripower padaujiTerasvirtadanujiWhitepadakeempatmodelsimulasidiatasdapat dilihat pada Tabel 4.1 dan secara grafik ditampilkan pada Gambar 4.6.Nilaipoweriniadalahpersentaseterjadikesimpulantolak 0H dalam 1000kalipengujianpadamasing-masingmodel,dibawahkondisi 0H adalah tidak benar. Dari Tabel 4.1 dan Gambar 4.6a dan 4.6b dapat dilihat dengan jelas bahwapowerpadakeduaujiiniuntukmodelyangsesungguhnyalineardan stasioner adalah sangat kecil.Dari hasil pada modelAR(2) dapat dilihatdengan jelas bahwa nilai power pada kedua uji tersebut mendekati nilai level signifikansi, yaitu antara 0,01 dan 0,05.Poweriniakansemakinbesarpadasaatmodel yangadaadalahmodel yangtidakstasioner,yangdalampenelitianinidiwakiliolehmodelGerakAcak padaGambar4.6b.Perbandinganujinonlinearitasdanujiketidakstasioneran data (unit root test) pada suatu data runtun waktu secara mendalam dapat dilihat pada Blake dan Kapetanios (2003). Tabel 4.1.Hasil perbandingan power uji Terasvirta dan uji White pada keenam model simulasi (1000 kali pengulangan) Hasilterpentingyangdiperolehdaristudisimulasipadamodel-model linear ini adalah adanya fakta yang signifikan yang menunjukkan bahwa kedua uji NNuntuklinearitasinisangatsensitifterhadapadanyaoutlierpadasuatudata. Hal ini ditunjukkanoleh hasil pada modelAR(2)-Oyang memberikan nilai power sekitar 96% untuk uji White dan 99,9% untuk uji Terasvirta pada level signifikansi 0.05.Bab IV.FFNN untuk Peramalan Runtun waktu 83 Berdasarkanhasil-hasilpadaTabel4.1,dapatdilihatbahwahasil perbandinganpowerkeduaujipadamodel-modelyangnonlinearmenunjukkan bahwa uji Terasvirta cenderung mempunyai power yang lebih tinggi dibanding uji White.HaliniterlihatjelaspadanilaipoweruntukmodelnonlinearLSTARdan ESTAR-1, baik pada level signifikansi 0,05 ataupun 0,01. Hasil dari penelitian ini jugamenunjukkanbahwauntukdataruntunwaktuyangindikasinonlinearnya sangatkuat,dalamhalinisepertipadamodelESTAR-2,makakeduaujiini memberikan hasil yangsama baiknya. 4.2 Prosedur Pembentukan FFNN untuk Peramalan Runtun waktu Bagianiniakanmenjelaskanhasil-hasilkajianberkaitandenganstatistik ujibaruyangselanjutnya dapatdigunakandalamprosedurpembentukanmodel FFNNuntuksuatupermasalahanruntunwaktu,baikprosedurtop-down ataupunbottom-up.Statistikujiyangdikembangkanadalahstatistikujiuntuk evaluasisecarainferensiabesaranpenambahanR2padasuatunetworkyang dikenaldenganR2incremental.Penggunaanbesaraninisecaradeskriptifpertama kalidiperkenalkan olehKaashoekdanVanDijk(2002).KaashoekdanVanDijk (2002)mengombinasikanpemakaianR2incrementaldengankoefisienloadingpada PrincipalComponentAnalysisuntukresidualuntukevaluasisecaradeskriptif kontribusisuatuunitinputdan unitneurondilapistersembunyi.Hasill-hasildari kajianinijugatelahdipublikasikandalamSuhartonodkk.(2006a,2006b),serta pada Suhartono dan Subanar (2006). 4.2.1.Kontribusi Penambahan melalui R2

KaashoekdanVanDijk(2002)menyatakanbahwasuatukandidatyang naturaluntukmengkuantifikasiperformansisuatunetworkadalahkuadratdari koefisien korelasi antara YdanY,) )( ()(22Y Y Y YY YR (4.2.1) Bab IV.FFNN untuk Peramalan Runtun waktu 84 denganYadalahvektordarititik-titikoutputnetwork.Performansinetwork denganpenghapusanhanyasatuunitneurondilapistersembunyidapatdiukur dengancarayangsama.Sebagaicontoh,jikakontribusidariunitneuronhadalahnol) 0 ( h ,makanetworkakanmenghasilkansuatuoutput hY dengan kesalahan atau error, h hY Y e .(4.2.2) Performansi network yang telah tereduksi ini dapat diukur dengan kuadrat dari koefisien korelasi 2hR antaraYdanY, yaitu ) )( ()(22h hhhY Y Y YY YR .(4.2.3) Selanjutnya, kontribusi penambahan dari unit neuronhyang dinotasikan dengan 2) (hRadalah2 2 2) ( h hR R R .(4.2.4) Proseduryangsamadapatdiaplikasikanuntukmereduksijumlahunitpadalapisinput.Dalamhalini,)} ({ t Yi adalahoutputnetworkdarisuatu arsitekturnetworkdengantaksiranparameter-parametertanpamelibatkanunit inputi . Jika kontribusidari unitinputi dikondisikan sama dengannol, 0 ( ihdengan; , , 2 , 1 p i K ) , , 2 , 1 q h K , maka performansi network yang tereduksi ini dapatdikuantifikasidengankuadratdarikoefisienkorelasiantaraY dan iY, yang dinotasikan 2iR, yaitu ) )( ()(22i iiiY Y Y YY YR . (4.2.5) Kontribusi penambahan unit inputiyang dinotasikan dengan 2) (iRdiukur dengan2 2 2) ( i iR R R . (4.2.6) Nilairelatifdarikontribusipenambahan,baik 2) (iR dan 2) (hR ,secaradeskriptif oleh Kaashoek dan Van Dijk digunakan untukmengevaluasi apakah suatu input atau unit neuron di lapis tersembunyi dapat dihilangkan dari network atau tidak. Bab IV.FFNN untuk Peramalan Runtun waktu 85 4.2.2.Inferensia Statistik dari Kontribusi Penambahan R2

Berbedadenganpendekatandeskriptifyangmenekankanaspek eksplorasidatasepertipadaKaashoekdanVanDijk(2002),padabagianini akandiperkenalkansuatuprosedurbaruyangberdasarkanpadainferensia statistikdarikontribusipenambahan.Statistikujiinidikonstruksisepertipada modellinearyangdikenaldenganujisignifikansibertahap.Ujiinimelaluitiga tahaputama,yaituModelTereduksi(ReducedModel),ModelLengkap(Full Model), dan penentuan Uji Statistik.Untukmengonstruksistatistikujiini,diperlukanmodifikasiataukondisi tambahanselainAsumsi3.2.13.2.3,3.3.1dan3.3.2padababsebelumnya. Beberapa teorema dan asumsi yang dibutuhkan adalah sebagai berikut. Teorema 4.2.1.Berdasarkan Teorema 3.3.1 diketahui bahwa ) , ( 2 / 1 C w w ndn.Jikaf adalahsuatufungsiyangdapatditurunkanpada w danD DC * mempunyai elemen-elemen diagonal yang semuanya tidak nol, maka ) ), , ( ( ) , (2 / 1D DC w w n X f X ftdn t, denganDadalahsuatumatriks) / (j iw f sepertiyangdinyatakanpada Proposisi 2.3.24.Bukti:Dengan menggunakan Proposisi 2.3.24 maka bukti dari teorema ini dapat diperoleh secara langsung. Asumsi 4.2.1. } , {t tX Yadalah suatu barisan variabel random yang independen sedemikianhingga < ) (2tY E ,danuntuksuatu w dalam l ,dengan p r p q l ) ( + seperti pada Asumsi 3.2.2 sedemikian hingga ) ), , ( ( ~ |20 wt t tX f X Y , < diperoleh 20SSE2~l n ,dengan ntn t tX f Y SSE12)] , ( [ w ,danl adalahjumlahparameteryangdi-estimasi pada model) , (n tX f w . Hasilini selanjutnyadapat digeneralisasi untuk suatu modelNN tertentu, yaitu t n t tX f Y + ) , ( w , denganlparameter yang akan diestimasi, bahwa 2202012~l nSSEntt . Dengandemikian,dapatdikonstruksiujistatistikmelaluibeberapatahapan seperti Teorema berikut ini. Teorema 4.2.3. Diberikan suatu ModelTereduksi(ReducedModel)yang secara umum dapat ditulis dalam bentuk ) ( ) () , (RtRn t tX f Y + w ,(4.2.7) dengan Rl adalahjumlahparameteryangdiestimasi,dandiberikanModel Lengkap (FullModel)yang lebih kompleks dibanding ModelTereduksi,misalkan adalah) ( ) () , (FtFn t tX f Y + w ,(4.2.8) dengan Fl adalahjumlahparameteryangdiestimasi,dan R Fl l > ,makadi bawah0 w + :0H (nilai-nilaiparameter(bobot)tambahandalammodel lengkap adalah sama dengan nol), statistik F]) [ ], [ () () ( ) (2 1~) /() /( ) (F R Fl n v l l vF FR F F RFl n SSEl l SSE SSE .(4.2.9) Bab IV.FFNN untuk Peramalan Runtun waktu 87 Statistik ujiFini dapat pula ditulis dalam bentuk ) ( ) () ( ) ( ) ( ) (/) /( ) (F FF R F Rdf SSEdf df SSE SSEF ,(4.2.10) dengan ) ( RdfRl n adalahderajatbebasReducedModel,dan ) (FdfFl n adalah derajat bebas Full Model. Bukti: DariModel Tereduksidan Model Lengkap diketahui bahwa R Fl l > , dan ) ( RSSE adalahindependendengan ) ( FSSE .Haliniberimplikasibahwa 2Rl ndari model Tereduksi dan 2Fl ndari model Lengkap adalah independen, dengan menggunakan implikasi Teorema Gamma Inverse Additivity (Mittelhammer 1996, Teorema 4.4, halaman 190) diperoleh20) (20) ( F RSSE SSE2~R Fl l . Dengan membagi nilai tersebut dengan 2Fl ndari Model Lengkap, diperoleh 20 ) (20 ) ( ) (// ) (FF RSSESSE SSE ) () ( ) () (FF RSSESSE SSE 22~FR Fl nl l. Akhirnya,denganmembagipembilangdenganselisihderajatbebaserrordari modelTereduksidanmodelLengkap,sertamembagipenyebutdenganderajat bebas error model Lengkap, dapat dibuktikan bahwa ) ( ) () ( ) ( ) ( ) (/) /( ) (F FF R F Rdf SSEdf df SSE SSE ) /() /( ) () () ( ) (F FR F F Rl n SSEl l SSE SSE ) () (22F l nR F l ll nl lFR F ]) [ ]; [ (2 1~F R Fl n v l l vF . Bab IV.FFNN untuk Peramalan Runtun waktu 88 Selainitu,akibatdariTeorema4.2.3makastatistikujiF pada persamaan(4.2.10)dapatditurunkandalam notasikontribusipenambahanatau R2incremental seperti pada Corollary berikut ini. Corollary4.2.1.ImplikasidariTeorema4.2.3makastatistikujiF pada persamaan(4.2.10)dapatditurunkandalam notasikontribusipenambahanatau R2incremental, yaitu

) (2) () ( ) (2) (2) () 1 () ( ) (F FF R R Fdf Rdf df R RF , (4.2.11a) atau

) (2) () ( ) (2l incrementa) 1 () (F FF Rdf Rdf df RF , (4.2.11b) dengan 2) (2) (2l incrementa R FR R R . Bukti:Perhatikan kembali statistik uji pada Persamaan (4.2.10), yaitu ) ( ) () ( ) ( ) ( ) () ( ) (F FF R F Rdf SSEdf df SSE SSEF . Dalam pemodelan statistik, diketahui bahwa jumlah kuadrat total atauSSTdapat didekomposisikanmenjadijumlahkuadratyangdijelaskanmodel(selanjutnya dinotasikanSSR )danjumlahkuadratresidualnya) (SSE .Halinijugaberlaku padapemodelanFFNN.Secaramatematis,untukmodeltereduksi(FFNN dengan arsitektursederhana) dan modellengkap(FFNN denganarsitektur lebih kompleks), hubungan tersebut dapat ditulis dengan ) ( ) ( R RSSE SSR SST + , dan ) ( ) ( F FSSE SSR SST + . Bab IV.FFNN untuk Peramalan Runtun waktu 89 KarenanilaiSST darikeduamodeliniadalahsama,makapersamaan (4.2.10) selanjutnya dapat ditulis dalam bentuk ) ( ) () ( ) ( ) ( ) (] [)] ( ) ( [F FF R F Rdf SSR SSTdf df SSR SST SSR SSTF , ) ( ) () ( ) ( ) ( ) (] [)] [F FF R R Fdf SSR SSTdf df SSR SSR . Melalui pembagian pembilang dan penyebut denganSST , maka akan diperoleh) () () ( ) () ( ) (FFF RR FdfSSTSSR SSTdf dfSSTSSR SSRF

,_

,_

, ) (2) () ( ) (2) (2) () 1 () ( ) (F FF R R Fdf Rdf df R R , ) (2) () ( ) (2l incrementa) 1 () (F FF Rdf Rdf df R . Penggunaanstatistikujiuntukevaluasikontribusipenambahanini dilakukansecaraiteratifmulaitigatahapanutama,yaitu(1)penaksiranmodel Tereduksi,(2)penaksiranmodelLengkap,dan(3)perhitunganujistatistikF ,sampaidiperolehjumlahunitneurondilapistersembunyiyangoptimal. Selanjutnya,proseduryangsamadapatdilakukanuntukmendapatkanjumlah unitinputyangoptimal.Dalamhalini,prosedurdimulaidenganmenggunakan unit input yang mempunyai nilai R2 yang terbesar. Bab IV.FFNN untuk Peramalan Runtun waktu 90 4.2.3. Algoritma Pembentukan Model FFNN : Implementasi Uji Non-linearitas, Inferensia Statistik R2incremental dan Uji Wald Berdasarkanhasil-hasilpadabagiansebelumnya,makasuatustrategi pembentukanmodelFFNNdapatdilakukandenganmengimplementasikanuji nonlinearitas, inferensia statistik kontribusi penambahan R2incremental, dan uji Wald. Gambar4.6dan4.7 adalahbaganyangmenunjukkanduaprosedur(algoritma) baru yang diperkenalkan untuk prosedur pembentukan model FFNN.ProsedurpertamapadaGambar4.6adalahproseduryangfokuspada penggunaaninferensiastatistikkontribusipenambahandalamskemaforward, yangdimulaidenganpenentuanjumlahunitdilapistersembunyiyangoptimal dandilanjutkandenganpemilihanunitinputyangoptimal.Sedangkanprosedur keduapadaGambar4.7merupakanproseduryangmenggunakankombinasi inferensiastatistikkontribusipenambahandalamskemaforwarduntuk penentuan jumlahunit di lapis tersembunyi yang optimal dengan uji Walddalam skema backward untuk pemilihan unit input yang optimal. Padatahapawaldikeduaprosedurtersebutdilakukanujinonlinearitas padaruntunwaktuuntukmendeteksiadanyabentukhubungannonlinearpada data.Jika tidak terbukti ada hubungan nonlinear, maka pemodelan berhenti dan berakhirpadamodelruntunwaktuyanglinear,yaituARIMA.Sebaliknya,jika terbuktiadabentukhubungannonlinearpadadatamakastrategipembentukan modelFFNNsecaraiteratifdapatdilakukandenganmengimplementasikan inferensia R2incremental melalui statistik uji F.TahappertamapembentukanmodelFFNNadalahmenentukanjumlah unitneuronpadalapistersembunyiyangoptimal.Dalamhalini,strategi pemodelandilakukandenganmelibatkanvariabellaginputyangrelatifbanyak, misallag1sampai6untukkasusyangnonmusiman. Prosespenentuanjumlah unit neuron pada lapis tersembunyi yang optimal dilakukan dengan langkah maju (forward)atauBottomUpdalamterminologiNN.Padatahapini,proses penentuandidasarkanpadasignifikansistatistikujiFuntukinferensiaR2incremental denganbertambahnyaunitneuron.Setelahdiperolehjumlahunitneuronpada Bab IV.FFNN untuk Peramalan Runtun waktu 91 lapistersembunyiyangoptimal,makatahapselanjutnyaadalahpenentuan variabel lag input yang optimal.Pada tahap penentuan variabel lag input yang optimal, proses penentuan padaprosedurpertamadilakukandenganlangkahmajuyangdimulaidengan satu variabel lag input yang mempunyai nilai R2 paling besar. Kemudian, evaluasi signifikansikontribusipenambahanvariabellaginputmelaluiinferensia R2incrementaldenganstatistikujiFdilakukansecaraiteratifsampaidiperoleh variabelinputyangoptimal.ProsesberakhirdengandiperolehnyamodelFFNN denganvariabellaginputdanjumlahunitneurondilapistersembunyiyang optimaluntukperamalanruntunwaktu.Sedangkanpadaprosedurkedua, evaluasisignifikansiparameterdarivariabellaginputkelapistersembunyi dilakukan melalui uji Wald. Eliminasi variabel lag input dilakukan pada parameter dari variabel lag input yang tidak signifikan. Proses berakhir dengan diperolehnya model FFNN terbaik untuk peramalan runtun waktu. Implementasidariprosedurpembentukanyangdiperkenalkaninidapat dikombinasikandenganmemasukankriteriapemilihanmodelterbaik,misalnya SchwarzInformationCriteria(SBC)padatahapevaluasijumlahunitneurondi lapistersembunyidanpenentuanvariabellaginputyangoptimal.Sebagai tambahan,prosedurpembentukanmodelFFNNdenganhanyamenggunakan kriteria pemilihan model terbaik dapat dilihat pada Anders dan Korn (1999). Bab IV.FFNN untuk Peramalan Runtun waktu 92 Mulai Aplikasikan uji nonlinearitas untuk deteksi bentuk hubungan nonlinear pada runtun waktu Apakah uji nonlinearitas menunjukkan adanya bentuk hubungan nonlinear ? Spesifikasikan model FFNN dengan variabel input relatif banyakdan 1 unit neuron di lapis tersembunyi sebagai tahap awal penentuan jumlah unit neuron yang optimal Apakah penambahan 1 unitneuron di lapis tersembunyi memberikanR2incremental yang signifikan ? Spesifikasikan model FFNN denganjumlah unit neuron TETAP dari hasil sebelumnya, dimulai dengan 1variabel lag input yang mempunyai nilai R2 terbesar. Apakah penambahan1 variabel lag input memberikan R2incremental yang signifikan ? Selesai Gambar 4.6. Prosedur p