Uji Kolmogorov–Smirnov 📖 Wikipedia

Dalam statistika, uji Kolmogorov–Smirnov (juga disebut uji K–S atau uji KS) adalah uji nonparametrik untuk kesamaan distribusi probabilitas sinambung (atau dis-sinambung, lihat bagian 2.2), satu dimensi. Uji ini dapat digunakan untuk menguji apakah suatu sampel berasal dari distribusi probabilitas referensi tertentu (uji K–S satu sampel), atau untuk menguji apakah dua sampel berasal dari distribusi yang sama atau tidak (uji K–S dua sampel). Uji ini dinamai menurut Andrey Kolmogorov dan Nikolai Smirnov, yang mengembangkannya pada tahun 1930-an.^[1]

Statistik Kolmogorov–Smirnov mengukur jarak antara fungsi distribusi empiris sampel dan fungsi distribusi kumulatif distribusi referensi, atau antara fungsi distribusi empiris dari dua sampel. Distribusi nol dari statistik ini dihitung di bawah hipotesis nol bahwa sampel diambil dari distribusi referensi (dalam kasus satu sampel) atau bahwa sampel diambil dari distribusi yang sama (dalam kasus dua sampel). Dalam kasus satu sampel, distribusi yang dipertimbangkan di bawah hipotesis nol dapat berupa sinambung (lihat bagian 2), diskrit murni, atau campuran (lihat bagian 2.2). Dalam kasus dua sampel (lihat bagian 3), distribusi yang dipertimbangkan di bawah hipotesis nol adalah distribusi sinambung tetapi tidak dibatasi dalam hal lain.

Uji Kolmogorov-Smirnov dua sampel adalah salah satu metode nonparametrik yang paling berguna dan umum untuk membandingkan dua sampel, karena sensitif terhadap perbedaan baik dalam lokasi maupun bentuk fungsi distribusi kumulatif empiris dari kedua sampel.

Uji Kolmogorov-Smirnov dapat dimodifikasi untuk berfungsi sebagai uji kecocokan. Dalam kasus khusus pengujian normalitas distribusi, sampel distandarisasi dan dibandingkan dengan distribusi normal standar. Ini setara dengan menyamakan rata-rata dan varians distribusi referensi dengan estimasi sampel, dan diketahui bahwa penggunaan ini untuk mendefinisikan distribusi referensi spesifik mengubah distribusi nol dari statistik uji (lihat pengujian dengan parameter yang diestimasi). Berbagai penelitian telah menemukan bahwa, bahkan dalam bentuk yang dikoreksi ini, uji ini kurang kuat untuk menguji normalitas daripada uji Shapiro–Wilk atau uji Anderson–Darling.^[2] Namun, uji-uji lain ini memiliki kekurangannya masing-masing. Sebagai contoh, uji Shapiro–Wilk dikenal tidak berfungsi dengan baik pada sampel dengan banyak nilai yang identik.

Fungsi distribusi empiris F_n untuk n pengamatan terurut X_i yang independen dan terdistribusi secara identik (i.i.d.) didefinisikan sebagai:

$${\displaystyle F_{n}(x)={\frac {{\text{jumlah (elemen dalam sampel}}\leq x)}{n}}={\frac {1}{n}}\sum _{i=1}^{n}1_{(-\infty ,x]}(X_{i}),}$$, di mana ${\displaystyle 1_{(-\infty ,x]}(X_{i})}$ adalah fungsi indikator, sama dengan 1 jika ${\displaystyle X_{i}\leq x}$ dan sama dengan 0 jika sebaliknya.

Statistik Kolmogorov–Smirnov untuk fungsi distribusi kumulatif F(x) yang diberikan adalah:

$${\displaystyle D_{n}=\sup _{x}|F_{n}(x)-F(x)|}$$

di mana sup_x adalah nilai supremum dari himpunan jarak. Secara intuitif, statistik ini mengambil selisih mutlak terbesar antara kedua fungsi distribusi di seluruh nilai x.

Menurut teorema Glivenko–Cantelli, jika sampel berasal dari distribusi F(x), maka D_n hampir pasti konvergen ke 0 pada limit ketika ${\displaystyle n}$ menuju tak terhingga. Kolmogorov memperkuat hasil ini, dengan secara efektif memberikan laju konvergensi ini (lihat distribusi Kolmogorov). Teorema Donsker memberikan hasil yang lebih kuat lagi.

Dalam praktiknya, statistik ini membutuhkan sejumlah besar titik data (dibandingkan dengan kriteria kecocokan lainnya seperti statistik uji Anderson–Darling) untuk menolak hipotesis nol dengan benar.

Distribusi Kolmogorov adalah distribusi variabel acak

$${\displaystyle K=\sup _{t\in [0,1]}|B(t)|}$$

di mana B(t) adalah jembatan Brownian. Fungsi distribusi kumulatif K diberikan oleh ^[3]

$${\displaystyle {\begin{aligned}\operatorname {Pr} (K\leq x)&=1-2\sum _{k=1}^{\infty }(-1)^{k-1}e^{-2k^{2}x^{2}}\\&={\frac {\sqrt {2\pi }}{x}}\sum _{k=1}^{\infty }e^{-(2k-1)^{2}\pi ^{2}/(8x^{2})},\end{aligned}}}$$

yang juga dapat dinyatakan dengan fungsi theta Jacobi ${\displaystyle \vartheta _{01}(z=0;\tau =2ix^{2}/\pi )}$. Baik bentuk statistik uji Kolmogorov–Smirnov maupun distribusi asimtotiknya di bawah hipotesis nol dipublikasikan oleh Andrey Kolmogorov,^[4] sedangkan tabel distribusinya dipublikasikan oleh Nikolai Smirnov.^[5] Hubungan rekurensi untuk distribusi statistik uji dalam sampel terbatas tersedia.^[4]

Di bawah hipotesis nol bahwa sampel berasal dari distribusi yang dihipotesiskan F(x),

$${\displaystyle {\sqrt {n}}D_{n}{\xrightarrow {n\to \infty }}\sup _{t}|B(F(t))|}$$

dalam distribusi, di mana B(t) adalah jembatan Brownian. Jika F kontinu maka di bawah hipotesis nol ${\displaystyle {\sqrt {n}}D_{n}}$ konvergen ke distribusi Kolmogorov, yang tidak bergantung pada F. Hasil ini juga dapat dikenal sebagai teorema Kolmogorov.

Akurasi batas ini sebagai perkiraan terhadap CDF eksak dari ${\displaystyle K}$ ketika ${\displaystyle n}$ terbatas tidak terlalu mengesankan: bahkan ketika ${\displaystyle n=1000}$, kesalahan maksimum yang sesuai adalah sekitar ${\displaystyle 0.9~\%}$; kesalahan ini meningkat menjadi ${\displaystyle 2.6~\%}$ ketika ${\displaystyle n=100}$ dan menjadi ${\displaystyle 7~\%}$ yang sama sekali tidak dapat diterima ketika ${\displaystyle n=10}$. Namun, cara yang sangat sederhana dengan mengganti ${\displaystyle x}$ dengan $${\displaystyle x+{\frac {1}{6{\sqrt {n}}}}+{\frac {x-1}{4n}}}$$

dalam argumen fungsi theta Jacobi mengurangi kesalahan ini menjadi ${\displaystyle 0.003~\%}$; ${\displaystyle 0.027\%}$; dan ${\displaystyle 0.27~\%}$; akurasi seperti itu biasanya dianggap lebih dari cukup untuk semua aplikasi praktis.^[6]

Uji kecocokan atau uji Kolmogorov-Smirnov dapat dibangun dengan menggunakan nilai kritis distribusi Kolmogorov. Uji ini valid secara asimtotik ketika ${\displaystyle n\to \infty .}$ Uji ini menolak hipotesis nol pada tingkat ${\displaystyle \alpha }$ jika

$${\displaystyle {\sqrt {n}}D_{n}>K_{\alpha },\,}$$

di mana K_α ditemukan dari

$${\displaystyle \operatorname {Pr} (K\leq K_{\alpha })=1-\alpha .\,}$$

Daya asimtotik uji ini adalah 1.

Algoritma cepat dan akurat untuk menghitung cdf ${\displaystyle \operatorname {Pr} (D_{n}\leq x)}$ atau komplemennya untuk ${\displaystyle n}$ dan ${\displaystyle x}$ sembarang, tersedia dari:

• ^[7] dan ^[8] untuk distribusi nol sinambung dengan kode dalam C dan Java dapat ditemukan di ^[7]
• ^[9] untuk distribusi nol diskrit murni, campuran atau kontinu yang diimplementasikan dalam paket KSgeneral^[10] dari proyek R untuk komputasi statistik, yang untuk sampel tertentu juga menghitung statistik uji KS dan nilai p-nya. Implementasi C++ alternatif tersedia dari.^[9]

Jika bentuk atau parameter F(x) ditentukan dari data X_i, nilai kritis yang ditentukan dengan cara ini tidak valid. Dalam kasus seperti itu, metode Monte Carlo atau metode lain mungkin diperlukan, tetapi tabel telah disiapkan untuk beberapa kasus. Detail untuk modifikasi yang diperlukan pada statistik uji dan untuk nilai kritis untuk distribusi normal dan distribusi eksponensial telah dipublikasikan,^[11] dan publikasi selanjutnya juga mencakup distribusi Gumbel.^[12] Uji Lilliefors merupakan kasus khusus untuk distribusi normal. Transformasi logaritma dapat membantu mengatasi kasus di mana data uji Kolmogorov tampaknya tidak sesuai dengan asumsi bahwa data tersebut berasal dari distribusi normal.

Dengan asumsi bahwa ${\displaystyle F}$ tidak menurun dan sinambung kanan, dengan jumlah lompatan yang dapat dihitung (mungkin tak terbatas), statistik uji KS dapat dinyatakan sebagai:

$${\displaystyle D_{n}=\sup _{x}|F_{n}(x)-F(x)|=\sup _{0\leq t\leq 1}|F_{n}(F^{-1}(t))-F(F^{-1}(t))|.}$$

Dari kontinuitas kanan ${\displaystyle F}$, maka ${\displaystyle F(F^{-1}(t))\geq t}$ dan ${\displaystyle F^{-1}(F(x))\leq x}$; dan karenanya distribusi ${\displaystyle D_{n}}$ bergantung pada distribusi nol ${\displaystyle F}$, yaitu tidak lagi bebas distribusi seperti pada kasus sinambung. Oleh karena itu, metode cepat dan akurat telah dikembangkan untuk menghitung distribusi eksak dan asimtotik dari ${\displaystyle D_{n}}$ ketika ${\displaystyle F}$ murni diskrit atau campuran,^[9] diimplementasikan dalam C++ dan dalam paket KSgeneral^[10] dari bahasa R. Fungsi disc_ks_test(), mixed_ks_test() dan cont_ks_test() juga menghitung statistik uji KS dan nilai p untuk distribusi nol murni diskrit, campuran atau kontinu dan ukuran sampel sembarang. Uji KS dan nilai p-nya untuk distribusi nol diskrit dan ukuran sampel kecil juga dihitung dalam ^[13] sebagai bagian dari paket dgof dari bahasa R. Paket statistik utama di antaranya SAS PROC NPAR1WAY,^[14] Stata ksmirnov^[15] mengimplementasikan uji KS dengan asumsi bahwa ${\displaystyle F(x)}$ sinambung, yang lebih konservatif jika distribusi nol sebenarnya tidak sinambung (lihat ^{[16] [17] [18]}).

Uji Kolmogorov–Smirnov juga dapat digunakan untuk menguji apakah dua distribusi probabilitas satu dimensi yang mendasarinya berbeda. Dalam hal ini, statistik Kolmogorov–Smirnov adalah:

$${\displaystyle D_{n,m}=\sup _{x}|F_{1,n}(x)-F_{2,m}(x)|,}$$

di mana ${\displaystyle F_{1,n}}$ dan ${\displaystyle F_{2,m}}$ adalah fungsi distribusi empiris dari sampel pertama dan kedua, dan ${\displaystyle \sup }$ adalah fungsi supremum.

Untuk sampel besar, hipotesis nol ditolak pada tingkat ${\displaystyle \alpha }$ jika

$${\displaystyle D_{n,m}>c(\alpha ){\sqrt {\frac {n+m}{n\cdot m}}}.}$$

Di mana ${\displaystyle n}$ dan ${\displaystyle m}$ masing-masing adalah ukuran sampel pertama dan kedua. Nilai ${\displaystyle c({\alpha })}$ diberikan dalam tabel di bawah ini untuk tingkat ${\displaystyle \alpha }$ yang paling umum

${\displaystyle \alpha }$	0.20	0.15	0.10	0.05	0.025	0.01	0.005	0.001
${\displaystyle c({\alpha })}$	1.073	1.138	1.224	1.358	1.48	1.628	1.731	1.949

dan secara umum^[19] oleh

$${\displaystyle c\left(\alpha \right)={\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1}{2}}}},}$$

sehingga kondisinya berbunyi

$${\displaystyle D_{n,m}>{\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1+{\tfrac {m}{n}}}{2m}}}}.}$$

Di sini, sekali lagi, makin besar ukuran sampel maka makin sensitif batas minimalnya: Untuk rasio ukuran sampel tertentu (misalnya ${\displaystyle m=n}$), batas minimalnya berskala dengan ukuran salah satu sampel sesuai dengan akar kuadrat inversnya.

Perhatikan bahwa uji dua sampel memeriksa apakah kedua sampel data berasal dari distribusi yang sama. Ini tidak menentukan distribusi umum apa itu (misalnya apakah normal atau tidak normal). Sekali lagi, tabel nilai kritis telah dipublikasikan. Kekurangan dari uji Kolmogorov-Smirnov univariat adalah bahwa uji ini tidak terlalu kuat karena dirancang agar sensitif terhadap semua kemungkinan jenis perbedaan antara dua fungsi distribusi. Beberapa berpendapat^[20][21] bahwa uji Cucconi, yang awalnya diusulkan untuk membandingkan lokasi dan skala secara simultan, dapat jauh lebih kuat daripada uji Kolmogorov-Smirnov ketika membandingkan dua fungsi distribusi.

Uji KS dua sampel telah diterapkan dalam ekonomi untuk mendeteksi efek asimetris dan untuk mempelajari percobaan alami.^[22]

Meskipun uji Kolmogorov–Smirnov biasanya digunakan untuk menguji apakah F(x) yang diberikan merupakan distribusi probabilitas yang mendasari F_n(x), prosedur ini dapat dibalik untuk memberikan batas kepercayaan pada F(x) itu sendiri. Jika seseorang memilih nilai kritis dari statistik uji D_α sedemikian rupa sehingga P(D_n > D_α) = α, maka pita dengan lebar ±D_α di sekitar F_n(x) akan seluruhnya mengandung F(x) dengan probabilitas 1 − α.

Uji kecocokan Kolmogorov–Smirnov multivariat bebas distribusi telah diusulkan oleh Justel, Peña dan Zamar (1997).^[23] Uji ini menggunakan statistik yang dibangun menggunakan transformasi Rosenblatt, dan algoritma dikembangkan untuk menghitungnya dalam kasus bivariat. Uji perkiraan yang dapat dengan mudah dihitung dalam dimensi apa pun juga disajikan.

Statistik uji Kolmogorov–Smirnov perlu dimodifikasi jika uji serupa akan diterapkan pada data multivariat. Ini tidak mudah karena perbedaan maksimum antara dua fungsi distribusi kumulatif gabungan umumnya tidak sama dengan perbedaan maksimum dari fungsi distribusi komplementer mana pun. Dengan demikian, perbedaan maksimum akan berbeda tergantung pada pilihan mana yang digunakan antara ${\displaystyle \Pr(X<x\land Y<y)}$ atau ${\displaystyle \Pr(X<x\land Y>y)}$, atau salah satu dari dua susunan lain yang mungkin. Seseorang mungkin mensyaratkan bahwa hasil uji yang digunakan tidak bergantung pada pilihan mana yang dibuat.

Salah satu pendekatan untuk menggeneralisasi statistik Kolmogorov–Smirnov ke dimensi yang lebih tinggi yang memenuhi kekhawatiran di atas adalah dengan membandingkan cdf dari kedua sampel dengan semua kemungkinan urutan, dan mengambil yang terbesar dari himpunan statistik KS yang dihasilkan. Dalam d dimensi, ada 2^d − 1 urutan tersebut. Salah satu variasi tersebut disebabkan oleh Peacock^[24] (lihat juga Gosset^[25] untuk versi 3D) dan yang lainnya oleh Fasano dan Franceschini^[26] (lihat Lopes dkk. untuk perbandingan dan detail komputasi).^[27] Nilai kritis untuk statistik uji dapat diperoleh melalui simulasi, tetapi bergantung pada struktur ketergantungan dalam distribusi gabungan.

Uji Kolmogorov–Smirnov diimplementasikan dalam banyak program perangkat lunak. Sebagian besar program tersebut mengimplementasikan uji satu dan dua sampel.

• Mathematica memiliki KolmogorovSmirnovTest.
• MATLAB's Statistics Toolbox memiliki kstest dan kstest2 untuk uji Kolmogorov–Smirnov satu sampel dan dua sampel.
• Paket R "KSgeneral"^[10] menghitung statistik uji KS dan nilai p-nya di bawah distribusi nol yang sembarang, mungkin diskrit, campuran, atau sinambung.
• Paket dasar statistika R mengimplementasikan uji tersebut sebagai ks.test {stats} dalam paket stats-nya.
• SAS mengimplementasikan uji tersebut dalam prosedur PROC NPAR1WAY-nya.
• Dalam Python, paket SciPy mengimplementasikan pengujian dalam fungsi scipy.stats.kstest.^[28]
• SYSTAT (SPSS Inc., Chicago, IL)
• Java memiliki implementasi pengujian ini yang disediakan oleh Apache Commons.^[29]
• KNIME memiliki node yang mengimplementasikan pengujian ini berdasarkan implementasi Java di atas.^[30]
• Julia memiliki paket HypothesisTests.jl dengan fungsi ExactOneSampleKSTest(x::AbstractVector{<:Real}, d::UnivariateDistribution).^[31]
• StatsDirect (StatsDirect Ltd, Manchester, Britania Raya) mengimplementasikan semua varian umum.
• Stata (Stata Corporation, College Station, TX) mengimplementasikan uji ini dalam perintah ksmirnov (uji kesamaan distribusi Kolmogorov–Smirnov).^[32]
• PSPP mengimplementasikan uji ini dalam perintah KOLMOGOROV-SMIRNOV (atau menggunakan fungsi pintasan KS).
• Real Statistics Resource Pack untuk Excel menjalankan uji ini sebagai KSCRIT dan KSPROB.^[33]
• ClickHouse mengimplementasikan uji ini dalam fungsi kolmogorovSmirnovTest.

• Uji Lepage
• Uji Cucconi
• Uji Kuiper
• Uji Shapiro–Wilk
• Uji Anderson–Darling
• Uji Cramér–von Mises
• Metrik Wasserstein

• Daniel, Wayne W. (1990). "Kolmogorov–Smirnov one-sample test". Applied Nonparametric Statistics (Edisi 2nd). Boston: PWS-Kent. hlm. 319–330. ISBN 978-0-534-91976-4.
• Eadie, W.T.; D. Drijard; F.E. James; M. Roos; B. Sadoulet (1971). Statistical Methods in Experimental Physics. Amsterdam: North-Holland. hlm. 269–271. ISBN 978-0-444-10117-4.
• Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (1999). Classical Inference and the Linear Model. Kendall's Advanced Theory of Statistics. Vol. 2A (Edisi Sixth). London: Arnold. hlm. 25.37 – 25.43. ISBN 978-0-340-66230-4. MR 1687411.
• Corder, G. W.; Foreman, D. I. (2014). Nonparametric Statistics: A Step-by-Step Approach. Wiley. ISBN 978-1-118-84031-3.
• Stephens, M. A. (1979). "Test of fit for the logistic distribution based on the empirical distribution function". Biometrika. 66 (3): 591–595. doi:10.1093/biomet/66.3.591.
• Kesemen, O.; Tiryaki, B.K.; Tezel, Ö.; Özkul, E. (2021). "A new goodness of fit test for multivariate normality". Hacettepe Journal of Mathematics and Statistics. 50 (3): 872–894. doi:10.15672/hujms.644516.

• Hazewinkel, Michiel, ed. (2001) [1994]. "Kolmogorov–Smirnov test". Encyclopedia of Mathematics. Springer Science+Business Media B.V. / Kluwer Academic Publishers. ISBN 978-1-55608-010-4.
• Short introduction
• KS test explanation
• JavaScript implementation of one- and two-sided tests
• Online calculator with the KS test
• Open-source C++ code to compute the Kolmogorov distribution and perform the KS test
• Paper on Evaluating Kolmogorov's Distribution; contains C implementation. This is the method used in Matlab.
• Paper on Computing the Two-Sided Kolmogorov–Smirnov Distribution; computing the cdf of the KS statistic in C or Java.
• Paper powerlaw: A Python Package for Analysis of Heavy-Tailed Distributions; Jeff Alstott, Ed Bullmore, Dietmar Plenz. Among others, it also performs the Kolmogorov–Smirnov test. Source code and installers of powerlaw package are available at PyPi.

Templat:Statistics