Penurunan gradien stokastik 📖 Wikipedia

Bagian dari seri
Pembelajaran mesin dan penggalian data
Paradigma Pembelajaran terbimbing Pembelajaran tak terbimbing Pembelajaran mesin daring Pembelajaran mesin luring Meta-learning Pembelajaran semiterbimbing Pembelajaran swabimbing Pembelajaran pengukuhan Pembelajaran berbasis aturan Pembelajaran mesin kuantum
Masalah Klasifikasi Model generatif Regresi Kluster Reduksi dimensi Estimasi densitas Deteksi anomali Pembersihan data AutoML Aturan asosiasi Analisis semantik Rekayasa fitur Pembelajaran fitur
Pembelajaran terbimbing (Klasifikasi • Regresi) Pohon keputusan Pembelajaran ensambel Bagging boosting Random forest k-NN Regresi linear Naive Bayes Jaringan saraf tiruan Regresi logistik Perseptron Support vector machine (SVM)
Kekelompokkan BIRCH CURE Hierarki k-means Fuzi
Reduksi dimensi AKU
Jaringan saraf tiruan Pembelajaran dalam Jaringan saraf konvolusional
Diagnostik model Kurva belajar
l b s

Penurunan gradien stokastik (bahasa Inggris: Stochastic gradient descentcode: en is deprecated biasa disingkat SGD) adalah sebuah metode iteratif yang digunakan untuk mengoptimasi fungsi objektif dengan sifat smoothness yang sesuai (misal diferensiabel atau subdiferensiabel). SGD dapat dianggap sebagai aproksimasi stokastik dari optimasi penurunan gradien karena SGD menggantikan gradien aktual yang dihitung dari keseluruhan himpunan data dengan gradien perkiraan yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi berdimensi tinggi, SGD dapat mengurangi kompleksitas komputasional yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.^[1]

• Bottou, Léon (2004), "Stochastic Learning", Advanced Lectures on Machine Learning, LNAI, vol. 3176, Springer, hlm. 146–168, ISBN 978-3-540-23122-6
• Buduma, Nikhil; Locascio, Nicholas (2017), "Beyond Gradient Descent", Fundamentals of Deep Learning : Designing Next-Generation Machine Intelligence Algorithms, O'Reilly, ISBN 9781491925584
• LeCun, Yann A.; Bottou, Léon; Orr, Genevieve B.; Müller, Klaus-Robert (2012), "Efficient BackProp", Neural Networks: Tricks of the Trade, Springer, hlm. 9–48, ISBN 978-3-642-35288-1
• Spall, James C. (2003), Introduction to Stochastic Search and Optimization, Wiley, ISBN 978-0-471-33052-3

• Menggunakan SGD dalam C++, Boost, Ublas untuk regresi linear
• Algoritma pemelajaran mesin
• "Gradient Descent, How Neural Networks Learn". 3Blue1Brown. October 16, 2017. Diarsipkan dari versi aslinya tanggal 2021-12-22 – via YouTube.
• Goh (April 4, 2017). "Why Momentum Really Works". Distill. 2 (4). doi:10.23915/distill.00006. Makalah interaktif yang menjelaskan konsep momentum.