Nell'apprendimento automatico, lo stacking (detto anche, per esteso, stacked generalization) è una tecnica di apprendimento d'insieme che comporta l'addestramento di un modello atto a combinare predizioni fornite attraverso più algoritmi di apprendimento diversi fra loro [1]. Dapprima, si addestrano tutti i diversi modelli usando i dati disponibili, quindi si addestra l'algoritmo di combinazione (stimatore finale) a fare predizioni conclusive utilizzando come input le predizioni fornite dai diversi algoritmi (stimatori di base) oppure usando predizioni tramite convalida incrociata fatte dagli stimatori di base, in modo da prevenire il sovradattamento.[2] Da un punto di vista teorico, adottando un algoritmo di combinazione arbitrario, lo stacking è in grado di rappresentare qualsiasi tecnica ensemble, sebbene nella pratica si usi spesso come combinatore un modello di regressione logistica.
Tipicamente lo stacking offre prestazioni migliori di ciascun modello base addestrato. [1] La tecnica è stata usata con successo per la soluzione di problemi di apprendimento supervisionato (regressione [3], classificazione, e apprendimento di distanze [4]) e anche non supervisionato (stima di densità [5]). Essa è stata impiegata anche per stimare il tasso di errore nel bagging [6][7]. È stato dimostrato che lo stacking possa fornire prestazioni superiori rispetto alla mediazione sui modelli bayesiana (BMA) [8]. I due migliori modelli in una nota competizione (Netflix Prize) hanno utilizzato il blending, che può essere considerato una forma di stacking [9].
Note
modifica- ^ a b David H. Wolpert, Stacked generalization, in Neural Networks, vol. 5, n. 2, 1º gennaio 1992, pp. 241–259, DOI:10.1016/S0893-6080(05)80023-1. URL consultato il 19 agosto 2025.
- ^ (EN) 1.11. Ensembles: Gradient boosting, random forests, bagging, voting, stacking, su scikit-learn. URL consultato il 19 agosto 2025.
- ^ (EN) Leo Breiman, Stacked regressions, in Machine Learning, vol. 24, n. 1, 1º luglio 1996, pp. 49–64, DOI:10.1007/BF00117832. URL consultato il 19 agosto 2025.
- ^ Mete Ozay e Fatos T. Yarman Vural, A New Fuzzy Stacked Generalization Technique and Analysis of its Performance, 12 agosto 2013, DOI:10.48550/arXiv.1204.0171. URL consultato il 19 agosto 2025.
- ^ (EN) Padhraic Smyth e David Wolpert, Linearly Combining Density Estimators via Stacking, in Machine Learning, vol. 36, n. 1, 1º luglio 1999, pp. 59–83, DOI:10.1023/A:1007511322260. URL consultato il 19 agosto 2025.
- ^ (EN) Lior Rokach, Ensemble-based classifiers, in Artificial Intelligence Review, vol. 33, n. 1, 1º febbraio 2010, pp. 1–39, DOI:10.1007/s10462-009-9124-7. URL consultato il 19 agosto 2025.
- ^ (EN) David H. Wolpert e William G. Macready, An Efficient Method To Estimate Bagging's Generalization Error, in Machine Learning, vol. 35, n. 1, 1º aprile 1999, pp. 41–55, DOI:10.1023/A:1007519102914. URL consultato il 19 agosto 2025.
- ^ Bertrand Clarke, Comparing Bayes Model Averaging and Stacking When Model Approximation Error Cannot be Ignored, in Journal of Machine Learning Research, vol. 4, Oct, 2003, pp. 683–712. URL consultato il 19 agosto 2025.
- ^ Joseph Sill, Gabor Takacs e Lester Mackey, Feature-Weighted Linear Stacking, 4 novembre 2009, DOI:10.48550/arXiv.0911.0460. URL consultato il 19 agosto 2025.
Bibliografia
modifica- (EN) Ethem Alpaydın, 18.9 Stacked Generalization, in Introduction to machine learning, 4ª ed., The MIT Press, 2020, ISBN 978-0-262-04379-3.
- (EN) Kevin P. Murphy, 18.2 Ensemble learning, in Probabilistic machine learning: an introduction, The MIT Press, 2022, ISBN 978-0-262-04682-4.
