Redigerer Gradientforsterkning

'''Gradientforsterkning''' (engelsk: ''gradient boosting'') er en [[Maskinlæring|maskinlæringsteknikk]] basert på [[forsterkning]] i et funksjonelt [[Rom (matematikk)|rom]], hvor målet er ''pseudo-residualene'' i stedet for de typiske [[Feil og residualer|residualene]] som brukes i tradisjonell forsterkning. Det gir en prediksjonsmodell i form av et [[Ensemblelæring|ensemble]] av svake prediksjonsmodeller, altså modeller som gjør svært få antagelser om dataene, og som typisk er enkle [[Beslutnignstrelæring|beslutningstrær]].<ref name="hastie">{{Kilde bok|tittel=The Elements of Statistical Learning|etternavn=Hastie|fornavn=T.|etternavn2=Tibshirani|fornavn2=R.|etternavn3=Friedman|fornavn3=J. H.|utgiver=Springer|isbn=978-0-387-84857-0|utgave=2nd|utgivelsessted=New York|kapittel=10. Boosting and Additive Trees|kapittel-url=http://www-stat.stanford.edu/~tibs/ElemStatLearn/|arkivurl=https://web.archive.org/web/20091110212529/http://www-stat.stanford.edu/~tibs/ElemStatLearn/|arkivdato=2009-11-10}}</ref><ref name="Friedman1999b">{{Kilde www|url=https://statweb.stanford.edu/~jhf/ftp/stobst.pdf|tittel=Stochastic Gradient Boosting|fornavn=J. H.|etternavn=Friedman|besøksdato=2024-05-17|arkiv-dato=2014-08-01|arkiv-url=https://web.archive.org/web/20140801033113/http://statweb.stanford.edu/~jhf/ftp/stobst.pdf|url-status=yes}}</ref> Når et beslutningstre er den svake lærende kalles den resulterende algoritmen ''gradientforsterkede trær'', og utkonkurrerer vanligvis en [[tilfeldig skog]].<ref name="hastie" /> 

En gradient-forsterket tremodell er bygget på en trinnvis måte i likhet med andre forsterknings-metoder, men den generaliserer de andre metodene ved å tillate optimering av en vilkårlig [[Deriverbar funksjon|deriverbar]] [[tapsfunksjon]].

== Regularisering ==
Å tilpasse treningssettet for tett kan føre til forringelse av modellens generaliseringsevne. Flere såkalte [[Regularisering|regulariseringsteknikker]] reduserer denne [[Overtilpasning|overtilpasningseffekten]] ved å begrense tilpasningsprosedyren.

En naturlig regulariseringsparameter er antall gradientforsterkende iterasjoner ''M'' (altså antall trær i modellen når basislæreren er et beslutningstre). Å øke ''M'' reduserer feilen på treningssettet, men å sette det for høyt kan føre til overtilpasning. En optimal verdi av ''M'' velges ofte ved å se på prediksjonsfeilen til et separat valideringsdatasett. I tillegg til å kontrollere ''M'' brukes flere andre regulariseringsteknikker.

En annen regulariseringsparameter er trærnes dybde. Jo høyere denne verdien er, desto mer sannsynlig vil modellen overtilpasse treningsdataene.

== Bruk ==
Gradientforsterkning kan brukes i feltet for [[Maskinlært rangering|lære å rangere]]. Søkemotorene [[Yahoo!|Yahoo]]<ref>Cossock, David and Zhang, Tong (2008). [http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf Statistical Analysis of Bayes Optimal Subset Ranking] {{Webarchive|url=https://web.archive.org/web/20100807162855/http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf|date=2010-08-07}}, page 14.</ref> og [[Yandex]]<ref name="snezhinsk">[http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 Yandex corporate blog entry about new ranking model "Snezhinsk"] {{Wayback|url=http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 |date=20120301165959 }} {{Webarchive|url=https://web.archive.org/web/20120301165959/http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118|date=2012-03-01}} (in Russian)</ref> bruker varianter av gradientforsterkning i maskinlærte rangeringsmotorer. Gradientforsterkning brukes også til dataanalyse i høyenergifysikk. Ved [[Large Hadron Collider]] (LHC) har varianter av gradientforsterkende [[Dypt nevralt nettverk|dype nevrale nett]] (DNN) lykkes med å reprodusere resultatene av ikke-maskinlæringsmetoder for analyser på datasettet som ble brukt til å oppdage [[Higgs-boson|higgs-bosonet]].<ref>{{cite arXiv|eprint=2001.06033|last1=Lalchand|first1=Vidhi|title=Extracting more from boosted decision trees: A high energy physics case study|year=2020|class=stat.ML}}</ref> Gradientforsterkede beslutningstre har også blitt brukt i geologiske studier, for eksempel for kvalitetsevaluering av sandsteinsreservoar.<ref>{{Cite journal|date=1. januar 2022}}</ref>

== Ulemper ==
Selv om forsterkning kan øke nøyaktigheten til en basislærende, for eksempel et beslutningstre eller [[lineær regresjon]], ofrer det forståelighet og [[tolkbarhet]].<ref name=":1">{{Cite journal|last=Piryonesi|first=S. Madeh|date=2020-03-01|title=Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index|url=https://ascelibrary.org/doi/abs/10.1061/%28ASCE%29IS.1943-555X.0000512}}</ref><ref>{{Cite journal|last=Wu|first=Xindong|date=2008-01-01|title=Top 10 algorithms in data mining}}</ref> For eksempel er det [[Trivialitet (matematikk)|trivielt]] og selvforklart å følge stien som et beslutningstre tar for sin beslutning, men det er mye vanskeligere å følge stiene til hundre eller tusenvis av trær. For å oppnå både ytelse og tolkbarhet fins det noen modellkomprimerings-teknikker som kan transformere en [[XGBoost]] til et enkelt "født-på-nytt"-beslutningstre som [[Approksimasjon|tilnærmer]] samme beslutningsfunksjon.<ref>{{Cite journal|last=Sagi|first=Omer|title=Approximating XGBoost with an interpretable decision tree.|date=2021}}</ref> Videre kan implementeringen være vanskeligere på grunn av at det krever mer beregning.

== Se også ==

* [[Tilfeldig skog]]
* [[XGBoost]]
* [[Beslutnignstrelæring|Beslutningstrelæring]]

== Referanser ==
<references />

[[Kategori:Maskinlæring]]
[[Kategori:Klassifisering]]
[[Kategori:Algoritmer]]