Redigerer Kunstig nevralt nettverk (avsnitt)

==Flerlags forovermatet nevralt nettverk==
Nevrale nettverk med flere lag blir som oftest referert til som ''Flerlags forovermatet nevralt nettverk''. Der den mest vanlige versjonen har et inputlag, et skjult lag og et outputlag, slik som figuren overfor (Fig. 1) viser. I dette tilfellet er ikke inngangsvektoren og utgangsvektoren vist. Man kan tenke seg at hver skjulte enhet er et perceptron som representerer en grensefunksjon fra inputlaget. Videre kan man tenke seg at en outputenhen er en begrenset(thresholded) lineær kombinasjon av flere skjulte enheter. Med et stort nok skjult lag kan et nevralt nettverk med kun ett skjult lag representere alle kontinuerlige funksjoner, med to lag kan til og med ukontinuerlige funksjoner representeres.<ref name="Russell 2003"/> Hvis overføringsfunksjonene kan velges ideelt så blir også antall skjulte noder begrenset og endelig. Forutsetningene for at dette skal skje er aldri tilstede i praksis.

===Læringsmetode===
Læringsalgoritmene for flerlags forovermatede nevrale nettverk er sammenlignbare med algoritmene for perceptronettverk, en variasjon av disse er vist over. En av hovedforskjellene er at vi kan ha flere utganger, slik at vi har en utgangsvektor <math>y_f(z)</math> istedenfor en enkeltverdi, hvert eksempel har også en utgangsvektor <math>x</math>. Hovedforskjellen mellom enkeltlags og flerlags er at feilen til output (<math>x - y_f</math>) er tydelig, mens feilen til det skjulte laget forblir ukjent siden treningsdatasettene ikke har noe data om hva de skjulte nodene skal gi som output.<ref name="Russell 2003"/> Feilen fra utgangen kan imidlertid propageres gjennom nevronet ved å invertere overføringsfunksjonen og dermed fordeles på feil introdusert fra de enkelte pådrag. En slik tilbakepropagering kan gjøres gjennom mange skjulte lag, men som det viser seg, med stadig lavere lærerate.

====Algoritmen====
En generell tilbakeforplantningsalgoritme (back-propagation algorithm):

   Initialisering: vektene til det nevrale nettverket får små tilfeldige verdier
   Gjør:
          For alle eksempler e i treningsdatasettet:
               <math>O</math> = output fra bruk av inputs mot vektene i nettverket sine verdier
               <math>T</math> = output for e fra treningsdatasettet
               Kalkuler feilen (<math>T - O</math>) for outputenhetene
               Regn ut <math>\Delta w_h</math> for alle vektene fra det skjulte laget til outputlaget
               Regn ut <math>\Delta w_i</math> for alle vektene fra inputlaget til outputlaget
               Oppdater alle vektene i nettverket
   Til: Alle eksemplene er klassifisert korrekt eller til et stoppkriterium blir møtt
   Returner nettverket