Redigerer Lærende automaton (avsnitt)

== Definisjon ==
En lærende automat er en enhet for adaptiv beslutningsprosess i et stokastisk miljø som lærer optimal handling gjennom gjentatt interaksjon med sitt miljø. Handlingene som tas er bestemt av sannsynlighetsfordelingen til tidligere respons fra miljøet, gitt automatens tidligere handlinger (a posteriori respons).

Innenfor feltet forsterket læring så er lærende automata karakterisert som ''policy iterators''. I motsetning til andre automata for forsterket læring så manipulerer policy iterators direkte regelen <math display="inline">\pi</math> (policyen <math display="inline">\pi</math>). Et annet eksempel på policy iterators er [[Evolutionary algorithm|evolusjonære algoritmer]].

Formelt så definerte Narendra og Thathachar en stokastisk prosess som:

* et sett <math display="inline">x</math> av mulige påtrykk (innsignal),
* et sett <math display="inline">\mathbf{ \Phi } = \left \{ \Phi_1, \mbox{…}, \Phi_s \right \} </math> av mulige interne tilstander,
* et sett <math display="inline">\mathbf{ \alpha } = \left \{ \alpha_1, \mbox{…}, \alpha_s \right \} </math> av mulige respons (utsignal), eller handlinger, med <math display="inline">r \leqslant s</math>,
* en initiell tilstandsvektor <math display="inline">p \left ( 0 \right ) =  \left \langle p_1 \left ( 0 \right ), \mbox{…}, p_s \left ( 0 \right ) \right \rangle</math>,
* en [[Computable function|beregnbar funksjon]] <math display="inline">A</math> som etter hvert tidssteg <math display="inline">t</math> beregner <math display="inline">p \left ( t + 1 \right )</math> fra <math display="inline">p \left ( t \right )</math>, det nåværende påtrykket (innsignalet), og den nåværende tilstanden, og
* en funksjon <math display="inline">G: \Phi \to \alpha</math> som beregner responsen (utsignal) for hvert tidssteg.

I den publiserte artikkelen så undersøkte de kun stokastiske automata med <math>r = s</math> og hvor <math display="inline">G</math> er [[bijektiv]], noe som gjorde at de kunne behandle handlinger og tilstander på samme vis. Tilstandene i en slik automat tilsvarer tilstandene i en Markov-prosess med diskrete tilstander og parametre (discrete-state discrete-parameter Markov process).<ref name=":0">{{Kilde artikkel|tittel=Learning Automata - A Survey|publikasjon=IEEE Transactions on Systems, Man, and Cybernetics|doi=10.1109/tsmc.1974.5408453|url=https://doi.org/10.1109/tsmc.1974.5408453|dato=Juli 1974|forfattere=|fornavn=Kumpati S.|etternavn=Narendra|etternavn2=Thathachar|fornavn2=M. A. L.|via=|serie=4|språk=en-US|bind=SMC-4|hefte=|sider=323–334|issn=0018-9472|besøksdato=2018-05-03|sitat=}}</ref> Ved hvert tidssteg <math display="inline">t = 0, 1, 2, 3, \mbox{…}</math> så vil automaten lese et påtrykk (innsignal) fra miljøet, oppdatere <math display="inline">p \left ( t \right )</math> til <math display="inline">p \left ( t + 1 \right )</math> med funksjonen ''<math display="inline">A</math>'', velge tilfeldig en etterfølgende tilstand i henhold til sannsynligheten gitt av <math display="inline">p \left ( t + 1 \right )</math>, og gi tilhørende handling som respons (utsignal). Automatens miljø leser handlingen og sender det neste påtrykket til automaten. Ofte brukes settet <math display="inline">x = \left \{ 0, 1 \right \}</math> som påtrykk, med 0 og 1 tilsvarende henholdsvis ''ikke-straff'' og ''straff'' fra miljøet. I dette tilfellet vil automaten minimere antallet straffepåtrykk, og tilbakekoblingen mellom automaten og miljøet er kalt en «P-modell». Mer generelt så vil en «Q-modell» tillate et tilfeldig påtrykk <math display="inline">x</math>, og en «S-modell» bruker et reelle nummer i et intervall <math display="inline">\left [ 0, 1 \right ]</math> som <math display="inline">x</math>.<ref name=":0" />