Redigerer Entropi (avsnitt)

==Informasjonsteori==

Hvis man har fire oppgaver (A,B,C,D) foran seg og man skal utføre en av dem, trenger man to bits informasjon for å vite nøyaktig hvilken. En ''bit'' er her svaret på et ja/nei-spørsmål. Først må man få vite om oppgaven tilhører gruppen (A,B) eller gruppen (C,D). Det krever en bit informasjon. Når gruppen er bestemt, trenger man en bit til for å få vite hvilken oppgave av de to man skal gjøre.

Dette kan lett generaliseres til å plukke ut et objekt fra en samling med ''N'' objekter som alle er av samme betydning. Til det vil det behøves  ''I'' = log<sub>2</sub>''N'' bits hvor  log<sub>2</sub> er logaritmen med basis 2. Dette er den [[logaritme|binære logaritmen]] som kan betegnes med lb. Så i dette tilfellet hvor alle objektene har samme sannsynlighet ''P = 1/N'', kan vi skrive informasjonsinnholdet ''I'' = - lb ''P'' som er ekvivalent med ''I'' = - ''k'' ln ''P'' hvor konstanten ''k'' = 1/ln 2 = 1.44.

I det mer generelle tilfellet opptrer de forskjellige objektene med forskjellige sannsynligheter ''P''<sub>i</sub>. Hvis vi nå gjentar denne overleveringen av informasjon angående de samme objektene mange ganger, det vil si vi midler over mange ''ensembler'' i Gibbs' terminologi, vil det i gjennomsnitt behøves en informasjonsmengde som er den midlere verdi

:  <math> I = -\sum_i P_i \,\mbox{lb} P_i = - k \sum_i P_i \ln P_i </math>

Dette uttrykket for informasjonsinnholdet ble gitt av [[Claude Shannon]] i 1948, og har akkurat samme form som den termodynamiske entropien til Gibbs. Konstanten ''k'' spiller i informasjonsteori samme rolle som Boltzmanns konstant ''k<sub>B</sub>'' i statistisk mekanikk. Og man kan lett argumentere for at det skal være en slik direkte sammenheng som gjort allerede i 1927 av [[Leó Szilárd|Szilard]].  Desto større entropien er for et termodynamisk system, desto mer informasjon må man angi for å beskrive systemets mikrotilstander.

Man kan bruke dette resultatet til å beregne informasjonsinnholdet i et kommunikasjonssystem som produserer en strøm med symboler som for eksempel kan være bilder, ord eller bokstaver. Hvert symbol opptrer med en bestemt sannsynlighet ''P''<sub>i</sub>.  I et språk opptrer ikke alle ord like ofte. Bruker en person hovedsakelig bare et lite utvalg av kjente ord, det vil si noen få ord har større sannsynlighet  enn andre, vil informasjonsinnholdet ifølge Shannon være mindre enn om alle ord opptrer like ofte. En apekatt som hamrer tilfeldig løs på en skrivemaskin vil skrive en tekst med større informasjonsinnhold enn en skrivekyndig person som kan sin rettskrivning og vet at bokstaver ikke kan opptre fritt etter hverandre for å danne meningsfylte ord.

I norsk tekst opptrer omtrent 32 = 2<sup>5</sup> tegn eller bokstaver. Hvis de hadde opptrådt fritt i en tekst, ville hver av dem opptre med en sannsynlighet 1/32 og med et tilsvarende informasjonsinnhold av 5 bits. Men sannsynlighetene for hver bokstav er ganske forskjellig og kan enkelt bestemmes ved å telle opp hvor mange bokstaver av hver sort man har i en større tekst. Da kommer man frem til et informasjonsinnhold på ca. 4 bits per bokstav. Hadde man i stedet talt opp ord må samme måte, ville informasjonsinnholdet bli enda mindre. Det skyldes at i mange ord vil bestemte bokstavkombinasjoner ikke opptre. For eksempel på norsk vil ikke en h kunne følge en j. På denne måten finner man at informasjonsinnholdet kommer ned under 3 bits per bokstav. Ved å se på større symboler med enda flere bokstaver, vil informasjonsinnholdet bli enda lavere. Shannon spekulerte om det kunne komme helt ned i en bit per bokstav eller tegn.

En tekstside i en bok har typisk 80 bokstaver eller tegn på hver linje og 50 linjer. Det er tilsammen 4000 tegn per side. Har boken 400 sider, så blir det ca. 16&thinsp;&times;10<sup>5</sup> bokstaver. Med 3 bits informasjon i hver bokstav, blir det tilsammen ca. 4,8&thinsp;&times;10<sup>6</sup> bits eller 5 Mb. Denne typiske størrelsen kjenner vi igjen fra nedlasting av bøker på Internet.