Approksimoinnin ajatus.

Todennäköisyyksillä tarkoitetaan käytännössä tapahtumien yleisyyden ymmärtämistä. Sen lähestyminen alkoi uhkapelin tiimoilta. Tästä tärkeitä asioita olivat se, että oli ymmärrettävä sekä voiton että häviön yleisyyssuhteet toisiinsa. Ja lisäksi oli ymmärrettävä panoksen suuruus. Tästä saadaan voiton odotusarvo. Tosielämä onkin liian mutkikasta, ja siinä paras päätös riippuu usein myös toisten toiminnasta, siitä mitä toinen tekee. Tällöin aletaan puhumaan peliteoreettisista tilanteista.

Kuitenkin vastaavaa todennäköisyyden ymmärtämistä tarvitaan myös tieteessä. Siellä selittäminen on olennaisesti samantapainen ilmiö: Sen ei tarvitse kattaa joka ikistä yksityiskohtaa. Selittäminen vaatii sen, että "laki peittää" jonkun havaintojoukon. Tästä päästään siihen, että mitä laajemman yksityiskohtien alueen ja mitä useammin se selviää "kriittisestä testistä", eli tilanteesta jossa aineisto voisi tuottaa "sille mahdottomia" tuloksia, sitä paremmin teoria ennustaa. Ja sitä todennäköisemmin teoria myös on tosi. Bertrand Russell sanoikin, että "Vaikka tämä näyttää paradoksilta, kaikkea eksaktia tiedettä dominoi approksimoinnin ajatus."

Todennäköisyys on aikoinaan liitetty pelkästään virheisiin: Esimerkiksi Laplace kehitteli metodeja, joilla voitiin arvioida sitä, kuinka laadukas jokin mitattu aineisto on. Tätä kautta voidaan katsoa että taustalla on ollut "eksakti totuus", ja todennäköisyyttä tarvitaan vain koska mittauslaitteilla on onnistuneet rajat, ja joskus teknikkokin kämmäilee. Satavuotiaan puun sijasta tehdäänkin vuosirengasajoitus harjoittelijan kuksasta jonka tämä on itse vuollut lapinmatkallaan. Tämä idea oli vahvasti läsnä, ja sen voi osoittaa helpohkosti viittaamalla Laplacen demoniin : Se oli ajatuskoe, jossa kuviteltiin hahmo joka tunsi kaikki maailmankaikkeuden vaikuttavat voimat ja kappaleiden sijainnit aivan tarkasti, joten tämä pystyi tietämään tarkasti mitä missäkin ajanhetkessä tapahtui tai tapahtuu. Tässä maailma on ehdottoman deterministinen. Maailmassa ei ole todennäköisyyttä, on vain jotain joka tapahtuu. Todennäköisyyksiä tarvitaan vain koska ihminen ei tiedä kaikkea. Ihminen ei ole "Laplacen demoni".

Kuitenkin juuri tässä kohden on isoja erimielisyyksiä. Todennäköisyyksissä on karkeasti kaksi pääkoulukuntaa. "Objektivistinen" ja "subjektivistinen". Niiden pääluonteet on ymmärrettävissä jo aikaisemmin kirjoittamani, silloin sattumaa koskevassa, valossa.
1: "Objektivistinen todennäköisyys -koulukunta" esittää että kun tapahtumien joukossa mitataan vaikka 1% jotain tapahtumaa, se tarkoittaa sitä että tämä todennäköisyys on ilmiön todellinen ominaisuus. Tämä lähestyy todennäköisyyttä havaitun toistumisen autta.
2: "Subjektivistinen todennäköisyys -koulukunta" taas esittää että todennäköisyys on uskomus siitä, miten usein jokin tapahtuma tapahtuu. Tätä lähestymistapaa käsitellään Bayesin kaavalla.

Tässä kiistassa esitettiin jo varhain tärkeitä kannanottoja: Jaynes esitti että molemmilla tavoilla on puolensa, mutta että joskus vain subjektiivista todennäköisyyttä voidaan käyttää. Hänestä se oli hyödyllistä etenkin jos tilasta ei tiedetä mitään. Jos meillä on jokin laatikko jossa on hiukkasia, josta emme tiedä mitään, niiden ominaisuuksista oleva tietämättömyys on maksimissa. Ei ole mitään mitattua aineistoa, josta todennäköisyys saataisiin. Esimerkiksi Laplace oli tässä kohden sitä mieltä että kaikki todennäköisyydet oli oletettava yhtä mahdollisiksi. Objektivisteista tässä kohden olennainen ongelma on siinä, että tämä arvaus ehkä auttaa laskelman tekemisessä. Mutta tosiasiassa ei ole mitään perusteita olettaa että todennäköisyydet todella olisivat samat. Se vertautuu ikään kuin siihen, että jos pelataan arpapeliä, josta ei tiedetä mitään, pitäisi odottaa voiton todennäköisyys ja häviön todennäköisyys yhtä suuriksi. Toki tällä arvauksella saadaan laskelma, mutta onko tämä vakioksi arvaaminen yhtään vähemmän mielivaltainen kuin se, että otettaisiin mikä tahansa muu oletus.

Tieteellisen tiedon hankinnan voidaan ajatella olevan informaation keräämistä. Tässä näkökulmassa on perusteltua ottaa käyttöön Claude Shannonin informaatio. Hänhän lähestyi informaatiota epävarmuuden vähentämisen kautta. Ennen viestin saamista kaikki viestit ovat mahdollisia ja viestin saamisen jälkeen vain osa. Tätä kautta viestin informaatiosisältö on katsottavissa sen suhteen, miten paljon asioita se rajaa sisäänsä ja mitä ulos. Jos esimerkiksi etsittäisiin tiettyä henkilöä puhelinluettelosta, ja meille kerrottaisiin että henkilö on luettelon viimeisellä puolikkaalla, epävarmuutemme puolittuisi. Olisimme saaneet yhden bitin verran informaatiota. Shannon kehitti kaavan sille, jolla tätä epävarmuutta voidaan arvioida. Hän kutsui sitä entropiaksi. Se rinnastuu hieman fyysikoiden termodynamiikassa käyttämään entropiaan, mutta ei ole aivan identtisesti sama asia. Fyysikoillekin entropia on epäjärjestyksen mitta, jonka määrää voidaan arvioida. Niiden kaavatkin ovat olennaisesti samanlaisia: Shannonin entropian kaava kuvaa "sovelletusti" sitä tilaa, jota fysikaalinen entropia käsittelee kun kyseessä on vaikka laatikollinen kaasua.

Informaatioteoria mittaa epävarmuutta todennäköisyysjakaumassa. Fyysikoiden entropia taas fysikaalisessa järjestelmässä olevaa järjestystä. Joka on vaihtoehtoja fysikaalisesti uskottavissa todennäköisyysjakaumissa.

Shannonin informaatio ja entropia ovat matemaattisia suureita, joita voidaan tietysti soveltaa tosielämässä. Fysiikassa taas kyseessä on enemmän fysikaalisesta ilmiöstä, jonka käsittelyä voidaan auttaa matemaattisilla kaavoilla. John Pieper on siksi viitannutkin "Entropy, Disorder and Life" -jutussa että pelkkää järjestystä arvioimalla ei voida sanoa mikä seuraavista jonoista sisältää eniten termodynamiikassa käytetyn statistisen mekaniikan entropiaa: "ABAABBABBBBBABBAABABB ABAABAABAABAABAABAABA AAAAAAAAAAAAAAAAAAAAA ABABABABABABABABABABA" Ne ovat pelkästään tuollaisina kaikki jonkin tuntemattoman fysikaalisen tilan aikaansaannoksi: Eikä fysiikassa aina voida olettaa hyvällä syyllä kaikkia mikrotiloja yhtä todennäköisiksi. Sen sijaan matemaattisesti voidaan arvata subjektiivisen todennäköisyyden tavan kautta: Sen tapa suhtautua epätietoisuuteen voidaan ottaa käyttöön ja saada tässä, erilaisessa konteksissa, vastaus. Tätä näiden välistä, pieneltä tuntuvaa mutta oleellista, eroa voidaan kuvata esimerkillä koulumaailmasta. Kuvitellaan että meillä on tosi iso luokka. Oppilaiden taidoista ja kurssin vaikeudesta ei ole tietoa. Tiedetään vain että arvosanat ovat 4 - 10.
1: Jos puhuttaisiin fysikaaliseen entropiaan verrattavissa oleva systeemi, sen määrittämisen katsottaisiin vaativan koeaineistoa. Keskiarvo saataisiin, jos katsottaisiin moniko otoksessa saisi vitosia, nelosia, kymppejä... Tätä kautta voitaisiin arvioida keskiarvoja, vaikka joka ikistä arvonsanaa ei ole listalla. Minusta tämä on järkevää, koska minulla oli esimerkiksi ruotsissa yhtenä opettajana Raili "raippa" Heinonen, joka oli sinällään ihastuttava persoona ja hyvä opettaja. Ainut ongelma oli siinä että hänen kursseillaan nelosen sai 55% henkilöistä. Pääsin lopulta lukion ruotsini läpi sillä, että kävin kurssin ensin Heinosen kurssilla, jossa opin mutta en päässyt läpi. Ja sitten kävin sen seuraavassa jaksossa jonkun toisen opettamana, jolloin Heinosen psyykkaamana pääsin sen hyvällä läpi. (Muuten en olisi ikinä läpäissyt ruotsin kursseja. Se viivästytti lukiotani niin että valmistuin 3,5 vuodessa. Loppuaika oli pelkkää kielien ihmemaata..) "Heinosmaailmassa" kaikkien kurssin keskiarvo oli kaikkea muuta kuin seitsemän. (Se oli tuskin edes kuutta.)
2: Sen sijaan jos sovelletaan subjektiivista todennäköisyyttä ja informaatiomatematiikan entropiaa, voidaan "arvata" että kaikki numerot olisivat yhtä mahdollisia. Keskiarvoksi voidaan tällöin arvata seitsemän. Se voidaan saada useimmilla tavoilla: Kympin keskiarvo saataisiin vain, jos miltei kaikki saavat kymppejä, nelosen vain jos miltei kaikki saavat nelosia. Tämä vaikuttaa epätodennäköiseltä. Sen sijaan seiskan keskiarvo voidaan saada useilla tavoilla: Jos vaikka 20% on kymppejä ja 20% nelosia, ne nollaisivat toisensa seiskaksi. Jos kaikki ovat seiskoja, on myös seiska... ylipäätään se tulee useimmin. Tämä on kuitenkin jonkinlainen vastaus.

Molemmat laskutavat ovat tavallaan järkeviä: Syy on tieto järjestelmästä. "Samansuuruisiksi" arvottavat vaihtoehdot perustuvat oletukseen että kaikkien vaihtoehtojen todennäköisyydet ovat samat, ja että niiden tulokset ovat toisistaan riippumattomia. Tästä seuraa se, että jos ne eivät ole, laskelma ei yhtäpidä todellisuuden kanssa. ("Keskiarvo 7" on hyvä odotus luokan tulokseksi, mutta jos tietää että kurssia opettaa "Raippa -Raili" Heinonen, on laskelmia korjattava välittömästi.) Tätä kautta voidaan olettaa fysiikassa on moniakin tilanteita, joissa sääntöä ei voida noudattaa. (Silloin lasketaan tilanteita jotka ovat jollain tavalla "Heinosen ruotsinluokassa".) Ero, jossain soveliaan kaavan hylkääminen, johtuu siitä että tiedämme jotain systeemin todennäköisyyksistä ja tämä tieto otetaan huomioon. Joko kaavaa muokataan tai laskelma hylätään toimintarajoiltaan tilanteeseen sopimattomana. Fysiikassa tämä on tietysti selvää, koska monin paikoin tiedämme että jokin tilanne riippuu edellisistä tapahtumista, jolloin "pelkkää arvontaa" ei tietenkään voida olettaa tapahtuneeksi. (Kun näen kiven jyrkänteellä, en voi olettaa että mikä tahansa suunta olisi yhtä mahdollinen. Kivi putoaa todennäköisemmin rotkoon kuin nousee rinnettä ylös.) Siksi jos ei käsitellä kaasun leviämistä (jossa satunnaisuusennusteet ovat havaintojen kanssa sopusoinnussa ; Eli niissä on vahva empiirinen tukikin, joka osoittaa että kaasu myös jakaantuu vapaasti.), vaan näitä tilanteita joissa todennäköisyysjakauma ei havaintojen nojalla ole "puhtaasti arvottava", entropialaskelmaa on painotettava:

Silloin lasku tehdään tilassa, jossa systeemi ei ole pelkkä "suljettu laatikko". Siitä tiedetään jotain. Tämä tieto muuttaa alkutilaa, jonka mukaan jos yhteyttä ei ole todistettu, sitä ei ole.

Sen sijaan epätietoisuuden tilassa voi olla aivan järkevää olettaa että kaikki, mitä systeemi ei suoraan kiellä, on otettava huomioon. Ei voida sanoa että jokin asia olisi todennäköisempi, koska tästä ei ole tietoa. Jos kyseessä on ennuste tapahtumista, havainnot voivat osoittautua erilaisiksi, mutta se on silti paras laskelma joka voidaan tehdä. Toki jos havainnot osoittautuvat erilaisiksi, on syy muuttaa kaavaa, eikä uskoa että "todellisuus fail". (Ainakin mikäli ei ala uskomaan puhtaaseen rationalismiin, mutta tällöin ei tarvitse mitään koeaineistoa tai tutkimusta, joten koko kokeen tai havainnoinnin tekeminen olisi turhaa in first place. Empiristi sen sijaan sekä tekee kokeen että muuttaa kaavaa, mikäli kaavan ennuste ja todellisuus ovat ristiriidassa.) Mutta tämä muutos perustuu tietoon, joka on saatu. Tietenkin arvaus on tietyssä määrin mielivaltainen, ja olisi erikoista esittää että se todistaisi yhtä vahvasti kuin jo testattu asia. Mutta sen tekee paremmaksi se, että siinä ei tiedetä mitään systeemistä. Ja ennen kaikkea, koska laskelma voidaan tehdä.