Miksi suunnittelua ei etsitä eliöistä?

Juha Leinivaara kuvasi blogissaan ID -aiheesta tohtoroineen väitöstilaisuutta. Kojosen kannanotto tiettyyn yhteen asiaan on jotain jota halusin sitten nostaa esille tarkemmin. "Väitöstilaisuudessa Kojosen opponentti tiedusteli tällaisten tutkimusten perään. Behen IC-argumentti ja Dembskin Complex Specified Information mainittiin. Hän ei ollut onnistunut löytämään näiden ID-työkalujen käyttöä tieteellisissä julkaisuissa. Kojonen vastasi sen johtuvan siitä etteivät biologit usko elämän olevan suunniteltua. Varmasti pätevä selitys ID-tutkimusten puutteelle, mutta toisaalta IDeisteillä on ne omat pro-ID julkaisut (esim. BIO-Complexity ja Evolutionary Informatics Lab). Ongelma säilyy tästäkin huolimatta: kukaan ei näyttäisi soveltavan IDeistien työkaluja biologiassa. Väittäisin sen johtuvan siitä, etteivät ne toimi älyn havaitsemisessa."

Olen tässä asiassa varsin tiettyä mieltä. Jos mietitään ID:n designin päättelyn menetelmiä, vastaan syntyy varsin helposti erikoisia tilanteita. Otetaan esimerkiksi CSI -informaatio. William Dembski, informaatiotieteen Paris Hilton, kuvaa itse tätä aivan itse kehittämäänsä ja nimeämäänsä konseptia esimerkiksi sellaisessa neronleimauksessa kuin "Specification: The Pattern That Signifies Intelligence". (Luettavissa internetissä ilmaiseksi.) Sen ytimessä on juuri älysuunnittelun huomaaminen. Jos katsomme Dembskin spesifikaatiota vaikka sivuilta 9-12 voimme huomata että se viittaa matalaan Kolmogorov -kompleksisuuteen. Tämä täsmennys on tärkeää koska ollakseen suunniteltua täytyy kohteen olla kompleksia ja spesifiä. Ja jos se ei täytä spesifikaatiota se voi olla kompleksia mutta ei spesifiä. "It’s this combination of pattern- simplicity (i.e., easy description of pattern) and event-complexity (i.e., difficulty of reproducing  the corresponding event by chance) that makes the pattern exhibited by ( ψR) - but not (R) - a specification."

Dembskin esimerkit ovat tässä muutenkin kuvaavia. Hän on selityssuodattimessaan kuvannut sitä, miten hyvin säännönmukaiset ja toisteiset pätkät ovat spesifejä. Dembskin lempilapsi tässä on ollut Caputo-case. Tämä viittaa 1985 tapahtuneeseen Nicholas Caputon suhmurointiin. Hänet tuotiin oikeuteen koska hän oli manipuloinut poliittista vallanjakoa. Caputo kiisti huijanneensa mutta koska kukaan ei valvonut hänen prosessiaan, oli hänen syyllisyytensä arvioitu epäsuorasti todennäköisyysmatematiikalla. Jos voiton suhteet ovat fifti-fifti, niin miten ihmeessä demokraatit voittivat 40 kertaa 41. Liian monta kertaa tapahtunut tietty tulos vihjasi siitä että arpaa ei oltu heitetty vaan tulos oli peukaloitu. Caputo -casea on käytetty monessa paikassa mutta kenties helpoiten siihen voi tutustua lukemalla Dembskin "The Explanatory Filter:A three-part filter for understanding how to separate and identify cause from intelligent design" (Luettavissa internetissä ilmaiseksi.) Jos teemme kolikonheitosta sarjan jossa kruuna on 1 ja klaava 2, on "11111101111111111111111111111111111111111" spesifi ja siis mahdollisesti suunniteltu. ID -kielenkäytöllä sattuma eliminoidaan selityksenä. Tätä ideaa ei selvästi ole muutenkaan hylätty. Dembskin esitelmästä saa aivan selvästi napattua lausuman "Well, it turned out what was crucial for detecting design was this what I called Specified Complexity, that you have a pattern, where the pattern signifies an event of low probability, and yet the pattern itself is easily described, so it’s specified, but also low probability. And I ended up calling it Specified Complexity"
1: Mitä on enemmän kuin hieman hauskaa hieroa monien kreationistien naamaan, sillä moni heistä väittää toisaalla että mutaatiot eivät voi tuottaa informaatiota koska jos geeni kahdentuu, ei synny uutta informaatiota. Tuossahan on informaatiopätkä "1" jota on kopioitu moneen kertaan. Ja jos kahdentaminen ei tuota informaatiota, ei tuossa voi olla lisää informaatiota. Mutta tämä on nyt tämän jatkon kannalta irrelevanttia. Kunhan itsekseni huvitun.

Toisaalla sitten voidaan kaivaa ID -nero Stephen Meyer jonka tuotos "in Evidence for Design in Physics and Biology: From the Origin of the Universe to the Origin of Life" esittää aivan suoraan seuraavaa "Complex sequences exhibit an irregular and improbable arrangement that defies expression by a simple formula or algorithm. A specification, on the other hand, is a match or correspondence between an event or object and an independently given pattern or set of functional requirements." Tämä viittaa nimenomaan ja by definition pieneen pakattavuuteen eli siihen että Kolmogorov-kompleksisuus onkin korkea. Ja sen olisi oltava by definition korkea.

Peruspuolustus tähän ongelmaan on se, että CSI -informaatiossa on sekä spesifi että kompleksi osuus. Ongelmana vain näyttää olevankin se, että CSI -informaation kompleksi on määritelmällisessä ristiriidassa sen spesifin kanssa. (Mikä itse asiassa sopii siihen ajatukseen että tosiasiassa ei ole mitään CSI -informaatiota vaan kaikki on sattumaa ja lainomaisuutta.) Astetta sivistuneempi ID -counteri aiheeseen on kuitenkin se, että ID -läiset korostavat että "Shannon Complexity" viittaa Shannonin entropiaan, ja että tätä ei käytetä kun älysuunnittelua etsitään. Että yleensä kompleksisuutta arvioidaan tapahtumatodennäköisyyteen. Ja että tässä katsotaan mahdollisia "maallisia selitysmalleja" ja niiden todennäköisyyksiä. Kompleksisuus olisi vain logaritmilaskentaa tästä todennäköisyydestä. Että Shannonin entropiaa voitaisiin käyttää vain hyvin spesifeissä tilanteissa, kuten Caputo -casessa. Siis tilanteesta jossa tiedetään että syntyteoria on jotain jossa osien järjestäytymiset olisivat yhtä todennäköisiä. (Oma kannanottoni tähän sofistikoituneempaan malliin on jo kirjoitettuna.)

Mitä tuo tarkoittaa?

Ylläolevaa katsoen on helppoa huomata että Design -suunnittelua ei tehdä millään yhdellä mittarilla. Idean taakse tiivistyy enemmänkin jotain josta on vaikeaa sanoa mitä se on. Karkeasti ottaen vaihtoehdot ovat seuraavat:
1: Kyseessä on oikea Design -teoria, joka on laaja. Siinä on keskenään ristiriitaisia osia. Eli teoria on kokonaisuutena rikki ja perseestä ja epälooginen.
2: Ei oikeasti ole mitään Design -teoriaa vaan peruskäsitteiden taakse on koottu enemmänkin hajanainen kokoelma jonkinlaisia intuitiopumppuja. Näitä tunnistusmetodeja ei suostuta kieltämään vaan niitä kaikkia halutaan tukea. Ja lopputuloksena on se, että se, mitä työkalua käytetään riippuu siitä mitä intuitio ensin sanoo suunnitelluksi. Kun tämä lopputulos on sitten päätetty (joko tietoisesti tai esitietoisesti, luultavasti tietoisesti) voidaan hajanaisesta työkalupakista valita aina sopiva menetelmä. Se joka antaa halutun tuloksen. Juuri se että tarjolla on keskenään ristiriitaisia työkaluja takaa sen että sopiva tulos saadaan aina ja jokaiseen tarpeellisentuntuisen tilanteeseen löydetään aina siihen sopiva päättelytyökalu ; Kun viittauksissa on Kolmogoriv -kompleksisuutta, Shannonin entropiaa ja Shannonin yllättyneisyyttä, on enemmän kuin luultavaa että jokin näistä osuu kohdalle.
     2.1: Bonuksena on se, että taustahypoteeseja tutkiessa ei usein olekaan tehty mitään asiallista ehdotonta todennäköisyyslaskentaa. Usein sen takia että todennäköisyyttä ei voida arvioida. Näin ollen se mikä jää käteen on se, että heitetään hatusta mitä tahansa todennäköisyysarvioita ja muutetaan tämä tieteellisen näköiseksi silmänkääntötempulla jossa todennäköisyys muutetaan biteiksi logaritmikaavalla. Joka tietysti onnistuu koska se on vain toinen tapa sanoa sama asia. (1/100 on 1% so math there.)

ID joko on ristiriitainen tai ei teoria. Sen soveltaminen on enemmän sitä että ensin täytyy olla intuition antama selvä käsitys siitä mitä lopputulosta haetaan. Ja usein todennäköisyysarviotkin täytyy heittää hatusta tukemaan tätä koska argumentatiivisesti hienostuneemmat ja ei epäloogisiksi havaitut menetelmät ovat niin hienoja että niiden vaatimia syntyepätodennäköisyyslukuja ei voida useinkaan selvittää koska maailma ei ole mikään ajatuskoe. Tämä selittää sen miksi edes ID -laitoksissa ei tätä älytunnistusta käytetä. Ja miksi esimerkiksi Kojonen itse ei laskeskele sujuvasti kuinka monta bittiä CSI -informaatiota on luritettuna alkeelliseksi kivikirveeksi epäillyssä kivensirussa, biteiksi muutetussa kuvassa jossa voi olla DNA tai televisiovastaanottimeen tullutta kohinaa tai missä tahansa muussa asiassa. ID -myönteisen Kojosen syynä tuskin on se, että hän ei usko että sitä löytyisi.

Miksi on tarpeen puhuan "informaatiosta" ja "datasta" erikseen?

Informaatio -sanalla on usein paljon erilaisia intuitiivisia merkityksiä. Ja tämä vaikeuttaa asiasta argumentointia. Tämä on tarpeen esimerkiksi jos mietitään että mitä ylipäätään tarkoittaa informaation tuhoutuminen. Sillä kun ihmiset puhuvat informaatiosta, he eivät välttämättä puhu samasta asiasta kuin matemaatikko. Ei vaikka fysiikan asiaa sivuavat termit otettaisiin mukaan puheeseen. Informaatiolla on monia asiasisältöjä. Ja tässä tekstissä käsittelen samanaikaisesti niistä muutamaa. Ne ovat minusta relevantteja tai kiinnostavia tai ainakin käytettyjä ajatuksia tässä yhteydessä.

Murtamattoman linnakkeen murtaminen?

Asiaa voi lähestyä ottamalla perustaksi kryptografian. Jos meillä on salainen viesti jonka sisällöstä ei ole tietoa ja meillä on ns. "one-time pad" -salaus, jonka salausavain on täysin satunnainen ja sen jälkeen tämä salausavain tuhotaan täydellisesti, meillä on käsissämme merkkijono jonka viestiä ei voi purkaa millään supertietokoneella. ; Tässä salaisuutena on se, että tämä mainitsemani Vernanin salausmenetelmä on ainut tunnettu salaus jota ei voi purkaa.

Tämä on monista hämmentävää. Sillä kryptografiassa katsotaan ilmiselväksi säännöksi että kaiken voi purkaa. Tämä ajatus leviää sen tyylisissä kirjoissa kuin Dan Brownin "Murtamaton linnake". Tämä johtuukin siitä, että Vernanin salaus on käytännössä hankala. Ja siihen on eimatemaattinen ongelma. Se koskee salausavainen haltuunsaamista. Yleisenä haasteena on se, että jotta tämänlainen salausavain voidaan saada viestitettävän haltuun on käytettävä jotain kanavaa. Ja jos tätä kanavaa voi kuunnella, salausavaimen saa melko helposti haltuun. Ja jos on käytössä täysin 100% luotettava keino välittää avain, voitaisiin tätä täysin turvallista kanavaa tietenkin käyttää myös varsinaisen viestin levittämiseen.

Mutta tämä heikkous koskeekin avaimen jakamista eikä salatun viestun dekryptaamista. Se vaatii avaimen purkamisen. Toki tässä on toinenkin haaste. Kryptografian avulla voidaan nimittäin tarttua viestin purkamiseen sen sisältämien eisatunnaisuuksien kautta. Ja tässä on karkeasti kaksi reittiä:
1: Tartutaan säännönmukaisuuteen lopullisessa viestissä. Tästä hyvä esimerkki on Zodiac -murhaajana tunnetun sarjamurhaajan viestit. Niiden purkamiseen liittyy paljon kunniaa joten moni on valehdellut purkaneensa ne. Mutta osa viesteistä on kuitenkin purettu. Ja tässä on käytetty tietona nimenomaan sitä, että murhaaja todennäköisesti käyttäisi "KILL" -sanaa viesteissään. Murhaaja oli ovelasti lisännyt tunnistamisen vaikeutta tekstiin siten että hän käytti yleisille kirjaimille useaa merkkiä. Ja näin niiden jakaumat tasaantuivat ja viestin sisältöä. "KILL" -sanan toistuminen kuitenkin loi viestiin rakennetta joka voitiin tunnistaa. Näin ollen Vernanin salaus voidaan purkaa jos lopullisen viestin sisällöstä tiedetään valmiiksi riittävästi.
2: Itse salausavaimessa voi olla toistuvuuksia. Jos salaa pitkällä salasanalla jonka sisältö on DADADA, se vastaa kahden merkin DA -salausta. Toki toistuvuuden ei tarvitse olla näin yksinkertaista, matemaatikot puhuvat astetta teknisemmästä konseptista, redundanssista, ja sitä löytyy kirjainmerkeistä jotka arkijärjellä "näyttävät satunnaisilta". (Mistä saa hieman koomisen esimerkin Jeffery Shalitin "Recursivity" -blogista.) Tässä haasteena on se, että avaimen täytyy olla täysin satunnainen ; Sillä sattuma tuottaa todennäköisimmin algoritmista kompleksisuutta jossa ei ole redundanssia ja joita ei siksi voi häviöttä pakata. Ja täysin satunnaisen tuottaminen on haasteellista. Esimerkiksi PRNG -algoritmit tuottavat yleensä hyvin satunnaisenoloisia mutta kuitenkin pitkällä tähtäimellä pakattavissa olevia (siis redundanssia sisältäviä) merkkijonoja. Ja tämän vuoksi Vernanin salaus onkin usein käytännön tasolla purettavaa mallia.

Tämä ei tietysti tarkoita että "murtamaton linnake voidaan purkaa". Sillä jos tarjolla on pääsy täysin satunnaiseen kohinaan, salauksia voidaankin ryhtyä tekemään. Ja tässä tapauksessa kävisi todellakin niin että ei voitaisi tietää muuta kuin korkeintaan viestin pituus. Satunnaiskohina kun voi tuottaa minkä tahansa järjestyksen ja jokainen salausmerkkijono on yhtä epätodennäköinen. Lopputulosta ei voi purkaa. Mistä päästään tavallaan siihen erikoisuuteen josta kirjoitin kun selitin Hitlerin näköistä kissaa.

Tärkein kysymys onkin oikeastaan se, voidaanko "informaatiota" tuhota.

Jos asiaa ajatellaan fysiikan kannalta, moni viittaa siihen että informaatiota ei voi tuhota. Tämä on tavallaan hyvin järkevää siinä mielessä että informaatio voidaan käsittää asioiden järjestykseksi. Ja koska aineen ja energian säilymislaki viittaavat siihen että universumissa tietyt asiat vaihtuvat ja muuttuvat mutta eivät tuhoudu, voidaan todellakin sanoa että muutos ei tuota uutta informaatiota koska järjestys vain muuttuu. "Vanha informaatio tuhoutuu ja uutta tulee tilalle saman verran." Molemmissa on sama universumi jonka samat osaset ovat eri järjestyksessä.

Mutta jos asiaa tarkastelee datan kannalta, on selvää että datan määrä voi vaihdella hyvinkin paljon. On selvää että one-time padissamme käytetty salausavain on fysikaalisessa maailmassa ja sen atomit ja energia säilyy. Mutta hyvin harva uskoo että tietosisällön voisi palauttaa ennalleen siitä savupilvestä joka liekehtivästä salausavainsivusta on noussut. Monet termodynamiikan ominaisuudet nähdään nimenomaan entropiaa lisäävinä ja irreversiibeleinä. (Hyvä kuvaus palautumattomuudesta on vertaus makkarakoneesta. On kone jonka toisesta päästä menee aasi ja toisesta päästä tulee makkara, mutta ei ole konetta jonka toiseen päähän laitetaan makkara ja jonka toisesta päästä tulee aasi. Siis jos emme puhu kaksimielisin metaforin aasien seksistä.)

Informaation tuhoutumista pitääkin tätä kautta miettiä sitä kautta onko Laplacen demoni mahdollinen. Joku voisi ajatella että termodynamiikan toisen pääsäännön mukainen hajeasia ei ole samaa kuin kartoittamattomuus. Voitaiisin kuvitella että universumi toimii deterministisesti tiettyjen sääntöjen mukaan siten että jos tiedetään universumin kaikkien hiukkasten asema ja liikesuunta, voitaisiin tietää sen muutokset muina hetkinä. Tämä tarkoittaisi sitä että savusta itse viestin purkaminen ei onnistu vain siksi että ihminen ei ole Laplacen demoni. Tosiasiassa informaatiota ei siis voisi oikeasti tuhota lopullisesti, vain ja ainoastaan ihmisen kykyjen rajat ovat se oikea este joka estää one-time-padin salausavaimen selvittämisen. ; Mutta aika harva fyysikko uskoo Laplacen demonin olevan relevantti. Ja minäkään en näe. Kvanttifysiikkaa kuvaa indeterminismi. Heisenbergin epätarkkuusperiaate yksinkertaisesti estää tietämästä edes yhden partikkelin liikesuunnan ja sijainnin. (Saati koko universumin partikkeleiden.) Tällöin viestin tuhoutuminen voi olla aivan konkreettinen asia. Viestin salausavaimen voi tuhota niin että mitkään Kuninkaan miehet - Olipa kyseessä sitten Jeesuksen tai Aragornin seuraajat - eivät voi Lilleri lalleria parantaa.

Indeterminismi on siitä kiinnostavaa että se tarjoaa myös täysin satunnaisen lähteen. Joten vaikka tietokoneohjelmat ovat vain Pseudo Randon Number Generatoreita, niin kvantti-ilmiöt ja niihin sidotut asiat voisivat toimia aidon satunnaisuuden lähteinä. Jolloin salausavainkin voitaisiin saada täysin satunnaiseksi. Jota Vernanin salaus yhden kerran käytettävällä viestin mittaisella salausavaimella vaati.

Joten kenties onkin turvallista sanoa että muutos ei tuhoa "informaatiota", mutta sen sijaan tietyt kompositiot ja tätä kautta "data" on jotain jonka määrä vaihtelee. Ja jos data sidotaan algoritmiseen kompleksisuuteen, eli siihen miten epätodennäköinen se on ja miten pitkä algoritminen kuvaus sen tuottamiseen tarvitaan, voidaan jopa sanoa varsin turvallisesti että universumin indeterminismi pumppaa maailmaan koko ajan lisää tätä "dataa".

Kenties tämänlaatuinen pikkuriikkinen pyörittely on yllättävän tarpeen.

Ylläkuvaamani "informaation" ja "datan" jaottelu on tarpeen sen takia että muutoin voi olla hankalaa ymmärtää monia asioita. Esimerkiksi kreationistit aivan tosissaan esittävät että "mutaatio ei voi tuottaa informaatiota koska se vain muuttaa järjestystä". Ja samalla ajatella että "geenin kahdentuminen ei voi tuottaa uutta informaatiota koska sisältö pysyy samana". Voidaan ajatella että tässä hypitään käsitesisällöstä toiseen. Että ensin puhutaan "informaatiosta" jossa mutaatio on muutos. Ja jossa "dataa" kuvaa se että informaatio toistaa tietyn algoritmisesti kuvatun sisällön.

Ajatuksen omituisuutta ei ole vaikeaa näyttää. Jos meillä on sana "HAIKALA", sen muuttaminen "HAIKARA":ksi todella muuttaa yhden sanan toiseksi. "HAIKALA" tuhoutuu ja "HAIKARA" ilmestyy. Toisaalta jos kirjoitamme "HAIKALA HAIKALA", se ei tunnu lisäävän mitään olennaista uutta tietoa. (Teknisesti se itse asiassa tuottaa. Kolmogorov -kompleksisuus kasvaa pikkuriikkisen ja tämä voidaan nähdä ajatuksena että toistojen lukumäärä itsessään on tietoa siitä montako toistoa on. Mutta ignoroikaa tämä pikkudetalji.) Mutta jos me teemme ensin muutoksen "HAIKALA HAIKALA" ja sitten teemme muutoksen "HAIKALA HAIKARA" voimme huomata että lähtöasema "HAIKALA" pitää sisällään lisäsanan "HAIKARA" ilman että "HAIKALA" on tuhoutunut prosessissa.

Tämän taikatempun ymmärtäminen voi olla haasteellista, ellei huomaa että "järjestyksen pituus" ja "järjestyksen kompositio" ovat itse asiassa hieman eri asioita. Ja kun "informaatio" -sanaa käyteään yleisterminä nämä menevät helposti sekaisin ja syntyy ekvivokaatioita. Ja siksi oli kenties syytä polttaa yksi salausavain heittämällä se korkeasti radioaktiiviseen säteilyyn.

Mitä on normaali ja odotettu?

"Black Box" -sarjan ensimmäinen osa oli hyvin suuri pettymys. Se oli "Housen" tekijöiden uusi sarja. Ja tämä näkyy. Tosin ei hyvässä. Pahiten kusevat henkilöhahmot ; Päähenkilöä näyttelee sievä näyttelijä, joka on teatraalinen ja etäännyttävä. Häntä ei oikein esitellä ja tämän vuoksi syvä syöksy bipolaarisen mielen vierauteen tuntuu varsin kököltä. Kysymys ei siis ole itse teemasta vaan siitä että sarja menee liian nopeasti liian syvälle, eikä valmistautumaton katsoja yksinkertaisesti kykene välittämään päähenkilön ongelmista. Oman haasteensa antaa tietysti bipolaarisuus itse, sillä se heittelee tunteita ja käytöstä suuresti. Hahmosta ei tahdo saada mitään selvää. Ja jos mysteeri olisi hyvä, niin tässä tapaukessa se ei tarjoa mysteeriä vaan samastumisvaikeuksia. Joka on aina huono tarinankerronnassa.

Toinen asia jossa sarja kusee on sitten sen tiedesuhde. Toki "Housen" kanssa on totuttu "tiettyyn laatuun" että "tiettyihin, sanotaanko, vapauksiin". Monet asiat oli hoidettu osaavasti, eivätkä ne puutteet sinällään haittanneet ; Viihteen tehtävänä ei ole olla tieteenfilosofian oppikirja. Ja ne voivat minun puolestani pitää sisällä jopa epätosia elementtejä. Mutta tämän uuden sarjan henki on sellainen joka on siitä paha, että se hieroo tiettyjä hyvin toistuvia ennakkoluuloja. Ennakkoluuloja jotka ovat ongelma. Ja joita sarja lietsoo ja syventää sen sijaan että ratkaisisi.

Tähän maailmaan saa otteen kun katsoo mikä on aloitusjakson suhtautuminen neurologiaan. Sarjan päähenkilö on bipolaarinen nainen joka tutkii epänormaaleja aivoja samalla kun häntä vaivaa koko käsite normaali. Muutenkin neurologi toimii kuin psykiatri, potilaiden kanssa humaanisti vuorovaikuttaen. Hän kuitenkin muka johtaa tutkimuslaitosta. Joka vaatisi ... no muuta kuin hoitsuna toimimista. (Mielestäni vahva mutta hullu nainen tälläisessä roolissa olisi todella mainio asia.)

Miten niin epänormaali suhteessa normaaliin: luulin että kysymys on vaikutuserojen havaitsemisesta?

Kuitenkin jos aivojen funktioita katsotaan, voidaan katsoa sellaisia ajatuksia mitä vaikka neurologiaa seulovan Damasion kirjoista löytyy, ne ovat itse asiassa melko kaukana normaali-epänormaali -dikotomista joiden varaan sarja rakentaa narraationsa. Jos Damasio esimerkiksi tutkii aivovammapotilaita, leesio voi kenties vaikuttaa epänormaalilta siksi että se on harvinainen tavallisten ihmisten keskuudessa. Mutta tosiasiassa leesio on merkittävä lähinnä siksi että se on variaation lähde. Jos aivoista puuttuu osa X ja toisissa se on, saadaan selville miten tämä aivojen osa X vaikuttaa. Kysymys ei ole siitä mikä on normaalia ja mikä ei ole normaalia. Vaan siitä mikä muuttuu. Korrelaatio ei ole normatiivisuutta.

Itse asiassa ihmettelin miten televisiossa älykkäät ihmiset taputtivat niin innolla neurologiksi kuvatulle neurologille joka kuulosti humanistilta. Ei siksi että humanismi olisi huonoa, vaan sillä että neurologia on lähempänä klassista luonnontiedettä ja esiin tuotu humanismi on jotain sen tyyppistä joka on sen verran alkeellista että sentasoiset eivät kiinnosta humanistiseen filosofiaan syventyneitä. ; Heillä on paljon sofistikoituneempaa materiaalia. On vaikeaa nähdä miksi he taputtisivat skientistiä joka ilmiselvästi suorittaa filosofian peruskurssin mietintöjä heidän edessään luennolla.

Itse asiassa ajatus neurologiasta normatiivisena onkin se asenne joka tästä puheesta, kenties tahattomasti, välittyi. Silloin voidaan vetää mielet vaikka Helsingin Sanomien kirjoitukseen joka käsitteli juopaa humanistien ja luonnontieteilijöiden välillä. Siinä viitataan Snown näkemykseen siitä miten akateeminen kulttuuri on kahtiajaettu. Ja kuinka "luonnontieteilijöiden kulttuuri oli jäänyt pahasti ihmistieteisiin nojaavan kulttuurin jalkoihin. Ei-luonnontieteilijät eivät hyväksyneet luonnontieteellisten saavutusten kulttuurista merkitystä." Luonnontieteiden osaamattomuudella voidaan jopa ylpeillä koska sitä pidetään kylmänä ja kovana ja kulttuurisidonnaisena.

Tämä on jossain määrin totta. Sillä kun katsotaan viime aikoijen koulutuskeskustelua, voimme muistaa kuinka isoa riitelyä heräsi kun esitettiin että historiasta tehtäisiin vapaaehtoista. Samanaikaisesti fysiikasta on yksi pakollinen kurssi jonka asiasisältö on ajettu äärimmäisen matalaksi. Sotahistorian osaaminen tuottaa humanisteista oleellisia tarinoita kun taas fysiikka ei mitään. Ei siitä huolimatta että kvanttimekaniikan ymmärrys on vaikuttanut elämäntapaamme enemmän kuin suunnilleen mikään. Sillä elämme teknologisessa kulttuurissa jossa pitäisi tiedostaa että McLuhanilla oli relevantti mahdollisuus kun hän korosti että väline on viesti. Siksi tietokoneen toimintaperiaatteen tiedostaminen olisi tärkeää periaatteessa myös humanististen seikkojen vuoksi. Mutta tälle ei oikein haluta antaa yleissivistykseksi laskettavan arvostuksen viittaa.

Itse pidän tätä stereotyyppinä, mutta "Black Box" tuntui alkujaksonsa puolella heijastavan tätä stereotyyppiä jopa tarpeettomasti. Kun korrelaatiot ja normatiivisuus menevät sotkuun, on lopputulos häiritsevä. Toki naturalistien ajattelu voi tuntua helposti tyypittävältä. Mutta kenties asista voi antaa eriävän mielipiteen.

Voisin ottaa asian esiin klassisen "ihmeen" kautta.

Ilmoilla on tyypittelevä ajatus että skientisti a priorisesti kiistää ihmeen mahdollisuuden ja vetoaa sattumaan, koska sattuma on mahdollinen. Ja uskova maailmankuvallisesti taas sallii yliluonnollisen voiman jonka tuottaman ihmeen vaihtoehtona ja on näin vähemmän torjuva ja suopea. (Paitsi että jos siinä halveksutaan naturalismia suppeana ja kahlitsevana niin tämä "avomielisyys" paljastuu välittömästi valehteluksi ja illuusioksi. Paskapuheeksi.) Tästä syntyy helposti ajatus siitä että luonnontiede vaatii normaalia ja poikkeava on jotain jota se torjuu. Ja että silloin kun tieteeltä loppuvat sanat, se kutsuu ihmettä sattumaksi.

Kahtiajako on vanha. Samuel Johnson ja Pierre-Simon Laplace ovat pohtineet tätä teemaa. Heillä ongelmana oli se, että jos epätodennäköinen tapahtuu, onko se yhteensattuma vai onko sen takana jokin suuri selittävä voima, jonkinlainen tuntematon "piilomuuttuja" joka tekee epätodennäköisen todennäköiseksi.

Valitettavasti se on kovimmillaan uskonnollisessa keskustelussa. Silloin sattumahypoteesia vastassa on "piilomuuttuja Jumala". Siinä voidaan esimerkiksi keskustella siitä että jos heitämme kolikkoa satoja kertoja kertaa ja havaitsemme että se tulee joka kerta kruuna yllä alas. Tällöin voidaan ajatella että tämä täsmällisyys olisi ihme. Kuitekin moni paatunut ateisti muistuttaa tässä että mikä tahansa sekvenssi on saman arvoinen. Jokainen kolikonheittosarja on täsmälleen yhtä todennäköinen. Joten kaikki olisivat yhtä ihmeenomaisia.

Ongelma vaikuttaa ongelmalta ellei avuksi oteta "kauheaa kaksiarvoista logiikkaa". Tästä paradoksista on itse asiassa olemassa matemaattinen malli. Sen perusideana on soveltaa Kolmogorov kompleksisuutta. Se ei mittaa lainkaan merkkijonon todennäköisyyttä vaan arvioi sen sijaan mallien osuvuutta. Eli se katsoo paljonko yllättävyyttä prosessiin syntyy. Karkeasti sanoen viestinä on juuri ns "häviötön pakattavuus". Salaisuus on siis siinä että vaikka kaikki permutaatiot ovatkin yhtä todennäköisiä niin kaikki kombinaatiot eivät ole. Ja siksi tässä hylätään intuitiivisesti liiankin vahvasti ilmiselvyytenä pidetty ajatus siitä että katsotaan syntymekanismia ja sitä millä todennäköisyydellä se tuottaa juuri tämän yhden permutaation. Tämä menee roskakoriin, koska lähestymistavassa ei käytetä suoraa todennäköisyyttä vaan ilmiön pakattavuutta, joka on hitusen eri asia.
1: Tämä tarkoittaa sitä että jos merkkijono on pakattavissa on pakko hylätä ajatus siitä että yhteys olisi sattumaa. Pakkaamattomissa oleva taas sanoo että sattuma on paras selitys. Tästä poikkeaminen ei toki ole mahdotonta mutta koko matematiikan taustalla on kuitenkin se, että todennäköisyys sattumalle pienenee nopeasti eksponentiaalisesti ja näin vähänkin pidemmillä jonoilla todennäköisyys korkeasti pakattavalle jonolle tiivistyy lähelle nollaa. Näin esimerkiksi kolikonheittoesimerkki näyttää että on järkevämpää odottaa että kolikko ei ole tasapainossa. Eli sen takana on paljon paljon todennäköisemmin jokin muuttuja. (Mahdottomuus hämää tässä todellakin mieliä. Ja tämä on nimenomaan ateistien ajattelutavalle tyypillinen hämääntyminen.)
2: Toisaalta tästä sattumasta ei voida nimenomaan vetää tulkintoja ihmeeseen koska se mitä havaitaan on se, että jakauma ei ole satunnainen. Ja todennäköisyyksiä verratessa oletetaan "normaali odotettava jakauma" johon verrataan. Jos asia ei osu, niin tämä jakauman satunnaisuus kumoutuu relevanttina vaihtoehtona. Itse asiassa tämä tarkoittaa sitä että jatkoselitys voisi olla mekanismiltaan mikä tahansa. Ratkaisu ei nimittäin vaadi sitä että kolikko olisi painotettu, vaan Jumalakin olisi mahdollinen. Mutta tämä vaatisi syy-yhteyksien tutkimista. Kolikon painotuksen voi tarkistaa vaa-alla. Ja vaikka rukousparannus olisi yliluonnollinen se kuitenkin vaikuttaa normaalimaailmassa, joten rukouksen ja paranemisen välinen korrelaatio voitaisiin havaita vaikka kaksoissokkokokeella tai muulla vastaavalla järjestelmällä. Muu olisi ns. jumping the conclusions.

Tässä mielessä klassinen puska-ateisti saattaa muistuttaa stereotyyppien naturalistia. Ja tällöin tilanne saattaa näyttää maailmankuvien kisaamisesta jossa molemmilla on hyvä ja vankka perusta. Tarkemmalla miettimisellä molemmat stereotyypit ovat typeriä. Tiede ei ole normatiivista, mutta ei se tarjoa tilaa ihmehörhöttelyllekään. "Black Boxin" peruspremissi on siis jotain joka vaikuttaa yhtä omituiselta kuin joidenkin ajatus siitä että neurologia olisi lähtökohtaisesti tuhoon tuomittua koska emme tiedä edes miten tietoisuus syntyy aivoissa. Se vaatii hyvin omituisen ja vahvasti ideologisen perustan ollakseen lainkaan uskottava. Ja se nojaa enemmän Dunning-Kruger -efektiin kuin siihen että tällä maailmankuvalla olisi jokin relevantti paikka minkäänlaatuisen keskustelun osana.
1: Ja  tämän Dunning-Krugerin vuoksi käy käytännössä niin, että huomio keskittyy liikaa is-ought -ongelmaan ja naturalistisen virhepäätelmän liepeille. Kun ongelmana ei ole se onko keskiarvo oikein, vaan siitä että keskiarvo ja tavallisuus ylipäätään nostetaan tarpeettoman vahvaan kuningasrooliin, kun luvut itse kuitenkin puhuvat jakaumista ja variaatiosta jotka ovat faktoja koskevia asiantiloja aivan kuten ilmiön tavallisimman piirteen todennäköisyys ja keskiarvokin. Virheet on tehty jo ennen is-ought -kysymystä. Ja vaikka tuo on kiinnostava ja relevantti filosofinen pulma, vikana on se että se värittää liiaksi kaiken keskustelun.

Eihän tässä voida sanoa muuta kuin että tieteen tehtävänä on selvitellä asioita. Että vain ideologioilla on faktoja joita se levittää dogmina ja joiden pohjalta se rakentaa oikeaoppisen tulkinnan. Tieteessä on kysymys uusien juttujen selvittämisestä. Jos olisi aivan syvästi ilmiselvää miten kognitio syntyy neuroneissa, niin tutkimukselle ei olisi enää oikeastaan tarvetta. (Ne olisivat kuriositeetteja kuten Galileon pudottelukokeiden toistamista Pisan tornissa.) Pitäisi panostaa tutkimus johonkin muualle. Ja että prosessissa ei kerrota mikä on "normaalia" saati että "normaali" olisi keskivertoa jossa kaikki olisi tasaista ja harmaata. Sillä kuten pakattavuuskäsitys saattaa muistuttaa, se vaatii variaatioita. Keskiarvon lisäksi on sellaisia tilastollisia ominaisuuksia kuin jakauma. Frekvenssi ei tiivisty siihen mikä on keskiarvo tai mediaani. Paitsi aivan liian monilla, that is.

Palauttaakseni tämän sarjaan

Sarjan tiedekäsitys on oleellinen koska sen varaan on rakennettu valtaosa konflikteista ja tarinasta. Pulmat nojaavat siihen että tämä jaottelu on tosi. Se voi vaikuttaa ensivaikutelmalta tutulta. Koska virheuskomus jota se levittää on hyvin yleinen. Toisaalta se voi näyttää uskottavalta siten että se tuo esiin arkielämästä tuttuja ihmisiä jotka noudattavat näitä stereotypioita. Ja tekee näistä sitten koko ilmiötä kuvaavan voiman.

Sarjan perusongelma onkin siinä että se paradoksaalisesti pitää pienten ja heikkojen puolta. Se näkee miten epänormaali ja hullu voi olla kulttuurille ja tieteelle arvokas. Se kuitenkin toisaalta noudattaa hyvin kliseistä normatiivista luokittelutapaa maailmassa ja tätä kautta se ei itse asiassa vapauta vaan lähinnä korostaa että vapaus koskee vain näitä tiettyjä ryhmiä. Niille vapaus toki kuuluukin, mutta olisi mielenkiintoisempaa havaita että se kykenisi myös luomaan uudenlaista kriittisyyttä. Sellaista joka vaikuttaisi vapauttavasti tiedottaen tosimaailmassakin olevasta kahlinnasta ja tuomitsemisesta.

Siihen asti luonnontieteilijälle on varattu friikin kaapu. Hänet nähdään kylmänä ja kovana ja normatiivisena, jota vastaan pehmeä ja lempeä humanistinen sivistys asetetaan, ikään kuin jonain joka parempana, syvällisempänä ja eettisempänä ja kaikella tavoin syvemmin ymmärtävänä sitten ottaa hallittavakseen heikon, pahan ja puutteellisen. On hieman surullista huomata että erään oman suosikkisarjan tuottajat ovat latistuneet ja alkaneet tuottamaan sen tyylistä ilmaisua jota on ilmoilla muutenkin aivan liikaa. Sarjan ongelmana ei olekaan se, että tämä peruskysymys normaaliudesta ja hoitamisesta ei olisi merkittävä. Ongelmana on se lattea tapa jolla se tekee sen.

Inhormaatiota ; Informaatiähkyn sijasta laimentamisen tielle?

Elämme maailmassa jossa on paljon informaatiota. Ja tämä informaatio tuntuu usein hyvin kaaoottiselta. Voidaan jopa nähdä että informaation tulvehtiminen, vaikka sitä tehdään maailman hallitsemiseksi ja ymmärtämiseksi ja ennustamiseksi, muuttaakin elämän yhdeksi epävarmuuden suoksi. Kenties tämä yhteys ei ole täysin satunnainen. Ja tämä on blogaus tästä "kentiestä".

On kenties hyvä aloittaa siitä mitä informaatio ylipäätään on.

On tavallista, että ajatellaan että informaatiossa on kysymys järjestyksestä. On esimerkiksi järjestys joka kertoo väitelauseita ja kuvauksia. Karkeimmillaan informaatiossa bitti kertoo "kyllä-ei" -tason tiedon yhteen asiaan. Hienostuneemmillaan se voi olla ohjelmointikieltä tai puhuttua kieltä. Kirjainten järjestys on jotain joka kuvaa asiantilan.

Tästä syntyy helposti ajatus että informaatiossa olisi kysymys säännönmukaisuudesta. On sääntö, struktuuri ja rakenne. Ajatus on hyvin intuitiivinen ja jollain tavalla tosi. Kuitenkin Shannonin informaatioteorian mukana on jännittävä lisäbonus. Hän nimittäin otti huomioon ennustettavuuden. Informaatio on jossain määrin sitä että yllättävyyttä vähennetään. Ja tällöin tilanne muuttuu oleellisesti.

Ja tässä mielessä kieli on usein hyvinkin säännönmukaista. Jotkut kirjaimet ovat paljon yleisempiä kuin toiset. Joten harvinaisemmat kirjaimet ovat informatiivisempia. Toisaalta kirjaimet eivät usein ole peräkkäin satunnaisesti vaan tietyn kirjaimen jälkeen on joitain tiettyjä kirjaimia todennäköisemmin kuin toisia taas ei. Näin esimerkiksi englannin kielen "squirrel" -sanassa q sisältää melko paljon informaatiota koska se on harvinainen kirjain. Mutta u on taas lähes turha koska englannin kielessä kun sanassa on q, sitä seuraa käytännössä aina u. Shannonin informaatiomallissa tämä tarkoittaa sitä että jos haluaa lähettää squirrel -sanan, informaatiota voi pakata. Eli lyhentää. Eikä millä tahansa tavalla, vaan häviöttömällä pakkauksella, eli lyhentämisessä ei edes katoa rakennetta koskevaa tietoa. Jos u:n jättää pois, ei tietoa edes katoa yhtään ; "squirrel" -sanan u on kirjaimena käytännössä täydellisesti redundantti. Jos kirjaimen voi ennustaa täysin ennalta, se ei sisällä yhtään informaatiota ja sen voi heittää pois.

Toki monissa muissa kirjaimissa ero ei ole näin selvä, mutta niissäkin on redundanssia. Ei vain koko kirjaimen verran. Ja tämä tarkoittaa sitä että niitäkin voidaan pakata, isommissa kokonaisuuksissa voidaan pakata kokonaisia kirjaimia. Shannon arvioi että kielessä jopa yli 75% on pakattavissa. Ja tämän avulla ihminen voi ymmärtää kieltä josta on heitetty runsaastikin aakkosia pois. Ja siksi ihmiskielisiä tekstejä pystytään pakkaamaan runsaastikin vaikkapa zip -algoritmeilla.

Tämä on yllättävää ja sen ei pitäisi olla ilmiselvää. Sillä kaikkea ei voida pakata. Itse asiassa jos katsotaan satunnaisten merkkijonojen pakattavuutta, se on yleensä pieni. Ja tämä johtuu siitä että suurin osa kaikista merkkijonoista ei ole pakattavissa. Ja tämä on se, mikä on Shannonin informaatiossa niin kovin epäintuitiivista ja erikoista. Se lähtee järjestyksestä, mutta se päätyy siihen että kun informaatio on pakattu, se lyhenee ja pakattu kokonaisuus on satunnaisempi. Kaikki toistuvuus voidaan leikata pois ja jäljelle jää se missä "ei ole mitään kuvattavaa hahmoa".

Järjestys katoaa toisteisuuden myötä. Ja koska informaatio voidaan lähettää pakattuna ilman että tietoa viestin rakenteesta katoaa mihinkään, se tarkoittaa sitä että hyvin satunnaiset järjestelmät vaativat enemmän informaatiota kuin sellaiset jotka ovat järjestyksenmukaisia. Ja järjestyksenmukaiset rakenteet ovat samanaikaisesti todennäköisyyksiä tuijottaen eisatunnaisia ; Jossain mielessä tämä tarkoittaa sitä että tietääksesi miten paljon jossain on informaatiota, joudut itse asiassa mittaamaan kuinka paljon siinä on sattumaa. Ja sattuma taas on epäjärjestyksen mitta.

Tämä ajatus on kenties erikoinen jos se viedään tieteen maailmaan.

Tietyllä tavalla tieteen ytimessä on se, että se mitä tapahtuu huomenna voidaan kuvastaa jotenkin. Klassisessa fysiikassa tämä tarkoittaa sitä että luonto ei perimmiltään ole satunnainen. Laplacen deterministisessä maailmassa ideana on se, että jos vaikka demoni voisi tietää jokaisen alkeishiukkasen paikan ja lähtötilanteen, hän voisi ennustaa maailmankaikkeuden tulevaisuuden. Ja selittää menneisyyden. Tämä Laplacen demonin maailma oli deterministinen. Siinä saattoi olla vaikeasti ennustettavia asioita. Mutta kysymys oli työläydestä. Tässä mielessä Laplacen maailma vaikuttaisi kaaosteorian maailmalta. Siellä kuvaavaa on alkuarvoherkkyys. Pieni muutos lähtötilasta johtaa suuriin muutoksiin lopputulemassa. Kuitenkaan tässä ei tarvita mitään satunnaista. Ja usein kaaos vieläpä muodostaa jännittäviä attraktoreita ja muita vastaavia piirteitä jotka kertovat sen, että niillä on rakenne. Alkuarvoherkkyys johtaa mittausvirheiden kasvamiseen. Mutta Laplacen demoni oletetaankin äärimmäisen tarkaksi mittauksissaan. Periaatteessa kaikki tiivistyy siihen että on alkutiedot ja siihen liittyvä informaatio. Ja tämä informaatio sisältää kuvauksen maailmankaikkeuden koko rakenteesta.

Mallintamisnäkökulmassa tieteellinen kaava selittää monta tapahtumaa. Lyhyt yhtälö kertoo monta asiaa. Sama kaava mallintaa miten omena tippuu puusta ja miten kuu ei tipu maahan ja miten musta aukko imee. Nykyfysiikan tiedon mukaan maailmassa on 12 tunnettua alkeishiukkasta ja ne vuorovaikuttavat toisiinsa neljällä eri tavalla. Tätä kautta voisi luulla että maailma olisi hyvinkin ennustettava. Itse asiassa Einsteinin "Jumala ei heitä noppaa" -lausunto voidaan juuri liittää siihen ajatukseen, että hän ei pitänyt kvanttifysiikan indeterministisyydestä. Jos tulevaisuutta ei voida ennusta Laplacen demoni menee rikki.

Einstein piti makrotason fysiikasta, ja selkeästi ajatus Laplacen demonista ei ole läpeensä huono. Kykenemme ennustamaan tapahtumia miljoonien vuosien päähän. Auringonpimennysten ajat eivät ole mysteereitä. Selvästi maailman yllättävyys vähenee, joten yhtälöihin on selvästi tiivistetty jotain hyvin hyvin oleellista.

Tiede ei siis ole samaa kuin sattuman kiistäminen. Mutta tietyllä tavalla informaation ideaali edellämainitsemassani muodossa tiivistää ilmiöt jotenkin yhteen. On jotenkin oleellista ymmärtää että klassinen Newtonin ideaalin mukainen fysiikka on yritys pakata universumi mahdollisimman lyhyeen yhtälöön joka selittää mahdollisimman suuren osan universumista. Tietyssä määrin ideaalinen ja täydellinen tiede siis pakkaisi universumin tapahtumat häviöttömästi ja kuvaisi tämän jossain muodossa. Tämä on ideana kieltämättä hämmentävä. Etenkin kun muistaa, että tämä tarkoittaisi sitä että universumin kaikki satunnaisuus olisi sitten lopulta se mitä edellä olisi.

Entropia, kuinka Laplacen demoni on termodynaamisesti omituinen..

Ja tämä pakottaa hieman yllättäviin seikkoihin. Jos Laplacen demonianalogia olisi hyvä, se kertoisi että universumin tietäminen minä tahansa hetkenä auttaa ennustamaan sen menneisyyden ja tulevaisuuden. Tällöin yllättävyys pysyisi samana. Voitaisiin puhua jonkinlaisesta informaatiovakiosta. Olisi kaava joka selittäisi kaiken ja tämä kaava ei muuttuisi. Kuitenkin maailmankaikkeus näyttää toimivan toisin. Tätä kuvataan termodynamiikan toisessa pääsäännössä. Tällöin puhutaan entropian lisääntymisestä. Ja entropian kasvaminen on hyvin vahva pääsääntö. Itse asiassa ideana onkin se, että jos systeemi on suljettu, sen entropia kasvaa. Jos systeemi on avoin, se voi vähentää entropiaansa mutta muu universumi sitten maksaa tämän entropian sillä että se muuttuu entistäkin entropiapitoisemmaksi.

Tämä on erikoista. Sillä jos universumin kompleksisuus kasvaa entropian myötä, informaatio ei olisikaan vakio. Tämä on hyvin erikoinen huomio. Sillä Shannonin informaatioteorian kaavalla on syvä rakenteellinen yhteys termodynamiikan ja entropian kanssa. Tämän yhteyden voisi kuvata seuraavalla tavalla ; Jos meillä on iso virta samaa merkkijonoa, se on hyvin toisteinen ja usein tämänlaisen entropiataso on matala. Tämä on johtanut siihen klassiseen ajatukseen jossa termodynamiikan toinen pääsääntö rikkoo asioita. Eli alussa on järjestys joka sitten romahtaa kun entropia hakkaa sitä satunnaisuudella. Ja moni ajattelee että tämä tarkoittaisi samaa kuin informaation tuhoutumista.

Mutta kuten muistamme, jos haluamme kuvata rakenteen jostain bittijonosta ja lähettää sen, niin tosiasiassa entropia lisää kompleksisuutta. Se kuvaus joka kohteen rakenteesta tarvitaan tuppaa kasvamaan satunnaisuuden myötä, sillä suurin osa merkkijonoista ei ole pakattavissa. Entropia itse asiassa lisää informaatiota. Entropia lisää yllättävyyttä rakenteeseen ja tämä rakenne vaatii enemmän tietoa jotta kuvaus olisi täydellinen. Eli termodynamiikan toinen pääsääntö pumppaisi koko ajan informaatiota universumiin.

Moni esittääkin että entropian kasvu kertoo siitä että kvanttifysiikka on indeterminististä. Universumi todellakin heittää noppaa. Ja tämä prosessi lisää informaatiota universumiin ikään kuin väistämättä ja koko ajan. Kvanttifysiikka on indeterminismin vuoksi propabilistinen. Toisin sanoen sattumaa ei voi poistaa pois sen yhtälöistä. Tieteellisen mallintamisen kannalta voisi sanoa että "häviötön pakkaaminen ei onnistu tuhoamatta kuvauksen tarkkuutta." Esimerkiksi kvanttilomittumiseen liittyvissä tulkinnoissa on esitetty suorastaan niin että mitään piilomuuttujaa ei ole eikä voi olla. Eli satunnaisuus ei ole epätietoisuutta joka voitaisiin selittää pois. Vaan että siellä ei todella ole enää mitään ennustettavaa. Lomittuneissa partikkeleissa Bellin epäyhtälöiden suhteen tulokset viittaavat, että asiantila tiedetään vasta kun sitä katsotaan. Kvanttitilat eivät esiole vaan ne realisoituvat kun ne mitataan ja vasta silloin.

Ja muutoinkin heisenbergin epätarkkuusperiaate vihjaa että Laplacen demoni on mahdottomuus. Tätä voi itse asiassa jokainen kokeilla kotonakin ; Kun ottaa laserpointterin ja kiinnittää sen telineeseen, se heittää seinälle pisteen. Kun tämän radalle laittaa järjestelmän jossa on rako jonka suuruutta voi muuttaa, käy siten että aluksi kun rakoa pienentää, niin myös seinällä oleva piste pienenee. Mutta sitten kun rako on riittävän ohut, niin paradoksaalisesti seinällä oleva piste alkaakin leviämään. Syynä on se, että raon ohuus on mittaustarkkuuden lisäämistä. Ja heisenbergin epätarkkuusperiaatteen mukaan tarkkuuden lisääminen yhdessä puolessa lisää epätarkkuutta toisessa puolessa. Tämä vihjaa että heisenbergin epätarkkuusperiaate on "jollain tasolla syvempää kuin sitä että emme tiedä". Se jollain tavalla kuvaa jotenkin reaalisesti todellisuutta. Joka sitten pumppaa informaatiota maailmaan.

Universumi, kuin tietokone tai ihminen. Informaation kasvattaja ja sen laskija

Ajatus siitä että universumin kvanttiprosessit lisäävät informaatiota systeemiin ei ole täysin hupsu. Ainakaan jos universumia ajatellaan jonain joka voidaan kuvata informaation avulla, vaan jonain joka prosessoi informaatiota. ; Itse asiassa universumin laskentatehoa on jopa arvioitu. Universumin kokoa arvioidessa otetaan usein esiin koko joka koskee nähtävissä olevaa universumia. Inflaatio ja valon äärellinen nopeus pakottavat ihmisen näkemään rajallisen määrän universumista. (Joka vaikeuttaa tavoitettamme Laplacen demonisuudesta entisestään.) Tässä on noin 10⁸⁰ tuntemaamme alkeishiukkasta. Jos otetaan fyysisesti pienin tunnettu etäisyys, planckin pituus, universumissa jonka näemme on kokoa johon mahtuu 10¹⁸³ tuon mittaista asiaa. Muut asiat ovat sitten kokoonpanoa jossa näitä partikkeleita järjestetään erilaisiin kombinaatioihin. Ja käsitteet ovat sitten näiden kokoonpanojen karkeistuksia ja niille annettuja nimiä. (Usein nämä ovat sellaisia että kokoonpano tapahtuu "riittävän usein", koska kerran tapahtuvalle asialle harvoin annetaan käsitettä. Teoriasa se olisi kyllä mahdollista. Mutta arkielämässä hemmetin vaivalloista. Toki tätä tasapainottamaan ihmiset ovat hyviä käyttämään mielikuvitustaan ja kuvailemaan nimillä myös sellaisia asioita joita ei itse asiassa ole olemassakaan.) ; Tuossa kasassa on tietty määrä energiaa. Entropia pumppaa tuota hirvittävän runsaslukuista kasaa mutkikkaammaksi ja energialla ja hiukkasilla on rajallisuuksia.  Jos valon nopeus ja epätarkkuusperiaate otetaan mukaan saadaan jonkinlainen tulos. Universumin laskentateholla on tätä kautta ehdoton maksimi ns. Bremernann's limit. Joka potentiaalisesti prosessoitavissa olevien asioiden kokonaismäärä on arvioitu sellaiseen kokoon kuin 1.458*10²²⁷. (Aktuaalinen prosessoitujen asioiden määrä on tietysti paljon pienempi ja fysikaalisesti toteutuneiden prosessoitujen on vielä tätäkin pienempi.) Universumin olemassaolo olisi siis jossain mielessä informaationprosessointia joka alkaa universumin synnystä ja päättyy sen lämpökuolemaan. Ja tällä prosessoinnin määrällä on yläraja. (Ja todellisuus on jossain mielessä vielä tätä hieman pienempi. Informaationäkökulmasta rajallisuus on läsnä.)

Loppukaneetti

Itselleni tämä kaikki kertoo perimmiltään sellaisa viestiä, että usein kun ihminen puhuu informaatiosta, hän oikeastaan puhuu merkityksestä. Ja tämä hämmentää häntä. Kun käsittää että informaatio ja merkitys ovat eri asia, voi ymmärtää miksi sattuma lisää informaatiota. Sillä informaatio perimmiltään kuvaa rakennetta kun merkitys taas on jotain aivan muuta, tähän "ikään kuin päälleliimattua". (Jotain joka vaatii vähintään ihmisen aivosolut mukaan kokonaisuuteen. Kyse ei ole enää merkkijonon rakenteesta ja kuvauksesta vaan siitä mitä tämä rakenne ja kuvaus synnyttää hermosoluissamme. Ja siksi esimerkiksi kreationistien on vaikeaa ymmärtää evoluution ja termodynamiikan suhdetta.

Kenties ihmisenä olemisen ajatus voidaankin nähdä siten että jossain mielessä merkitys on jopa informaation vastakohtaa. Järjestystä ja struktuuria. Siksi ihminen joka hakee merkityksellistä universumia ennustaa tulevia ja selittää tapahtumia mielellään. (Ja tekee tätä varsin usein ennusteiden tarkkuuden ja tosiasioiden kustannuksella.) Merkitys on kenties sitä että universumi on kompleksinen ja ihminen on niin rajallinen että hän luo järjestystä. Tuhoaa informaatiota ja laimentaa sitä voidakseen esimerkiksi keskustella muiden kanssa kieliopillisilla merkkijonoilla jotka robotti pakkaisi murto-osaansa.

Tai kenties tämäkin on illuusio. Illuusio joka johtuu siitä että ihminen on vain osa universumia. Ihminen voi olla tilastollisesti harvinaisen informaatiorikas universumin keskiarvoon nähden. Mutta jos Bremermann's limit on jotain johon universumin koko ja alkeishiukkasmäärät vaikuttavat, niin ihmisen kohdalla tämä vastaava maksimiluku on paljon pienempi. Kenties ihminen hukkaa tietoa ja laimentaa informaatiota, koska ihmisen maksimi on pienempi kuin mitä universumi yrittää tunkea päähämme. Kenties tärkeintä ei olekaan ymmärtää kaikkea vaan unohtaa oleellinen. Kenties kaikista järkevintä on lakata Jumalakompleksoimasta, ajattelemasta että Laplacen demoni tai jokin warrantin kaltainen voima tekee ihmisestä jonkun joka pystyy tiivistämään universumin tyystin ja häviöttä muutamaksi lyhyeksi yhtälöksi. Kenties tiivistämme asioita lyhyeksi yhtälöksi siksi että ilman tätä kaikki olisi liian vaikeaa.

Modernissa informaatioähkyssä tähän ajatukseen on vähintään helppoa uskoa. Kenties Nietzsche olikin tässä kohden erityisen oikeassa. Hän kun esitti että tärkeintä ei ole se, mitä muistaa vaan se mitä unohtaa.

Kahden viestijän välistä.

"Word is a shadow of a deed."
(Demokritos)

Viestintä ja kommunikaatio on yleisesti ottaen kammottavan vaikeaa. On merkitystä, informaatiota, sopimista, ymmärtämistä, huijaamista, yhteispeliä ja muita vastaavia asioita. Viestinnästä voidaan saada irti jotain tärkeitä piirteitä ottamalla siitä yksinkertainen malli, ja sitten hieman soveltamalla tästä saatuja asioita.

Yksinkertaisimmassa viestinnässä voidaan ottaa tilanne, jossa meillä on kaksi kommunikoivaa tahoa. On Alice ja Bob. Kuvitellaan, että Alice on viestittäjä ja Bob on vastaanottaja. Viestin sisältö voidaan käsittää siten, että Alice esittää jotain, jonka seurauksena Bob tekee jotain (ajattelee tai toimii). Jos Alicen viestintä on tehokasta Bob toimii juuri niin kuin "näkisi asian itse". Kuvitellaan että Alice on rehellinen ja hän näkee maailman tietynlaisena. Jos hän viestittää asian Bobille, Bob toimii juuri kuten olisi nähnyt asian itse.

Tätä kautta toiminnassa on tietysti mukana Alicen luotettavuus. Jos Alice haluaa valehdella Bobille, on Alicen mielessä jokin asiantila, jonka hän haluaa viestiä. Valehtelu on viestinä erikoinen : Alicen kannalta viesti on tehokas, jos Bob toimii siten kuin Alicen väittämä olisi totta, näin ollen se on harhaanjohtavaa tietoa mutta tietoa yhtä kaikki. Bobin kannalta tämä on häiriö luotettavuudessa, joten se on itse asiassa epätietoa. Huijaamisen kautta viestintään saadaan tietysti liitoksia peliteoriasta. On strategioita joita kannattaa tehdä. Ja valehtelu ja todenpuhuminen asettuvat jonkinlaiseen tasapainoon. Strategisesti niiden frekvenssitodennäköisyydet vakiintuvat joksikin.

Viestinnässä mukaan saadaan myös relevanssi. Jos viesti saa Bobin toimimaan juuri kuten hän kokisi asian itse, mutta muutos ei ole häävi, se voi välittää todenmukaisen kuvan maailmasta, mutta ne eivät "kiinnosta tai ole muuten vaan tärkeitä". Tässä mielessä toiminnalle voidaan nähdä voimakkuus joka liittyy viestin merkityksen lisäksi Bobin ja Alicen arvostuksiin. On luontevaa ajatella vaikkapa strategiaa, jossa Alice valikoi viestin jossa on hänen mielestään olennaista ja Bob arvioi tämän osuvuutta. Jos toiminta ei muutu viestin kohdattua, on se toiminnan kannalta irrelevanttia. Tämä ei toki tee viestiä ja sen osuvuutta olemattomiksi. Voidaankin puhua tehokkuudesta.

Viestillä on tietysti myös muoto. On olennaista huomata, että yllä olevassa on itse asiassa tarkasteltu merkitystä. Kun katsotaan signaalia, joudutaan ottamaan informaatio käsitteenä esille ja hylkäämään merkitys ; Merkitys on sidoksissa informaatioon mielivallalla. On selvää, että jos Alice käyttää englantia, ja Bob osaa vain mandariinikiinaa, ei viestintä suju kovin hyvin, koska yhteinen kieli puuttuu. Tällöin viestintä ei ole tehokasta, vaikka Alise käyttääkin kieltä jonka konventiot antaisivat oikeita ohjeita "Bobbylle" joka onkin englanninkielinen ; Denotationaalinen semantiikka muistuttaa, että voimme sopia että bitti "1" tarkoittaa että "Kalle on nyt baarissa kaljalla", mutta samaa voi ajaa heittomerkeissä oleva juttukin, tai "AB" tai oikeastaan mikä tahansa. Merkitys syntyy konventiosta, sopimuksesta. Ilman sopimusta on vain merkkijono ja tätä merkkijonoa käsitellään nimellä "informaatio".

Tässä viestillä on jonkinlainen rakenne, jota analysoidaan. Viesti voi olla rakenteeltaan lyhyt tai pitkä. Se voi olla esimerkiksi kaavamainen tai pakattava. Viestissä on esimerkiksi pituus ja jonkinlainen frekvenssijakauma symboleja, joita on käytössä jokin tietty määrä.

On hyvä huomata, että merkitys välittyy informaation kautta, joten ilman konventiota on vain informaatiota. Mutta ilman kantavaa informaatiota ei ole mitään siirrettävää merkitystä. Tämä yhteys on mielenkiintoinen. Sillä Jos halutaan tiivistää viestiä, onnistuu se informaatiotasolla pakkausmenetelmillä. Mutta toisaalta viestiä voidaan tiivistää myös vaihtamalla konventioita. Tällöin voidaan sopia vaikka kuinka mutkikkaita sotasuunnitelmia, joiden merkitys sovitaan tiiviisti muotoon "A", "B" ja "C". Tämä ei ole informaation pakkaamista, vaan merkityksen relevantisoimista. Voidaan sanoa, että jos merkitys halutaan kuvata mahdollisimman tiiviillä viestin pituudella, valitaan tärkeät ja toistuvat sanat lyhyiksi ja muille annetaan järjestyksessä yksi kerrallaan pidempiä. Tämänlainen "Konvention avulla merkityksen pakkaaminen tiiviiseen viestiin" ei kuitenkaan käsittele informaatiotasoa, jossa algoritmi katsoo esimerkiksi että "ABABABAB" vaihdetaan merkiksi "4AB" tai muuta vastaavaa.

"A thousand words will not leave so deep an impression as one deed."
(Henrik Ibsen)

Toistettu pakkaaminen.

Tämä juttu käsittelee taas häviötöntä pakkaamista. Tässä on tärkeää muistaa se, miten pakkaaminen keskittyy vaihtamiseen, kaikkea ei voida tietenkään vaihtaa toiseksi : Pakatun kun täytyy voida palauttaa takaisin lähtötilaansa purkamalla se. Eli pitää saada purkamalla juuri sama tulos kuin ennen pakkaamista on ollut. Kun lyhyt ohjelma sisältää vähemmän bittejä, se voi kattaa vain pienen osan. Jos meillä on vain 1 "normaalin numerojärjestelmän lukua" voimme ilmaista niillä 10 (0....9) vaihtoehtoa. Mutta kahdella voimme ilmaista sata erilaista vaihtoehtoa (00...99). On suorastaan ilmiselvää että kaikkea ei voida pakata. Häviöttömässä pakkauksessa tietysti voidaan toimia likiarvoilla, jolloin kaikki numerot 80...89 saavat arvon 8, mutta tässä purkaessa tuhoutuu tietoa: Jos meillä on se kasi, emme voi tietää onko se ollut 81, 84 tai jokin muu tässä välissä. Tällöin pakkaaminen ja purkaminen tuhoaisi informaatiota, eli se ei olisi häviötöntä.

Kuitenkin meillä on erilaisia pakkausohjelmia. Esimerkiksi ZIPpaaminen toimii meilläkin ihan mukavasti. Hyvä pakkausohjelma toimiikin siksi siten, että se yrittää etsiä redundanssia, toistuvuutta. On hyvä muistaa miten tämä liittyy "rakenteeseen": Merkkijonolla 111111111111111 on vähän rakennetta ja paljon redundanssia: Se voidaan tiivistää vaikka sanomalla että "15X1". Yksi tapa tehostaa pakkaamista on tietenkin se, että jos lopputulos onkin pidempi kuin ennen pakkaamista, ei kannata pakkata sitä. Eli esimerkiksi jos meillä on yllä oleva tilanne ja meillä pitääkin käsitellä teksti "15X1" emme voisi laittaa sitä sellaisenaan, koska ohjelma purkaisi sen väärin, jos kyse olisi yksinkertaisesta "päikseen vaihdosta" pakkaus merkitsisi että "111111111111111". (Kaikkeen toimivalla hyvällä häviöttömällä pakkauksen nyrkkisääntö on : Kaikki syötteet pitää voida käsitellä algoritmilla, eikä samaa lopputulosta saa tulla kahdesta eri syötteestä.) Tällöin tulos olisi pidempi kuin alkuperäinen. Pakkausohjelmaan voidaan tietysti laittaa vaikka apumerkki, eli se laittaa ensin merkin siitä onko käytetty algoritmia vai ei. Tällöin merkkijoni "111111111111111" tiivistyy vaikka muotoon "015X1" ja "15X1" olisi muotoa "115X1". Tällä tavalla voidaan ajatella että pakkaamiseen tulee monimuotoisuutta.

Moni ajattelee että pakkaamisohjelman uudelleenpyörittämisellä voidaan pakata jo pakattuja merkkijonoja ja saada tätä kautta vielä tuotakin lyhyempi pätkä. Näin ei ole.

Kun pakkaus palautuu siihen että se tunnistaa toisteisuutta pakattavasta aineistosta, määrää "rakenteen" määrä minimikoon. Redundanssia on rajallinen määrä. Kun on poistettu kaikki laskettavissa oleva redundanss, on saatu maksimitasoisesti pakattu tulos. Tässä on tietysti otettava huomioon se, että joskus toiseen kertaan pakkaaminen tosiaan pienentää aineistoa lisää ja kahden purkamisen jälkeen saadaan alkuperäinen aines palautettua. Tämä johtuu siitä että pakkaussysteemit eivät ole täydellisiä. Ne eivät tunnista ensimmäisellä kierroksella kaikkea redundanssia aineistosta. Parhaat pakkausohjelmat tunnistavat redundanssin hyvin ja silloin ne identifioivat ja käyttävät hyväkseen kaikkea aineistossa olevaa redundanssia.

Toistetusta pakkaamsiesta on siis hyötyä jos ja vain jos ensimmäinen pakkaaminen ei eliminoinutkaan kaikkea redundanssia. Eli jos pakkausohjelma säännönmukaisesti pienentää aineistoa, se johtuu siitä että sen suorittama pakkaaminen on alun perinkin puutteellista. Eli huonoissa pakkausohjelmissa toisto voi pienentää tulosta.

Esimerkiksi Huffmanin koodauksessa etsitään yleisin kirjainyhdistelmä ja korvataan niitä harvinaisimmilla lyhyemmillä. Näin ne joita aineistossa on vähän saavat pitkän koodauksen ja muut lyhyemmän. Voidaan kuvitella että Huffmanin koodaus tuottaa hahmopareja ensimmäisellä kerralla ja tätä kautta sitä voidaan jonkin verran pakata toisellakin kierroksella. Kuitenkin kun tässä pelataan todennäköisyyksillä, edustaa tämä tilanne vain pientä osaa "kaikista mahdollisista tilanteista". Eli vaikka pakkaamista voidaan tehdä kierros kierroksella, jokaisen kierroksen odotettavissa oleva pakkausteho kutistuu valtavan paljon. Eli aluksi se pakkaa (prosentuaalisesti verrattuna pakattavan merkkijonon pituuteen) paljon ja sen jälkeen aina vain (prosentuaalisesti) vähemmän ja vähemmän.

Tämä tarkoittaa sitä että ennen pitkää vastaan tulee raja, jonka jälkeen odotettavissa ei enää ole kutistumista. Jos käytössä on LZW -pakkaus, on se edellä mainuttua tehokkaampi. Tällöin pakkausta ei kannata yleensä uusia. Tosin tässä on mukana sellainen jännittävä ilmiö, että emme voi useinkaan tietää onko jokin merkkijono maksimaalisesti pakattu vai ei. Pakkaustehoa ei siksi saada millään algoritmilla ihan täydelliseksi. Mikä on eri asia kuin sanoa että ne eivät toimisi erinomaisen hyvin.

Itse asiassa pakattavuus on eräällä tavalla jännittävä ilmiö: Kun muistetaan että korkea algoritminen kompleksisuus on tilastollisesti yleinen merkkijonojen ominaisuus: Jos sattumalta arvotaan merkkijono, se osuu usein algoritmisesti kompleksiselle alueelle ja vain harvoin tulee tuloksia jossa olisi pitkä sarja toistuvaa. Pakattavuuden määrä kertoo eräänlaisesta "poikkeuksellisuudesta".

Vaihdanta.

Olen jo aikaisemmin kirjoitellut häviöttömästä pakkaamisesta. Tämä juttu ei tuo hirveästi uusia tietoja. Mutta ymmärtämistä se voi helpottaa; Tämä tarina on tavallaan analogian, vertauksen kautta tehty juttu, joka tekee siitä ymmärrettävän.

Ongelmana on sana "pakkaaminen". Se kun tuo mieleen suoraan pienentämisen. Mutta entä jos sana vaidetaankin muotoon "vaihtaminen"? No compression - Switch!

Häviöttömässä pakkaamisessahan on kyse vaihdannasta. Karkeasti sanoen luku vaihdetaan toiseen lukuun. Ennen tietokoneaikaa tätä olisi voinut olla vaikeaa selittää, mutta bittejähän tämäkin blogiviesti on. Numeroita. Periaatteessa sitä voisi kertoa vaikkapa tämän blogiartikkelin jollain toisella blogiartikkelilla ja saada vastauksen. Tosin mitään järkeähän tässä ei olisi, mutta voisi.

Pakkausalgoritmi vaihtaa numeroita keskenään ja purkaminen vaihtaa ne takaisin. Siinä on oltava muutamia ehtoja:
1: Kun pakataan, samaa lopputulosta ei tule kahdesta eri lähtökohdasta. Muuten tästä tulee häviöllinen pakkaus: Häviää tietoa juuri sen verran, että ei purkuvaiheessa tiedetä mikä näistä vaihtoehdoista on se alkuperäinen.
2: Jokainen syöte on voitava lähettää sen läpi. Tämä ei tarkoita että kaikkia olisi käsiteltävä: Esimerkiksi pakkausalgoritmi, jossa sotasuunnitelma vaihtuu "H" -kirjaimeksi ja takaisin, ja toisin päin, muuta ei käsitellä. Mutta se pakkaa sen yhden viestin. Muiden kohdalla B=B, C=C. Kaikki merkkijonot voidaan saada pakattua ja purettua, eli merkkijonona vaihdetaan siten että purkamisella saadaan takaisin juuri se, mitä ollaan ensin pakattu. Tämä on tärkeää. Ilman purkamismahdollisuutta ei oikeastaan ole järkevää puhua pakkaamisestakaan. Ilman yksiselitteisyyttä ei voida puhua häviöttömästä pakkaamisesta. (Ja muustahan en tässä höpise.)

Toisin sanoen pakatessa sanotaan että "vaihda tuo numero A tuohon numeroon B". Ongelmana on tietysti se, että jos pakkausalgoritmin on tuotettava kaikki, sen on tuotettava myös se numero B. Sitä ei voi merkitä itsellään, koska muutenhan purku ei osaisi erottaa olisiko se A vai B. Ja kun kaikkia on käsiteltävä, on oltava niin että B:kin saataisiin jotenkin pakattua.

Tässä käy niin, että lyhyempiin vaihtaminen ei onnistunut aina. Kolmella merkillä kun voidaan ilmoittaa monta enemmän kuin 2 merkillä. Tästä seuraa se, että on pakko joskus ottaa sellainen paikka, joka on pidempi kuin se joka vaihdetaan. Kaikkea ei voi pakata. Itse asiassa esimerkiksi jos pakkaus vaihtaa "päikseen" vaihtoehtoja, se että A vaihtuu lyhyemmäksi B:ksi tarkoittaa sitä että jos kyseessä on A:n pakkaus, se pienenee, mutta jos B:n pakkaaminen, se kasvaa A:ksi. Tällöin puolet kasvattavat ja puolet kutistavat. Samoin käy keskimäärin, vaikka ottaisimme A:n, jonka vaihtaisimme lyhyempään B:hen, jonka vaihtaisimme lyhyempään C:hen... kunnes vaihtaisimme Z:tan A:han. Tällöin juuri niin paljon kuin onnistumme tässä A...Y -ketjussa nappaamaan talteen, rymähtää niskaan aina Z:tan kohdalla. Ja kun Z on pakko ottaa huomioon, eikä sitä saa jättää pois, on selvää että näin tapahtuu usein.

Mutta tietysti pystytään parempaan kuin tuo karkea esitys. Pakkaamisesta saadaan pienellä tempulla paljon järkevämpää. Toki se ei muuta vääräksi mitään, mitä esitin.

Esimerkiksi nerokkaassa (ei ehkä kaikista nerokkaimmassa, mutta kuitenkin nerokkaassa) Huffmanin koodauksessa vaihdantaideaa on kehitetty aika pitkälle. Karkeasti sanoen se perustuu siihen, että se käy läpi tekstin. Jos siinä on joitain merkkejä paljon, se ottaa ne talteen "hyviksi vaihdettaviksi" ja antaa niille lyhyemmän symbolin, johon tämä toiste vaihdetaan. Eli kun analyysi aloitetaan, jokainen merkki ja yhdistelmä on samanarvoinen, mutta sen arvo muuttuu esiintymistiheyden mukana. Kaksi harvinaisinta yhdistetään puuksi ja yhdistetään kunnes näistä muodostetaan puu. Eli jos aineistossa on toistetta, tästä merkistä tulee "painava". Tässä sen polusta puuhun tulee lyhyt verrattuna muihin. tämä taas tarkoittaa sitä että sen bittiesityksestä tulee lyhyempi. Kun tieto tästä ympätään aineistoon, se pakkaa aineiston jos siinä on toistuvia jaksoja - eli jos sillä on vähän rakennetta. Tämä tarkoittaa tietysti sitä että harvinaisista sarjoista tulee "kevyitä" ja niiden bittiesitykset kasvavat. Mutta kun "kutistumisia" on enemmän kuin "levenemisiä", pakkaus onnistuu yleensä.

Tämä tarkoittaa sitä että pakkausalgoritmit harjoittavat eri tavalla fiksuja vaihtoja. On vain päätettävä mitkä ovat sellaisia joista me pidämme ja joista emme. Jos ne joita haluamme pakata, ovat rakenteeltaan tietynlaisia, voimme käyttää tätä hyväksemme. Ne muunlaiset tietysti kasvaisivat ikään kuin "kostoksi"; Joudumme antamaan niille isomman numeron, mutta käytännössä tämä ei haittaa koska niitä ei olla pakkaamassa.

---

Vaihtaminen on toisaalta hyvä, koska voin käyttää tätä aasinsilta -artikkelina, kun jossain vaiheessa kirjoittelen joitain asioita salaamisesta. Siinäkin on kyse vaihtamisesta. Merkki vaihdetaan toiseen. Siinä on hieman samantapaisia asioita.

Pura ja kokoa

Tätä ei voi juurikaan ymmärtää ilman että osaa hyvin tämän aikaisemman jutun. Sen kanssa toivon että se on lasten leikkiä. Jos ei, sori.

Tässä puhutaan häviöttömästä pakkaamisesta, eli pakkaamisesta jossa ei tuhota tietoa, vaan jossa purettu on täsmälleen sama kuin alkuperäinen viesti. Tämänkaltaisen pakkaamisen ideana on yksinkertaisesti se, että tuhotaan niin paljon redundanssia alkuperäisestä viestistä kuin mahdollista. Tällöin viestin rakenteen ohjeet tiivistyvät ja niistä tulee kompleksisia. Ideana on se, että kun meillä on pakkausalgoritmi C, ja y on pakattu viesti ja x on alkuperäinen viesti, niin y on merkkeinä esitettynä lyhyempi kuin x. Pakkausalgoritmilla C on lisäksi oltava jokin käänteistoiminto, joka muuttaa y:n takaisin x:äksi niin että x on täsmälleen sama kuin mikä se oli ennen pakkaamista C:llä.

Kuitenkin sellaista funktiota, joka tekisi toimen niin että olipa x mikä tahansa y on mikä tahansa. Syynä on se, että pakattavan ja purettavan systeemin on oltava käänteisiä: Jotta pakkaaminen ei tuhoaisi tietoa, olisi oltava keino joka muuttaa tilanteen niin että y:stä saadaan takaisin se alkuperäinen viesti x. Tämä on mahdotonta aivan helppotajuisesta syystä. Jos meillä on suurempi setti, josta kasataan lyhyempiä, ollaan vaikeuksissa koska jos kaikille pitkille voitaisiin tehdä näin, lyhyempiä pätkiä pitäisi olla vähintään sama määrä, mielellään useampia kuin niitä pidempiä pätkiä on. Syynä on se, että ollakseen kunnon takaisinpurkuohjelma, sen olisi tuotettava yhdestä lähtötilasta vain yksi lopputulos. Se alkuperäinen x. Jos meillä on esimerkiksi käytettävissä numeroita, se tarkoittaisi että jokainen 3 mittainen olisi esitettävissä joko 1 tai 2 merkillä. erilaisia 3 merkin mittaisia on 1000kpl. 2 merkin mittaisia on 100 ja 1 mittaisia 10. Yhteensä 2 ja 1 mittaisia on 110. Kun 3 merkillä voidaan kuvata 1000 erilaista juttua ja 110 niistä on 2 tai 3 merkkiä pitkiä, 3 merkin mittaisia on tasan 890 kpl. 110 yksiköllä ei voida kuvata yksiselitteisesti kaikkia näitä vaihtoehtoja, koska sen sisällä on pienempi määrä numeroita ("yksiselitteisyysehto" ei toteutuisi)

Tähän kohtaan minulla on jopa pieni tarina omista harharetkistäni. Ajattelin, että kun π (pii) on siitä jännittävä luku, että se 1) tiedetään hyvin ja voidaan laskea suurilla desimaaleilla 2) on sellainen että sitä ei voi pakata, vaan se sisältää kaikki merkkiyhdistelmät. Tästä perusteelta sitten ajattelin että tätä voitaisiin käyttää pakkaamisessa. Tarvitaan vain jokin, jolla sovitaan että on jokin luku. (kun tieto on bitteinä, se on itse asiassa jo numeerisessa muodossa.) Sitten tarvitaan vain vastaavuus π desimaalien arvon ja viestin arvojen väliltä. (joka löytyy taatusti koska sen desimaaleissa on löydettävissä mikä tahansa numerosarja.) Karkeimmillaan se olisi esimerkiksi sitä, että se katsoisi "monesko numero on ensimmäinen vastaava ja montako lukua otetaan", tätä voidaan tehdä pätkissä tai kokonaan. Ja koska piin desimaalit eivät muutu, niin viestin purkaminen ei ole vaikeaa, jos lukuja on vain laskettu varastotietoon riittävästi. Ongelmana tässä oli tietenkin se, että kaikki merkkivaihtoehdot eivät ole riittävän lähellä π:n alkua. Osassa jo se, mistä aloitetaan onkin siksi pidempi kuin se itse viesti, jota lähetään pakkaamaan. Osan vaihtoehdoista tämä tietysti pakkaa, mutta suurta osaa ei. Tämä hairahdukseni on siis osa suurempaa asiaa. (Pii on toki ihmeellinen numero, mutta se ei silti voi toteuttaa taikaehtoa, joka rinnastuu tilanteeseen jossa vaadittiin että 110 >= 889, jota sen toiminta wörkkisi toivomallani tavalla.) Samaa virhettä voi sitten toteuttaa sitten vaikka erilaisilla pseudorandomnumerogeneraattoreilla. Niilläkin voi jokin syöte tuottaa tietyn lukusarjan, ja osa niistä pitkistä saadaan lyhyellä numeron heitolla ja nämä ovat aina käänteisiä eli pakatusta saadaan aivan sama viesti kuin aluksi. Mutta eksponentiaalinen kasvu, joka olennaisesti liittyy siihen että merkkijonon pituutta kasvatetaan, on tässä kohden julmia ja lahjomaton.

Tietenkin asiaa voi siirtää. Jos esimerkiksi teet monimutkaisen sotilassuunnitelman joka vie vaikka 1000 sivua tekstiä, voit käynnistää sen lähettämällä kenraalille tekstiviestin "H", josta hän tietää että nyt alkaa "H -hetki". (Amerikkalaisille "D-Day". Englantilaisille "T- Time" [T lausutaan "tii" ~ "tea" tee]?) Samoin jos sinulla on valmistunut kirja ja olet lähettänyt sen painoon, ja huomaat kirjoitusvirheen, voit lähettää viestin "sivu 114, rivi 17, huoria->nuoria" ja virheesi osataan korjata, eikä sinun tarvitse kertoa koko kirjan sisältöä koska se on siellä jo valmiina. Voit siis poistaa tietoa, kunhan se on toisessa päässä palautettavan joukossa. Siksi jos ilman alkubriifingiä vain lähettelet "H" -kirjaimia vaikka kaikille sotilashenkilöille, ei siitä mikään Normandian maihinnousu ala. Koska tietoa mitä kaikkea siihen on liitettävä, puuttuu. Sama kirjaesimerkin kohdalla : Kilpaileva kustantaja, jolla ei ole kirjaasi ei voi konstruoida kirjaasi tuon viestin pohjalta, eikä siksi ole väliä lähteekö viesti salattuna vai ei ja onnistuuko hän kaappaamaan tämän viestin vai ei.

Tosin tässäkin on se, että jos yrität poistaa uudestaan tätä samaa tietoa, minkä olet jo poistanut ja joka lisätään purkamisen yhteydessä, ei itse asiassa enää tapahdu mitään. Sehän on jo poistettu.

Toisin sanoen, vaikka miten hankalaksi tekee asian, ollaan samassa tilanteessa. On tietty määrä informaatiota, jota ei voi poistaa ilman että sitä ei enää saa takaisin. Ja "redundanssiton osuus informaatiosta" on vain siirrettävä jotenkin jossakin vaiheessa (joko mukana tai se on valmiina määränpäässä.) Tiedonsiirto ei siis pienene kokonaisuutena tietyn rajan alle. Yleensä musiikin, kuvien ja tekstin pakkaaminen onnistuu koska niissä on paljon redundanssia. Tämä osuus voidaan pienentää. Ja redundanssin idea on se, miksi asiat ylipäätään ovat häviöttömästi pakattavissa. Eikä hyvilläkään pakkausalgoritmeilla voi silti pakata ihan kaikkea. Ne ovat silti monessa yhteydessä käteviä.

Rakenteen mutkikkuus.

"Koko, Kokoo koko kokko kokoon. Koko kokkoko kokoon? Koko kokko kokoon!"

Informaatio on luultavasti yksi arkielämässä toistuvasti käytetyitä sanoista. Sen merkitys on kuitenkin mutkikkaampi kuin mitä voisimme luulla. Intuitiivisestihan me ajattelemme että informaatio tarkoittaa semantiikkaa, jolloin sovitut merkkijonot symbolisoivat jotain kommunikaation välineenä. Tämä johtuu siitä että ajattelemme informaation kielemme kautta.

Mutta informaatiota voidaan tarkastella myös "matemaattisemmin", jolloin katsotaan sen rakennetta. Tällöin puhutaan yleensä merkkijonoista. Mutta periaatteessa jokainen internetiä käyttänyt tietää, mitä pelkästä 0:sta ja 1:sestä koostuvat merkkijonot voivat tuottaa eteemme. (Aika usen se näyttää olevan SPAMia.)

Alkuun heitän, että kieli ja semanttinen merkitys ei kuitenkaan välttämättä tarkoita aina ja kaikkialla samaa asiaa kuin informaatio. Ja teen tämän sanomalla että
1: Kielessä on redundanssia, joka tarkoittaa toistuvia säännönmukaisia rakenneosia, jotka ovat merkkijonon kuvauksen kannalta "tyhjiä bittejä".
2: Ne voidaan myös pakata, eli kuvata lyhyemmässä muodossa, joka tuottaa niiden kuvauksen.

Tämä ei vielä luultavasti tunnu kovin vakuuttavalta. Mutta onneksi kompleksisuutta voi lähestyä yksinkertaista ja ymmärrettävää tietä. Sellaisia, jotka näyttävät että minkä vuoksi juuri satunnaisuus on eniten informaatiota sisältävää silloin kun puhutaan kompleksisuudesta. Ja itse asiassa Kolmogorovin ja Chaitinin informaation määrittelyä (algoritminen kompleksisuus) esimerkkini seuraa aika tarkasti.
1: Kuvitellaan että meillä on jono merkkejä. Kuvitellaan että meidän täytyy jollain tavalla kertoa muille millä tavalla he saisivat tuotettua juuri samanlaisen merkkijonon kuin mikä meillä on. Informaatiosisältö on juuri niin pitkä, kuin se määrä jolla saat kerrottua toisille sen miten tuottaa kyseinen jono. Tässä vaiheessa kuvitellaan että meillä on jono, jossa on "00000000000000000000". Voit kopioittaa sen vaikkapa pyytämällä 20*"0". Se on siisti ja yksinkertainen kuvaus. Ja ennen kaikkea se on lyhyt. Syy rakennusohjeen lyhyteen on siinä että jono ei ole kompleksinen, siinä on tietty ja erittäin yksinkertainen rakenne. Kuvitellaanpa sen sijaan 20 merkkiä pitkä jono "thUyUBrRSWds3dEwre76". Se on satunnaisgeneraattorilla tuotettu merkkijono, joten helpoin tapa tuottaa kyseinen jono on kertoa se sellaisenaan, esittää se merkki kerrallaan, jolloin lopputulos, rakennusohje, näyttää samalta kuin se, mikä meillä on edessä. Ja se on pidempi kuin ensimmäisen esimerkini kohdalla. Eli sen rakenne on mutkikkaampi. (Toki ei voida olla ihan varmoja, voidaanko se kuvata lyhyemmällä tavalla kuin esitetty.) Tämä tarkoittaa sitä, että merkkijono on kompleksisempi. Tällöin siinä on tältä kannalta paljon informaatiota. (Joskaan semanttisesti ajatellen sillä ei sellaista välttämättä ole lainkaan. Paitsi että tuo on itse asiassa joskus ollut minun kotisivujen salasana.)
2: Samaa kautta voidaan tietysti ajatella tietokoneeseen piirrettyjä kuvia. Jos meillä on pelkästään sininen kuva, sen kuvaaminen on helpompaa. Jos piirrät keskelle sinistä punaisen ympyrän, jonka sisällä on vihreää ja ulkopuolella pysyy se sama sininen, rakenne mutkistuu, on lisättävä kuvausta. Siinä on jo aika paljon rakennetta, kuten heiniä, värisävyjä ja puita, siinä on enemmän rakennetta. Ja kaikista eniten rakennetta olisi täysin satunnainen sekasotku, jossa ei ole mitään sääntömäistä rakennetta. Sattumassa ei ole mitään sääntöä. (Monet piirrosohjelmat tietävät tämän, ja siksi kuvien tietokoneelta muistia vaativa tila vaihtelee, vaikka kuva olisi yhtä monta pikseliä korkea ja leveä.)

Nämä esimerkit toivat aika selvästi esiin kuvaamisen ja rakenteen merkityksen informaation kannalta. Selvää on myös että satunnainen kohina on vaikein kahdentaa ohjeilla. Sellainen missä ei ole logiikkaa, joka sallisi sen ennustamisen mitä jotkut muut bitit olisivat ilman että sen arvoa kerrotaan yksityiskohtaisesti erikseen, vaatii eniten vaivaa. Syynkin pitäisi olla melko selvä: Sattumaa on vaikein kuvata, joten satunnaisuudessa on eniten informaatiota silloin kun puhutaan sen kompleksisuudesta.

Tosin tässä kohdassa on yksi tärkeä huomio: Algoritmisessa kompleksisuudessa sattuma on sidottu kompleksisuuteen: Tämän vuoksi se eroaa hieman "normaalielämän sattumasta". Nimittäin, jos menet Vegasiin heittämään noppaa, voi joskus käydäkin niin, että heität 6 särmäisellä nopalla 20 kertaa peräkkäin ja saat jokaisella kerralla kuutosen. Tällöin sen tulos on epätodennäköinen sattuma, mutta sillä on selvä muoto. Toisin sanoen ero on siinä, että kun satunnaisuus sidotaan kompleksisuuteen, se kuvaa sitä mitä sattuma tuottaa Vegasissakin useimmiten. (Esimerkiksi 20 sarjan, jonka heitin nopallani tuotti "56431631454654662143"). Eli kompleksisuuden kannalta nopat vain tuottavat joskus harvoin eisatunnaisia tuloksia.

Ja tästä päästäänkin niihin hieman erikoisempiin asioihin.

Nimittäin jos asiaa tarkastellaankin kompleksisuuden sijasta todennäköisyyksien kautta, satunnainen prosessi on juuri kuten Vegasin nopat. Ne tuottavat joskus epätodennäköisiä sarjoja, jotka muistuttavat esimerkiksi sitä 20 peräkkäin heitettyä 6 -ta. (Todennäköisyys tälle olisi 6²⁰, eli todella harvinainen. Jos et usko, voit kokeilla asiaa kotonasi.) Kun näkisimme tämän Vegasin harvinaisen noppatuloksen, me emme kuitenkaan pitäisi sitä satunnaisena jonona kompleksisuutensa kannalta. Se on toki satunnainen syntymistapansa vuoksi. (On siis aina tiedettävä kummasta puhuu. Tämä ei itse asiassa ole aina helppoa, ainakaan minulle.)

Asiaa voidaan sekoittaa ottamalla pakkaaminen mukaan: Kun minä esimerkiksi pyörittelen erilaisia pakkausohjelmia saadakseni paljon eri juttuja vaikka poltettua samalle CD:lle, niin pakkausohjelmaa pyöriteltyäni niiden vaatima tila pienenee. Se, mikä ei ennen olisi mahtunut CD:lle, mahtuukin nyt pakattuna CD:lle. Ja itse CD on silti ulkoisesti saman kokoinen.
1: Kun tässä puhun pakkaamisesta, puhun sellaisesta joka ei perustu siihen että rakennetta tuhotaan. Eli tarkoitan ns. häviöttömiä pakkausmenetelmiä, joissa todellista tietoainesta ei hävitetä ja tällä tuholla raivata tilaa niin että tiedolle voidaan antaa vähemmän tilaa, vaan sen sijaan tieto kuvataan lyhyemmällä tavalla ja kun pakkaus puretaan, noudatetaan sitä "annettua ohjetta" ja saadaan aivan samanlaisena se alkuperäinen tietoaines. Häviötön pakkaus on tietenkin mahdollista vain, jos pakattava data ei ole satunnaista (kompleksisuus, ei Vegas) vaan sisältää jonkinlaista ennustettavaa rakennetta jota kuvata lyhyemmin. (Tätä kautta esimerkiksi on erikoista kuulla kuinka jokin on kompleksinen että ei voisi syntyä sattumalta. Maksimaalinen Vegasissa käynyt noppaihme on epätodennäköinen sattuma, mutta rakenteeltaan se on kaikkea muuta kuin kompleksinen, moniosainen tai on mitään sellaista jonka kuvaamiseen tarvittaisiin pitkiä rakennusohjeita.)
2: Kun meillä on siis edessä kaksi jonoa, joista ensimmäistä ei ole pakattu ja toinen on se, mikä on pakattu. Pakattu on lyhyempi, ja vähemmän säännönmukainen. Siinähän on poistettu pituutta, joiden ohjeet sisältyvät silti niihin lyhyempiin ohjeisiin. (Sama asia on lyhyempi, joten se on tiiviimpää asiaa. Kun tämän oppisi blogauksessakin..) Tätä kautta katsoen näissä kahdessa jonossa on yhtä suuri määrä rakennetta. Mutta se pakattu versio onkin kokoonsa nähden kompleksisempi kuin toinen. Jos eteemme laitetaan vahvasti, eli hyvin, pakattu jono, se on rakenteen mutkikkuuden kannalta muodoltaan samanlainen kuin satunnainen. Kun taas se purettu versio ei ole kompleksinen, se on vähemmän kompakti, eikä se siksi ole rakenteensa puolesta kompleksinen. -Vaikka ne ovatkin itse asiassa "aivan sama informaatio".
3: Eli kun harvinaiseen sattumaan ja säännönmukaisuuteen sisältyvä redundanssi otetaan huomioon Vegasihmeenkin tapauksessa, myös sen informaatiotiheys voidaan tiivistää muutamaan merkkiin. Siksi vaikka informaation määrittely eroaakin hieman algoritmisen kompleksisuuden kohdalla (informaatio~lyhin tapa kuvata merkkijonon rakenne) ja Shannonin informaation välillä (informaatio~yksinkertainen kyllä/ei -päätös~bitti. Hänen informaation määrän arviointiin liittyvät myös informaation hajeen ja redundanssi eli toisteisuus.), molemmissa on kuitekin samaa pohjaa. Kun toisteisuudessa ei nähdä olevan sisältöä, molemmat esittävät että maksimitiheys informaatiota on täydellisen satunnainen merkkijono. (Kun "Vegasin noppaihmeestä" otetaan redundanssi, toisteisuus, pois, jäljelle jää 20*"6".)

Tästä seuraa itse asiassa epäintuitiivisia mietintöjä tieteenfilosofian puolelle: Kun selitämme asioita, selitämme itse asiassa luonnonlakeja, jotka tuottavat "Vegasihmeen kaltaisia sääntöjä, mutta eivät harvoin kuten nopat vaan usein." Tästä ehdosta seuraa ennustettavuus, jonka katsotaan olevan kuvaus maailman tapahtumista. ; Tiedemiehet tavallaan yrittävät selittää universumin toiminnan kaavoina jotka ovat mahdollisimman yksinkertaisia, eli jossa on mahdollisimman lyhyt kuvaus luonnonlaista. Tiedemiehet tavallaan yrittävät pakata universumin tapahtumia. Tosin olen melko varma, että tiedemiehet tuottavat pääasiassa "nyrkkisääntöjä", eli karkeistavat todellisuutta. Tällöin "pakkaaminen" on toki myös totta, mutta kyseessä ei ole "häviötön pakkaaminen". Toki tiedemiehet pyrkivät olemaan mahdollisimman häviöttömiä pakkaamisessaan. Ja toinen asia taas on se, että vaikka intuitio sanoo mitä, satunnaiset ilmiöt ovat kompleksisimpia.

Mutta tässä kohden voin palata hairahdusretkiltä siihen alkupisteeseen:

Toki me ajattelemme että kieli on rakenteeltaan monimuotoista, kompleksista. Mutta tosiasiassa satunnainen nopan tuottama jono on mutkikkaampi. Toki tuolta kuunneltava kiinankielinen redundantti runo. Sen rakenteesta voinevat iloita muutkin suomalaiset. osoittaa että osa kielestä on toisteisempaa kuin toiset. Mutta se toisaalta kertoo myös merkityksestä jonka luomme on luonteeltaan juuri redundanssia, eikä kompleksisuus ole merkityksen tunnus. (Alun perin meinasin tehdä blogauksen jossa oltaisiin käyty läpi pelkästään tätä runoa. Hairahduin.) Toisaalta semanttiselle merkitykselle on mahdollista muodostaa myös pangrammeja, jolloin niissä on mahdollisimman paljon eri kirjaimia, jotka toistuvat mahdollisimman vähän, jolloin syntyy sanoja kuten "Törkylempijävongahdus". Nämä ovat selvästi kompleksisempia, niitä on vaikeampi pakata kuin vaikkapa toisteisuuteen perustuvaa lausetta "Yömyöhällä yökkäili yökyöpeli vyötiäinen." Tosin esimerkkipangrammini ei ole mitenkään "maksimaalisesti kompleksinen", koska vokaalien paikat voidaan "arvata".

Informaatio ei ole siis aina sitä, mitä sen ikään kuin automaattisesti oletamme olevan. Olipa syy sitten siinä, että (1) "Eggheads from University" määrittelevät asiat erikoisilla tai todellisuudesta vieraantuneilla ja väärillä tavoilla, tai sitten se että (2) heidän toimintansa soveltuu joihinkin asioihin, jotka ovat arkielämän ulkopuolella, tai koska (3) normaali -ihminen on intuitioitaan ja tunteitaan seuraava joka ei ole ensisijaisesti rationaalinen:
Mutta pääasia olisi, että yrittäisi katsoa mistä milloinkin puhutaan. Silloin erolla arkielämän ajattelun ja muunlaisen ajattelun välille ei välttämättä tule. Kun eri asioista ei puhuta samoilla nimillä.