O I n f o r m a c i j i : informacija u teoriji

Svibanj 25, 2015

Maxwellov demon i informacija

CLAUDE E. SHANNON & WARREN WEAVER: The Mathematical Theory of Communication (1949)
JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Fizičar James Clerk Maxwell osmislio je sljedeći misaoni eksperiment: iznad pregrade kutije s plinom zamislio je inteligentno biće, dovoljno malo da uoči koja mu molekula dolazi u susret (topla ili hladna) i odluči hoće li je pustiti u drugu stranu ili ne. Ubrzo je to zamišljeno biće dobilo naziv Maxwellov demon, a predmnijevamo i zbog čega: zbog svoje ‘demonske uloge’ u kršenju Drugog zakona termodinamike! Naime, svojim odlukama koju će molekulu pustiti a koju ne, biće bi bilo u prilici izravno utjecati na rast entropije zatvorenog sustava; još gore, moglo bi, ako bi to htjelo, prouzročiti i one slučajeve u kojima bi se ukupni prirast entropije smanjivao! Svojim inteligentnim uvidom u to koja mu molekula plina pristiže (hladna ili topla) moglo bi namjerno prouzročiti smanjenje entropije cjelokupnog sustava, recimo, ako odluči na drugu stranu kutije puštati samo tople molekule plina. Ipak, u ovoj priči, nas ne zanima toliko kršenje Drugog zakona termodinamike koliko percepcija svijeta tog bića. Evidentno, da bi pustilo (na)dolazeću molekulu na drugu stranu kutije ono najprije mora znati o kakvoj je molekuli riječ (je li topla ili hladna), drugim riječima, mora se o tome informirati…

Međutim, kako informacijsku teoriju tumači Shannonov kolega W. Weaver, informacija se više tiče onoga što uopće o nečemu možemo reći nego što se u nekom trenutku o tome stvarno i reklo. Drugim riječima, za Shannona i Weavera manje je bitan proces saznavanja, važan je samo konačni broj molekula toplog i hladnog plina u kutiji, kao i njihov položaj (jesu li s ove strane pregrade kutije ili s one). Ako je vjerojatnost pojavljivanja tople i hladne molekule plina jednaka, entropija je najveća, a s njome i količina informacija koju demon percipira. Međutim, ako je ta vjerojatnost različita, recimo da se u dijelu kutije iz kojeg demonu nadolaze molekule nalazi topliji plin, onda je za očekivati da će mu daleko češće pristizati toplije molekule od hladnijih (prema Drugom zakonu termodinamike) što je, onda, prema Shannonu, manje informativno. Manju količinu informacija uzrokuje i obrnut slučaj, kada je vjerojatnost pojavljivanja toplih molekula plina mala, jer se u promatranom dijelu kutije nalazi hladnije molekule plina. Upravo, u toj spoznaji najveća je snaga i doprinos znanosti Shannonove teorije.

Međutim, mi se pitamo je li demon svjestan toga da je u desnom dijelu kutije plina više toplih nego hladnih molekula? On to ne može znati. Tek kad cijeli proces završi, kad se molekule toplog i hladnog plina ravnomjerno rasporede po kutiji, drugim riječima, kad se postigne stanje najveće entropije, on može zaključiti da je u samom prijenosu topline sudjelovala tolika i tolika količina informacija, manja ili veća, jer se plin kretao iz manje vjerojatnog stanja u stanje veće vjerojatnosti ili očekivano stanje. S druge strane, Shannon bi isti proces opisao riječima da su se molekule kretale iz stanja manje neizvjesnosti u stanje veće neizvjesnosti. Dakle, može li se zakonitost koja se odnosi na prijenos informacija dovesti u vezu sa zakonitošću koja vlada u prijenosu topline (i koju ‘propisuje’ Drugi zakon termodinamike)? Može – ali u obrnutom shvaćanju/značenju. Iako količinski jednake, entropija i količina informacija u nekom značenjskom smislu potpuno su suprotne. ‘Vjerojatnije’ i ‘neizvjesnije’ naprosto ne mogu imati isti smisao.

Sada se pokušajmo staviti u položaj demona koji upravlja pregradom kutije s plinom. Vrlo brzo ćemo biti primorani napustiti svijet statistike, predviđanja i porinuti natrag u stvarnost. Svaku molekulu koja nam dolazi u susret na osnovi njenog svojstva je li topla ili hladna propustit ćemo (ili nećemo) na drugu stranu. Što bi, dakle, bila informacija za demona koji upravlja pregradom kutije s plinom? Ovdje je važno uočiti da to pitanje više nema nikakve veze sa Shannonovom količinom informacija. Dakle, više ne pitamo nešto vezano uz ‘količinu informacija’, već uz samu informaciju i dolazimo do sljedećeg odgovora: informacija je sadržana u demonovoj percepciji odnosno procesu informiranja; ona je sama ‘supstanca’ njegove percepcije koja defacto postaje njegovo znanje o tome je li se radi o toploj ili hladnoj molekuli plina koja mu dolazi u susret.

Zbog toga B. Greene u svojoj definiciji entropije poseže za izrazom količine skrivenih informacija u sustavu. Kakvo god bilo mikroskopsko stanje sustava i kakva god bila vjerojatnost da će se ono ostvariti – ono sadrži i informaciju, skrivenu informaciju u smislu da entropiji, kao ni Shannonu, nije važan sadržaj te informacije, nego samo njena vjerojatnost pojavljivanja.

Pritom, uočimo da se entropija odnosi samo na prebrojavanje bilo kakvog (iznenadnog) događaja s molekulama u kutiji s plinom, a informacija na razlikovanje tog događaja u kvalitativnom smislu (npr. uočavanje nekog svojstva molekule plina, primjerice, je li topla ili hladna). Shannon je, dakle, svoju ‘teoriju informacija’ temeljio na postavci da se u oba slučaja radi o istom broju…

U slučaju povećanja entropije sustava, očevidno, na djelu je djelovanje jednog zakona u pozadini, Drugog zakona termodinamike. Povećanje entropije sustava izravna je posljedica kretanja molekula u stanje izjednačenih temperatura (tzv. toplinske smrti). Slijedom toga, L. Boltzman samo je pokazao ovisnost ukupne entropije nekog zatvorenog sustava o vjerojatnostima mikroskopskih stanja njegovih sastavnica. Međutim, što bi se, i ako bi, onda, nalazilo u pozadini informacijske teorije? Koji analogan proces? Prema nekom mojemu razmišljanju, to je proces stjecanja znanja o svijetu koji nas okružuje. Čovjek je biće koje teži iz stanja manjeg znanja ili neznanja prijeći u stanje većeg znanja ili najvećeg mogućeg znanja. Paradoks u čovjekovoj težnji, međutim, ogleda se u činjenici da ono što može znati, prisiljen je sâm prethodno definirati (tzv. ‘Shannonov skup mogućnosti’). „Čovjek je mjera svih stvari“, tu duboku istinu dokučili su još Stari Grci. Ako želi ovladati ‘kemijskim znanjem’ o svijetu koji ga okružuje, svijet mora najprije podijeliti na molekule, ako želi imati ‘fizikalno znanje’ o istom, mora ga podijeliti na atome, kvarkove, bozone i druge čestice itd. Po Shannonu, sva moguća stanja molekula i atoma predstavljali bi najsveobuhvatniji unaprijed definiran set mogućnosti iz kojeg bi bilo moguće odabrati i prenijeti, njima analognu, informaciju.

Uočimo, što se tiče kutije s plinom i zamisli Maxwellovog demona možda je manje evidentno, ali nikako nevažno za cijelu priču, da je njome određena najmanja jedinica koja će ulaziti u proračun kako entropije, tako i količine informacija, a to je molekula. U pokusu se zapravo promatra na koje sve načine jedna molekula plina može ‘izgenerirati’ informaciju; dakle, ne generira informaciju svijet kao takav, nego onaj dio svijeta koji smo prethodno ‘uobličili’ u nekakav entitet, u ovom primjeru – u molekulu. Pritom, ne smijemo zaboraviti da se s dovoljno moćnom tehnologijom možemo spustiti još dublje u mikrosvijet te entropiju i količinu informacija računati ‘preko’ atoma. Čovjek je, dakle, taj koji je prisiljen podvući crtu, ‘uobličiti dio stvarnosti’, stvoriti, uvjetno rečeno, podatkovni entitet, s kojim dalje može računati, i na koncu konaca, i uopće bilo što izračunati (prevesti u matematiku). On je taj koji određuje tzv. Shannonov skup mogućnosti (domenu) iz kojeg se generira neka funkcijski odgovarajuća, količina informacija (kodomena).

U pozadini informacijske teorije, dakle, stoji unaprijed definirani skup mogućnosti mikroskopskih stanja sastavnica sustava o kojemu ovisi količina generiranih informacija… Ne možemo izračunati količinu informacija, ako nismo definirali skup svih mogućnosti u kojima se sastavnice jednog sustava mogu naći (toplo-hladno je samo jedan set ukupnog skupa mogućnosti, položaj molekula može biti drugi itd.) Pritom, vrijednosti entropije sustava [S] i količine informacije [H] kao kvantitativne ostaju jednake. Međutim, demon koji se direktno informira i koji barata informacijama, ništa od toga ne može znati. Za njega je informacija ono što pristiže u njegov um. Na neki način, ovo razmatranje je neka vrst priloga daljnjem istraživanju koje bi zakonitostima koje vrijede za procese kodiranja i prijenosa informacija (i koje je postulirao Claude E. Shannon) trebalo pridodati zakonitosti koje bi vrijedile u postupku zaprimanja informacija svjesnog uma za potrebe uvećanja njegova znanja.

Sâm paradoks u pogledu Maxwellovog demona ogleda se u činjenici da se uplivom njegovih odluka o tome hoće li određenu molekulu pustiti u drugu stranu kutije ili ne dolazi do toga da se entropija ukupnog sustava ne mora povećavati, dapače, može se i smanjiti, a što onda nije u skladu s Drugim zakonom termodinamike. Na sreću, Leo Szilard još je davne 1929. pokazao da tomu ipak nije tako i da se entropija čitavog sustava povećava zbog energije koja je potrebna za funkcioniranje demonovog uma. Da biste uopće bili u stanju razlikovati molekulu koja vam dolazi u susret, morate biti živi, a ako ste živi morate sagorijevati kisik i dušik, drugim riječima, morate povećavati ukupnu entropiju svemira.

Oglasi

Travanj 5, 2014

Informacije, crne rupe… i ideja holografskog univerzuma

BRIAN GREENE: Holografski univerzum // SKRIVENA STVARNOST

Zamislite da netko pokuša postaviti teoriju na teoriji kojoj čak ni jedan Einstein nije vjerovao; još gore, postaviti je na njenom, slobodno to mogu reći, beznačajnijem dijelu, koji na nevjerojatan način potkrepljuju eksperimenti – detekcijom jedne, istinski misteriozne, tipično kvantne, pojave…  što biste na to rekli? Možda ne biste bili spremni povjerovati u nju… Ipak, tako je zanosna da joj ne možete odoljeti… Naravno, teorija o kojoj se radi postavljena je na kvantnoj teoriji, a misteriozne pojave su kvantne fluktuacije… događaju se u vakuumu, u naizgled praznom prostoru i manifestiraju neobjašnjivim iskrsavanjem i poništavanjem čestica suprotnih naboja…. Baš takvu teoriju postavio je Stephen Hawking, fizičar s Cambridge-a, razmatrajući kvantne fluktuacije u blizini, inače, svog omiljenog predmeta proučavanja – crnih rupa. Hawking se zapitao što se događa s kvantnim fluktuacijama u području samog obzora crne rupe, granice, koju kad pređete, bivate nepovratno usisani od ‘singularnog napasnika’, te dao sljedeći odgovor:

Ako se čestice oblikuju dovoljno blizu crne rupe, neke budu usisane, a neke odjezde u svemir… Čestice s pozitivnom energijom izlijeću u vanjski prostor… pa udaljenom promatraču ta paljba može izgledati kao zračenje… Međutim, masa crne rupe smanjuje se kada usisava [preostalu] negativnu energiju. Dakle, kada se masa crne rupe smanjuje, crna rupa emitira postojani tok zračenja!

To zračenje dobilo je naziv Hawkingovo zračenje, te je svog pronalazača među zajednicom fizičara proslavilo preko noći. Na osnovi temperature, koja je izravna posljedica zračenja i količine zračenja, Hawking je sada bez problema mogao izračunati i količinu entropije… Rezultat do kojega je došao bio je vrlo neobičan: količina entropije bila je proporcionalna površini crne rupe… Hawking se tu nije zaustavio. Uzeo je obzor događaja odnosno površinu crne rupe i podijelio ga tako da je dobio mrežu kvadratića u kojoj dužina svakog kvadratića odgovara vrijednosti Planckove duljine (10-33 centimetara), najmanjoj smislenoj duljini za koju je fizičar uvjeren da još uvijek poštuje fizikalne zakone. Nakon toga, “matematički [je] dokazao da je entropija crne rupe jednaka broju takvih kvadratića koji se mogu smjestiti po njezinoj površini. Izraženo jezikom skrivenih informacija, možemo reći da svaki takav kvadratić prenosi jedan jedini bit informacije – što odgovara na pitanja da-ne koja opisuju neki vid makroskopske strukture crne rupe, premda ne znamo koji.” Ali ovdje se čini puno važnijim odgovoriti na sljedeće pitanje: zašto bi količina informacija morala biti određena površinom crne rupe?

Mnoge je iznenadila činjenica da je skladište informacija unutar crne rupe određeno brojem kvadratića Planckove veličine koji prekrivaju njezinu površinu, a ne brojem kockica Planckove veličine koje ispunjavaju njezin prostor! Bila je to prva naznaka holografije – predodžbe da je kapacitet pohrane informacija određen površinom nekog područja, a ne unutrašnjim prostorom koji ta površina omeđuje.

Ali tu se postavlja pitanje: znači li to da se informacije uistinu skladište na površini crne rupe? Odgovor ovisi o tome promatrate li crnu rupu izvana ili iznutra. Prema općoj teoriji relativnosti padnete li u crnu rupu, vi nećete znati da vam se to dogodilo. To je pogled iznutra. Izvana gledano, vi padate kao žrtva Hawkingova zračenja, svojevrsne “užarene korone” koja okružuje obzor događaja crne rupe. Patrick Susskind i još neki fizičari vjeruju da su oba opisa jednako vrijedna.

[Uzmimo sada] bilo koji objekt, npr. Kongresnu knjižnicu… [ili bilo koji drugi prostor] i zamislimo da smo to područje dodatno izdvojili okruživši ga nekom imaginarnom sferom… Koliko se informacija maksimalno može pohraniti u tom prostoru? Zamislite da u taj prostor započnete dodavati materiju, s ciljem povećanja njegova kapaciteta pohrane informacija. Možete umetnuti memorijske čipove velikog kapaciteta, tvrde diskove, ogromnu količinu knjiga ili gusto nakrcane Kindleove. Budući da čak i sirova materija prenosi informacije (jesu li molekule pare ovdje ili ondje?), svaki zakutak prostora možete natrpati onolikom količinom materije koliko je uspijete nabaviti. Sve dok ne dosegnete kritičnu točku. U jednom trenutku prostor će biti toliko krcat da će se njegova unutrašnjost, dodate li makar i jedno jedino zrnce pijeska, zacrniti a cijelo područje pretvoriti u crnu rupu. Kada se to dogodi, igra je završena… Ako dodavanjem materije pokušate povećati kapacitet pohrane informacija, crna će rupa reagirati tako što će… narasti [a to ne želite, jer vas zanima maksimalna količina informacija koja može stati u točno određenom prostoru].

Ako je entropija takve crne rupe jednaka površini koja okružuje prostor onda vrijedi:

Količina informacija koju sadrži određeni prostor, pohranjena u bilo kojem objektu bilo kojeg oblika, uvijek je manja od površine koja okružuje to područje (mjereno u kvadratnim Planckovim jedinicima)… [Ono što je važno je da se] ta analiza može primijeniti na svaki prostor, bez obzira [radi li se o crnoj rupi ili ne].

[Patrick] Susskind i [Gerard] ‘t Hooft naglasili su da bi ova lekcija trebala biti općenita: budući da informacije koje bi trebale opisivati fizikalne pojave unutar bilo kojeg danog područja mogu biti u cijelosti kodirane podacima na površini koja okružuje to područje, opravdano je zaključiti da se upravo na toj površini doista događaju fundamentalni fizikalni procesi. Nama bliska trodimenzionalna stvarnost, predlažu ovi domišljati mislioci, u tom bi se slučaju mogla usporediti s holografskom projekcijom tih udaljenih dvodimenzionalnih procesa.

Koliko god bila privlačna i u naravi matematički konzistentna teorija, inicijalna ideja o holografskom univerzumu ostaje problematična. Ipak, uvjerili smo se koliko važnu ulogu mogu imati informacije u području izvan svoje domene. I ne samo to, to područje koje ih želi okruniti za kralja stvarnosti nije tek neko od mnogih, već sama kraljica stvarnosti – fizika!

Ožujak 7, 2014

Informacija i entropija

BRIAN GREENE: Holografski univerzum // SKRIVENA STVARNOST

skrivena_stvarnostZašto je ideja holografskog univerzuma važna s informacijskog gledišta? Zato što se u njenoj srži nalazi upravo informacija! Kako je to moguće, objasnit će nam fizičar s MIT-a Brian Greene čije su popularno-znanstvene uspješnice o svemiru učinile da se njegove najskrovitije tajne čine razumljivima i čitateljima koji nisu studirali fiziku ili astronomiju.

Poglavlje svoje knjige o ideji holografskog univerzuma posvećeno, između ostalog i informaciji, Brian Greene započinje prisjećanjem na susret s pokojnim Johnom A. Wheelerom, teorijskim fizičarem, poznatim po izjavi It from bit:

“Jednom prilikom tijekom zajedničkog ručka na Princetonu 1998., pitao sam ga [Johna A. Wheelera] koja će tema po njegovu mišljenju dominirati fizikom u sljedećih nekoliko desetljeća. Pognuo je glavu, što je često činio tih dana pa se činilo da se njegovo ostarjelo tijelo umorilo od tereta tako impresivna intelekta. No tišina je potrajala toliko da sam se morao zapitati ne želi li on odgovoriti na pitanje ili je pak zaboravio da sam ga uopće nešto pitao. Tada je polako uspravio pogled i izgovorio jednu, jedinu riječ: “Informacije.”

Wheeler je predlagao da bi stvari – materija i zračenje – trebali biti od sekundarne važnosti, kao puki nosioci mnogo apstraktnijeg i temeljnijeg entiteta: informacije. On nije tvrdio da su materija i zračenje nešto iluzorno već je samo smatrao da bi se trebali promatrati kao materijalne manifestacije nečega još elementarnijeg.”

Prema takvu stavu, informacija bi bila ugrađena u “plan i nacrt projekta”, a svemir bi se iz te perspektive mogao promatrati kao procesor informacija.

S informacijom usko povezan pojam entropije, Greene definira kao “mjeru procijepa u informacijama između podataka koje imamo (ukupnih makroskopskih karakteristika) i onih koje nemamo (specifičan mikroskopski raspored sustava)”. Drugim riječima, “entropija je mjera mogućih promjena sastavnica nekog entiteta/sustava koje s makroskopskog gledišta prolaze nezapaženo.” Moram priznati da nigdje drugdje nisam naišao na u toj mjeri jasno i precizno objašnjenje ovog inače zakučastog pojma, poznatog iz područja termodinamike koji se javlja i kao jedan od glavnih protagonista Drugog zakona termodinamike. O entropiji, osim na Wikipediji, možete čitati i na sjajnom blogu Nagovor na filosofiju na kojem je njezin autor o spomenutom pojmu zapisao:

Entropija je zapravo … jedna funkcija broja mogućih mikroskopskih stanja koja ostvaruju dano makroskopsko stanje. Smjer termodinamičkih procesa je prema onom makroskopskom stanju koje je vjerojatnije, i to zato što je ostvarivo na više različitih mikroskopskih načina… Smjer termodinamičkih procesa je, dakle, prema većoj entropiji.

Da bi pojam entropije doveli u vezu s pojmom informacije, Brian Greene je posegnuo za očekivanim i pomalo ofucanim primjerom iz područja vjerojatnosti i statistike – bacanjem novčića. Zašto kažemo da je entropija tisuću novčića, razbacanih po podu, visoka? Zato što postoji mogućnost da načinimo veliki broj mikroskopskih radnji s novčićima (recimo, da ih okrenemo na suprotnu stranu), a da s makroskopskog gledišta to prođe nezapaženo. Gdje su tu informacije? Informacije su naravno sadržane u odgovarajućem popisu tipa ‘glava-pismo’ kojim želimo zapamtiti stranu na koju je pojedini novčić pao odnosno na koju je okrenut.  Međutim, upravo na tom mjestu Greene ubacuje u brzinu i rezonira na briljantan način za možda najdublje razumijevanje prirode informacije uopće

[Odgovarajući popis glava-pismo] … to bi mi samo pokazalo detalje konfiguracije… Zanima me koliko je informacija sadržano na tom popisu? Polako se počinjete premišljati. Što je zapravo informacija i što doista čini. Vaš je odgovor jednostavan i izravan. Informacija odgovara na pitanja [tipa DA-NE]. Godine i godine istraživanja matematičara, fizičara i informatičara precizirale su ovaj zaključak. [Nadalje] podatak koji može odgovoriti na jedno pitanje tipa DA-NE naziva se bit… Zapravo, riječ je o kratici za [binarni broj] (binary digit) koji može označavati 1 ili 0 kao brojčane oznake za odgovore DA i NE.

Ako entropiju sada definiramo, ne kao mjeru, već konkretan broj mogućih promjena sustava, u ovom slučaju sustava ’tisuću novčića’, koji ne dovode do značajnije izmjene njegovog makroskopskog izgleda, shvatit ćemo da taj broj iznosi točno 1000 jer se zapravo radi o kaotičnom sustavu, sustavu u kojem se mikroskopske promjene uopće ne zamjećuju. Međutim i broj stavki na popisu kojim smo željeli zabilježiti ishod svakog padanja novčića (glava ili pismo) također iznosi 1000. Primjećujemo da su vrijednosti entropije i količine (skrivenih) informacija u sustavu ’tisuću novčića’ – jednake. To nije slučajno. Na neki način, zaključuje Greene, možemo reći da je entropija mjera sadržaja skrivenih informacija u sustavu.

Blog pokreće Wordpress.com.

%d bloggers like this: