O I n f o r m a c i j i : informacija u teoriji

Svibanj 25, 2015

Maxwellov demon i informacija

CLAUDE E. SHANNON & WARREN WEAVER: The Mathematical Theory of Communication (1949)
JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Fizičar James Clerk Maxwell osmislio je sljedeći misaoni eksperiment: iznad pregrade kutije s plinom zamislio je inteligentno biće, dovoljno malo da uoči koja mu molekula dolazi u susret (topla ili hladna) i odluči hoće li je pustiti u drugu stranu ili ne. Ubrzo je to zamišljeno biće dobilo naziv Maxwellov demon, a predmnijevamo i zbog čega: zbog svoje ‘demonske uloge’ u kršenju Drugog zakona termodinamike! Naime, svojim odlukama koju će molekulu pustiti a koju ne, biće bi bilo u prilici izravno utjecati na rast entropije zatvorenog sustava; još gore, moglo bi, ako bi to htjelo, prouzročiti i one slučajeve u kojima bi se ukupni prirast entropije smanjivao! Svojim inteligentnim uvidom u to koja mu molekula plina pristiže (hladna ili topla) moglo bi namjerno prouzročiti smanjenje entropije cjelokupnog sustava, recimo, ako odluči na drugu stranu kutije puštati samo tople molekule plina. Ipak, u ovoj priči, nas ne zanima toliko kršenje Drugog zakona termodinamike koliko percepcija svijeta tog bića. Evidentno, da bi pustilo (na)dolazeću molekulu na drugu stranu kutije ono najprije mora znati o kakvoj je molekuli riječ (je li topla ili hladna), drugim riječima, mora se o tome informirati…

Međutim, kako informacijsku teoriju tumači Shannonov kolega W. Weaver, informacija se više tiče onoga što uopće o nečemu možemo reći nego što se u nekom trenutku o tome stvarno i reklo. Drugim riječima, za Shannona i Weavera manje je bitan proces saznavanja, važan je samo konačni broj molekula toplog i hladnog plina u kutiji, kao i njihov položaj (jesu li s ove strane pregrade kutije ili s one). Ako je vjerojatnost pojavljivanja tople i hladne molekule plina jednaka, entropija je najveća, a s njome i količina informacija koju demon percipira. Međutim, ako je ta vjerojatnost različita, recimo da se u dijelu kutije iz kojeg demonu nadolaze molekule nalazi topliji plin, onda je za očekivati da će mu daleko češće pristizati toplije molekule od hladnijih (prema Drugom zakonu termodinamike) što je, onda, prema Shannonu, manje informativno. Manju količinu informacija uzrokuje i obrnut slučaj, kada je vjerojatnost pojavljivanja toplih molekula plina mala, jer se u promatranom dijelu kutije nalazi hladnije molekule plina. Upravo, u toj spoznaji najveća je snaga i doprinos znanosti Shannonove teorije.

Međutim, mi se pitamo je li demon svjestan toga da je u desnom dijelu kutije plina više toplih nego hladnih molekula? On to ne može znati. Tek kad cijeli proces završi, kad se molekule toplog i hladnog plina ravnomjerno rasporede po kutiji, drugim riječima, kad se postigne stanje najveće entropije, on može zaključiti da je u samom prijenosu topline sudjelovala tolika i tolika količina informacija, manja ili veća, jer se plin kretao iz manje vjerojatnog stanja u stanje veće vjerojatnosti ili očekivano stanje. S druge strane, Shannon bi isti proces opisao riječima da su se molekule kretale iz stanja manje neizvjesnosti u stanje veće neizvjesnosti. Dakle, može li se zakonitost koja se odnosi na prijenos informacija dovesti u vezu sa zakonitošću koja vlada u prijenosu topline (i koju ‘propisuje’ Drugi zakon termodinamike)? Može – ali u obrnutom shvaćanju/značenju. Iako količinski jednake, entropija i količina informacija u nekom značenjskom smislu potpuno su suprotne. ‘Vjerojatnije’ i ‘neizvjesnije’ naprosto ne mogu imati isti smisao.

Sada se pokušajmo staviti u položaj demona koji upravlja pregradom kutije s plinom. Vrlo brzo ćemo biti primorani napustiti svijet statistike, predviđanja i porinuti natrag u stvarnost. Svaku molekulu koja nam dolazi u susret na osnovi njenog svojstva je li topla ili hladna propustit ćemo (ili nećemo) na drugu stranu. Što bi, dakle, bila informacija za demona koji upravlja pregradom kutije s plinom? Ovdje je važno uočiti da to pitanje više nema nikakve veze sa Shannonovom količinom informacija. Dakle, više ne pitamo nešto vezano uz ‘količinu informacija’, već uz samu informaciju i dolazimo do sljedećeg odgovora: informacija je sadržana u demonovoj percepciji odnosno procesu informiranja; ona je sama ‘supstanca’ njegove percepcije koja defacto postaje njegovo znanje o tome je li se radi o toploj ili hladnoj molekuli plina koja mu dolazi u susret.

Zbog toga B. Greene u svojoj definiciji entropije poseže za izrazom količine skrivenih informacija u sustavu. Kakvo god bilo mikroskopsko stanje sustava i kakva god bila vjerojatnost da će se ono ostvariti – ono sadrži i informaciju, skrivenu informaciju u smislu da entropiji, kao ni Shannonu, nije važan sadržaj te informacije, nego samo njena vjerojatnost pojavljivanja.

Pritom, uočimo da se entropija odnosi samo na prebrojavanje bilo kakvog (iznenadnog) događaja s molekulama u kutiji s plinom, a informacija na razlikovanje tog događaja u kvalitativnom smislu (npr. uočavanje nekog svojstva molekule plina, primjerice, je li topla ili hladna). Shannon je, dakle, svoju ‘teoriju informacija’ temeljio na postavci da se u oba slučaja radi o istom broju…

U slučaju povećanja entropije sustava, očevidno, na djelu je djelovanje jednog zakona u pozadini, Drugog zakona termodinamike. Povećanje entropije sustava izravna je posljedica kretanja molekula u stanje izjednačenih temperatura (tzv. toplinske smrti). Slijedom toga, L. Boltzman samo je pokazao ovisnost ukupne entropije nekog zatvorenog sustava o vjerojatnostima mikroskopskih stanja njegovih sastavnica. Međutim, što bi se, i ako bi, onda, nalazilo u pozadini informacijske teorije? Koji analogan proces? Prema nekom mojemu razmišljanju, to je proces stjecanja znanja o svijetu koji nas okružuje. Čovjek je biće koje teži iz stanja manjeg znanja ili neznanja prijeći u stanje većeg znanja ili najvećeg mogućeg znanja. Paradoks u čovjekovoj težnji, međutim, ogleda se u činjenici da ono što može znati, prisiljen je sâm prethodno definirati (tzv. ‘Shannonov skup mogućnosti’). „Čovjek je mjera svih stvari“, tu duboku istinu dokučili su još Stari Grci. Ako želi ovladati ‘kemijskim znanjem’ o svijetu koji ga okružuje, svijet mora najprije podijeliti na molekule, ako želi imati ‘fizikalno znanje’ o istom, mora ga podijeliti na atome, kvarkove, bozone i druge čestice itd. Po Shannonu, sva moguća stanja molekula i atoma predstavljali bi najsveobuhvatniji unaprijed definiran set mogućnosti iz kojeg bi bilo moguće odabrati i prenijeti, njima analognu, informaciju.

Uočimo, što se tiče kutije s plinom i zamisli Maxwellovog demona možda je manje evidentno, ali nikako nevažno za cijelu priču, da je njome određena najmanja jedinica koja će ulaziti u proračun kako entropije, tako i količine informacija, a to je molekula. U pokusu se zapravo promatra na koje sve načine jedna molekula plina može ‘izgenerirati’ informaciju; dakle, ne generira informaciju svijet kao takav, nego onaj dio svijeta koji smo prethodno ‘uobličili’ u nekakav entitet, u ovom primjeru – u molekulu. Pritom, ne smijemo zaboraviti da se s dovoljno moćnom tehnologijom možemo spustiti još dublje u mikrosvijet te entropiju i količinu informacija računati ‘preko’ atoma. Čovjek je, dakle, taj koji je prisiljen podvući crtu, ‘uobličiti dio stvarnosti’, stvoriti, uvjetno rečeno, podatkovni entitet, s kojim dalje može računati, i na koncu konaca, i uopće bilo što izračunati (prevesti u matematiku). On je taj koji određuje tzv. Shannonov skup mogućnosti (domenu) iz kojeg se generira neka funkcijski odgovarajuća, količina informacija (kodomena).

U pozadini informacijske teorije, dakle, stoji unaprijed definirani skup mogućnosti mikroskopskih stanja sastavnica sustava o kojemu ovisi količina generiranih informacija… Ne možemo izračunati količinu informacija, ako nismo definirali skup svih mogućnosti u kojima se sastavnice jednog sustava mogu naći (toplo-hladno je samo jedan set ukupnog skupa mogućnosti, položaj molekula može biti drugi itd.) Pritom, vrijednosti entropije sustava [S] i količine informacije [H] kao kvantitativne ostaju jednake. Međutim, demon koji se direktno informira i koji barata informacijama, ništa od toga ne može znati. Za njega je informacija ono što pristiže u njegov um. Na neki način, ovo razmatranje je neka vrst priloga daljnjem istraživanju koje bi zakonitostima koje vrijede za procese kodiranja i prijenosa informacija (i koje je postulirao Claude E. Shannon) trebalo pridodati zakonitosti koje bi vrijedile u postupku zaprimanja informacija svjesnog uma za potrebe uvećanja njegova znanja.

Sâm paradoks u pogledu Maxwellovog demona ogleda se u činjenici da se uplivom njegovih odluka o tome hoće li određenu molekulu pustiti u drugu stranu kutije ili ne dolazi do toga da se entropija ukupnog sustava ne mora povećavati, dapače, može se i smanjiti, a što onda nije u skladu s Drugim zakonom termodinamike. Na sreću, Leo Szilard još je davne 1929. pokazao da tomu ipak nije tako i da se entropija čitavog sustava povećava zbog energije koja je potrebna za funkcioniranje demonovog uma. Da biste uopće bili u stanju razlikovati molekulu koja vam dolazi u susret, morate biti živi, a ako ste živi morate sagorijevati kisik i dušik, drugim riječima, morate povećavati ukupnu entropiju svemira.

Oglasi

Siječanj 24, 2015

Entropija u statističkoj mehanici i informacija

IVAN SUPEK: Povijest fizike

Toplina je samo posljedica gibanja molekula, a gibanje molekula – primjerice, plina u kutiji – potiče Drugi zakon termodinamike. To znači da bi i proces ‘miješanja’ molekula na mikrorazini trebao biti nepovratan kao što je to proces u kojemu toplina s toplijeg tijela prelazi na hladnije, a koji zamjećujemo na makrorazini… Ali, kako to izraziti? Isto pitanje postavio je i austrijski fizičar Ludwig Boltzmann i došao do sljedećeg zaključka: zatvoreni sustavi (poput kutije s plinom) iz stanja manje vjerojatnosti teže prijeći u stanje veće vjerojatnosti! Boltzmann je tako došao do veličine entropije u statističkoj mehanici. Za razliku od veličine prirasta entropije u termodinamici koja se proračunava kao omjer ukupno oslobođene topline i prosječno razvijene temperature u procesu, u statističkoj mehanici radi se o apsolutnoj veličini (S) koja svoju vrijednost pronalazi u logaritamskoj relaciji spram vjerojatnosti stanja sustava:

S = k log W

Međutim, postavlja se pitanje što se misli pod vjerojatnošću stanja sustava. Naime, ako su u igri molekule, ne bismo li svaku od njih trebali ‘priupitati’ za njeno stanje i zatim na osnovi neke prosječne vrijednosti svih stanja proračunati ukupno makroskopsko stanje sustava. Da, ali u praktičnom smislu, to se čini nemogućim. Zbog toga su fizičari pribjegli statističkoj zakonitosti koju na jasan i svima razumljiv način elaborira Ivan Supek u Povijesti fizike:

Statistički zakon ne odnosi se na pojedini događaj, koji je neizvjestan, već određuje samo ishod velikog broja slučajeva…
Statistički zakoni zanemaruju gibanje pojedinih atoma i molekula. Oni određuju samo ponašanje golema mnoštva. Statističke procjene govore nam koliko ćemo prosječno atoma ili molekula naći sa stanovitim osobinama. Koji su to atomi, njihova imena i osobni podaci, sve to ne ulazi u statistiku. Statistička zakonitost urezuje opće crte mnoštva, brišući individualne sudbine sastavnih dijelova.

U smislu Drugog zakona termodinamike i statističke zakonitosti, tijelo koje je toplije od svoje okoline reprezentira stanje manje vjerojatnosti. Za razliku od njega, na tijelo jednake temperature s temperaturom svoje okoline puno je izvjesnije da ćemo naići. I to opet samo zato, što Drugi zakon termodinamike ‘propisuje’ da priroda teži ‘izjednačavanju temperatura’ odnosno postizanju vjerojatnijih stanja.

U svojim brojnim derivacijama, gornja formula za entropiju poprima i oblik u kojem je jednaka zbroju umnožaka vjerojatnosti i logaritma vjerojatnosti mikroskopskih stanja sustava:

entropy Dakle, ako je vjerojatnost pojavljivanja određenih mikroskopskih stanja sustava razmjerno velika (recimo da se većina molekula toplog plina nalazi u desnom dijelu kutije s plinom) kažemo da se radi o sustavu s niskom entropijom i obrnuto: ako je vjerojatnost pojavljivanja istih jednaka, a to je slučaj savršeno izmiješanih toplih i hladnih molekula, onda se radi o sustavu s najvećom mogućom entropijom. Gornja formula proračunava točnu vrijednost entropije i kako vidimo, izuzmemo li Boltzmannovu konstantu k (u koju su se, u međuvremenu, ‘povukle’ vrijednosti oslobođene topline i temperature) u potpunosti ovisi o vjerojatnostima mikroskopskih stanja sustava.
Boltzmannova formula za entropiju, dakako, upadljivo podsjeća na Shannonovu formulu za količinu informacije ili neizvjesnosti (uncertainty) odnosno ‘informacijske entropije’. Zapravo, radi se o istim vrijednostima odnosno količinama. Na osnovi statističkog proračuna entropije, Shannon je zaključio da količina informacije i entropija zatvorenog sustava moraju biti jednake. To znači da je Shannonov rad u potpunosti oslonjen na izračun entropije statističke mehanike, a ne na izračun iste veličine rabljene u termodinamici. Tako smo došli do točke u kojoj možemo uspostaviti i dublju poveznicu između ove dvije veličine… [nastavit će se…]

Blog pokreće Wordpress.com.

%d bloggers like this: