Matematičko-statistička teorija informacije (Matematička teorija komunikacije C. E. Shannona): uvod

CLAUDE E. SHANNON: The mathemtical theory of communication (1948)

Koliko nas, koji dolazimo izvan prirodnih i tehničkih znanosti a koji danas pišemo o informaciji nastojeći proniknuti u njenu prirodu, razumijemo Shannonov u načelu matematički rad? Vjerujem da nas je vrlo malo. Ako smo u tome i umješni poput Paula Cantora (Cantor 2009), teško da bi se složili s postavkom kako nam jednadžbe prijenosa diskretnih i kontinuiranih signala mogu pomoći da dođemo do široko prihvaćenje definicije informacijskog fenomena u svim područjima znanosti. Većina profesora iz informacijskih znanosti ipak Shannonov rad navode u literaturi uz bitnu opasku – samo Uvod, odnosno od 31 do 35 str. rada. Zašto? Zato što pretpostavljaju da se nakon famozne 35. stranice nalazi štivo isključivo za inženjere telekomunikacija, a ne informacijske stručnjake… Ali zašto u svoje nastavno gradivo uopće uključuju i prve četiri stranice rada? Zato što je u njima predstavljen komunikacijski model koji je predložen da bude validan model za sve komunikacijske situacije, između ostalih i one u informacijskim ustanovama poput knjižnica, muzeja, arhiva…

Inicijalnu ‘informacijsku teoriju’ ili ‘teoriju informacija’ mnogi istraživači prepoznaju u radu matematičara Clauda Elwooda Shannona naziva A mathematical theory of communication koji datira davne 1948 (Shannon 1948). Međutim, dok je pisao svoj rad, Shannon nije mislio da stvara teoriju informacije. Zabavljen problemima optimalnog prijenosa signala između dvije točke telekomunikacijskog voda, dakle, baveći se izričito problemom komunikacije što je ostavilo traga i na naslovu njegova rada, ni na kraj mu pameti nije bilo stvoriti univerzalni obrazac po kojemu se primaju i odašilju informacije. Pojam informacije rabio je u svom uskom, inženjerskom kontekstu [Proces stjecanja znanja kao problem informacijskih znanosti, Bosančić, 2016].

Uključivši u postojeću Hartleyevu teoriju (Hartley 1928) nekoliko novih čimbenika, a ponajprije se to odnosi na efekt šuma u kanalu, kao i mogućnost uštede u prijenosu količine informacija zbog statističke strukture originalne poruke i prirode krajnjeg odredišta informacije Shannon je napisao:

Osnovni komunikacijski problem svodi se na točno reproduciranje odabrane poruke odaslane s jednoga na drugo mjesto [u prostoru]. Uobičajeno, poruka ima značenje; to ujedno znači da je poruka [uvijek] u nekom odnosu ili pak da upućuje na sustav s odgovarajućim fizičkim ili konceptualnim entitetima. [Međutim], navedeni semantički aspekti su irelevantni za inženjerski problem. Značajno je [jedino] to što je aktualna poruka jedna iz skupa mogućih poruka. Sustav mora biti  konstruiran tako da može operirati sa svakim mogućim odabirom… Ako je broj poruka u skupu konačan, onda se taj broj… može smatrati mjerom informacije koja je proizvedena u trenu kad je iz skupa s jednakom vjerojatnošću odabira odabrana jedna poruka. Kao što je istakao Hartley, najprirodniji izbor [za opis ovog procesa] je logaritamska funkcija. [The mathematical theory of communication, Introduction, Shannon & Weaver, 31-35.]

Odabir logaritamske baze korespondira s odabirom jedinice za mjerenje količine informacija. Ako se rabi logaritamska baza 2 onda se rezultirajuća jedinica može nazvati binarni digits ili kraće bits, riječ koju je Shannonu sugerirao J. W. Tukey.

Na osnovi iznesenoga, može se zaključiti da je matematička komunikacijska teorija C. E. Shannona posredno dovela do jednog važnog pitanja: ako se količina informacija s jednog uređaja na drugi prenosi prema određenim matematičkim pravilnostima, mogu li se te pravilnosti poopćiti i vrijediti za bilo koju situaciju slanja informacije, pa čak i onu u kojoj je čovjek pošiljatelj i/ili primatelj informacije?

[Shannonov] kolega Warren Weaver nagovorio ga je da vlastiti okvir usmjeren na rješavanje inženjerskih problema proširi na ostala područja. Sâm se potrudio napisati poseban članak u kojem je predložio da se Shannonov komunikacijski model, namijenjen telekomunikacijskim inženjerima, može promatrati kao opći komunikacijski model prijenosa informacija (Shannon and Weaver, 1963/49). Možda bi ovakva interpretacija Shannonove teorije stekla više pobornika da se u cijelu priču nije upetljalo značenje, na neki način ‘pojmovna svojina’ istraživača iz društvenih i humanističkih znanosti. Naime, u Shannonovoj teoriji značenje nije igralo nikakvu ulogu. Štoviše, sâm Shannon je naglasio da je irelevantno za cijelu priču (Shannon i Weaver 1963/49). Mogućnost da se jedna teorija informacija utemelji na nečemu što nije uključivalo značenje odmah je pobudilo sumnju istraživača iz društvenih i humanističkih znanosti. Mnogi od njih bili su uvjereni da je Weaver bio u krivu; velika većina je to i danas [Proces stjecanja znanja kao problem informacijskih znanosti, Bosančić, 2016].

Pod komunikacijskim sustavom, napisao je Shannon, mislimo na sustav predstavljen na Slici 1. On se sastoji od pet dijelova:

1. Informacijskog izvora koji proizvodi poruke ili nizove poruka… Poruke mogu biti različite vrste: niz slova kao u telegrafiji, … intenzitet svjetlosti u [proizvoljnoj] točki (x,y)…
   Odašiljača (engl. transmitter) koji pretvara poruku u signal pogodan za prijenos kroz kanal… [Na primjer] u telegrafiji postoji operacija enkodiranja poruka u točke, crte i praznine…
   3. Kanala koji predstavlja medij za prijenos poruke… Može biti riječ o paru žica, koaksijalnom kablu… ili snopu svjetlosti itd. Za vrijeme prijenosa signal može biti ometen (deformiran) šumom (engl. noise).
   4. Primatelja koji uobičajeno obavlja inverznu operaciju u odnosu na odašiljača poruke, rekonstruiranje poruke iz signala.
   5. Odredište [poruke] je osoba (ili stvar) kojima je poruka bila namijenjena.
   [The mathematical theory of communication, Introduction, Shannon & Weaver, 31-35.]

 

Slika 1 – Shematski dijagram općeg komunikacijskog sustava.

Možemo [sada] izvršiti grubu podjelu komunikacijskih sustava na… diskretne, kontunuirane (engl. continuous) i kombinirane (engl. mixed). Diskretni sustav je takav sustav u kojemu su i poruka i signal predstavljeni sekvencom, nizom diskretnih simbola. Tipičan primjer nalazimo u telegrafiji gdje je poruka predstavljena nizom slova, a signal nizom točaka, crtica i praznina koji reprezentiraju ta slova.

Razvoj informacijske teorije na tragu rada C. E. Shannona danas se odvija pod kapom IEEE Information Theory Society, zasebne IEEE zajednice posvećene viziji razvoja „the mathematical underpinnings of information technology for the benefit of humanity“. Područja interesa IEEE ITS-a obuhvaćaju procesuiranje, transmisiju, pohranu i korištenje informacija i tiču se zapravo šireg područja općenito kodiranja informacija, a to znači onih komponenti komunikacijskog modela koji se odnose na procese kodiranja, prijenosa i dekodiranja signala. IEEE ITS, baš kao i C. E. Shannon, davne 1948., pitanje značenja kodiranih, prenesenih i dekodiranih informacija ne smatra predmetom svoga istraživanja. Pa ipak, premda se pitanje značenja prenesene poruke čini irelevantnim u Shannonovoj teoriji s obzirom na činjenicu da jedan signal (i doslovno jedna jedinica ili nula) mogu značiti da se kanalom prenosi cijela Biblija ili samo jedno obično ‘DA’, neki su istraživači primijetili da se ne može tako lako zaobići barem pitanje značenja kodirane informacije.

LITERATURA

1. Bosančić, B. (2016), Proces stjecanja znanja kao problem informacijskih znanosti, Libellarium, Vol. 9 No. 1, 31-58.
2. Cantor, P. (2009), “Information theory”, in Bates, M.J. and Maack, M.N. (Eds.), 3rd ed., Encyclopedia of Librarian and Information Sciences, CRC Press, pp. 2717-2726.
3. Hartley, R.V.L. (1928), “Transmission of information”, Bell System Technical Journal, Vol. 7, pp. 335-363.
4. Shannon, C. E., and Weaver, W. (1964), The mathematical theory of communication, University of Illinois Press, Urbana.

Entropija i informacija III. (Maxwellov demon i informacija)

CLAUDE E. SHANNON & WARREN WEAVER: The Mathematical Theory of Communication (1949)
JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Fizičar James Clerk Maxwell osmislio je sljedeći misaoni eksperiment: iznad pregrade kutije s plinom zamislio je inteligentno biće, dovoljno malo da uoči koja mu molekula dolazi u susret (topla ili hladna) i odluči hoće li je pustiti u drugu stranu ili ne. Ubrzo je to zamišljeno biće dobilo naziv Maxwellov demon, a predmnijevamo i zbog čega: zbog svoje ‘demonske uloge’ u kršenju Drugog zakona termodinamike! Naime, svojim odlukama koju će molekulu pustiti a koju ne, biće bi bilo u prilici izravno utjecati na rast entropije zatvorenog sustava; još gore, moglo bi, ako bi to htjelo, prouzročiti i one slučajeve u kojima bi se ukupni prirast entropije smanjivao! Svojim inteligentnim uvidom u to koja mu molekula plina pristiže (hladna ili topla) moglo bi namjerno prouzročiti smanjenje entropije cjelokupnog sustava, recimo, ako odluči na drugu stranu kutije puštati samo tople molekule plina. Ipak, u ovoj priči, nas ne zanima toliko kršenje Drugog zakona termodinamike koliko percepcija svijeta tog bića. Evidentno, da bi pustilo (na)dolazeću molekulu na drugu stranu kutije ono najprije mora znati o kakvoj je molekuli riječ (je li topla ili hladna), drugim riječima, mora se o tome informirati…

Međutim, kako informacijsku teoriju tumači Shannonov kolega W. Weaver, informacija se više tiče onoga što uopće o nečemu možemo reći nego što se u nekom trenutku o tome stvarno i reklo. Drugim riječima, za Shannona i Weavera manje je bitan proces saznavanja, važan je samo konačni broj molekula toplog i hladnog plina u kutiji, kao i njihov položaj (jesu li s ove strane pregrade kutije ili s one). Ako je vjerojatnost pojavljivanja tople i hladne molekule plina jednaka, entropija je najveća, a s njome i količina informacija koju demon percipira. Međutim, ako je ta vjerojatnost različita, recimo da se u dijelu kutije iz kojeg demonu nadolaze molekule nalazi topliji plin, onda je za očekivati da će mu daleko češće pristizati toplije molekule od hladnijih (prema Drugom zakonu termodinamike) što je, onda, prema Shannonu, manje informativno. Manju količinu informacija uzrokuje i obrnut slučaj, kada je vjerojatnost pojavljivanja toplih molekula plina mala, jer se u promatranom dijelu kutije nalazi hladnije molekule plina. Upravo, u toj spoznaji najveća je snaga i doprinos znanosti Shannonove teorije.

Međutim, mi se pitamo je li demon svjestan toga da je u desnom dijelu kutije plina više toplih nego hladnih molekula? On to ne može znati. Tek kad cijeli proces završi, kad se molekule toplog i hladnog plina ravnomjerno rasporede po kutiji, drugim riječima, kad se postigne stanje najveće entropije, on može zaključiti da je u samom prijenosu topline sudjelovala tolika i tolika količina informacija, manja ili veća, jer se plin kretao iz manje vjerojatnog stanja u stanje veće vjerojatnosti ili očekivano stanje. S druge strane, Shannon bi isti proces opisao riječima da su se molekule kretale iz stanja manje neizvjesnosti u stanje veće neizvjesnosti. Dakle, može li se zakonitost koja se odnosi na prijenos informacija dovesti u vezu sa zakonitošću koja vlada u prijenosu topline (i koju ‘propisuje’ Drugi zakon termodinamike)? Može – ali u obrnutom shvaćanju/značenju. Iako količinski jednake, entropija i količina informacija u nekom značenjskom smislu potpuno su suprotne. ‘Vjerojatnije’ i ‘neizvjesnije’ naprosto ne mogu imati isti smisao.

Sada se pokušajmo staviti u položaj demona koji upravlja pregradom kutije s plinom. Vrlo brzo ćemo biti primorani napustiti svijet statistike, predviđanja i porinuti natrag u stvarnost. Svaku molekulu koja nam dolazi u susret na osnovi njenog svojstva je li topla ili hladna propustit ćemo (ili nećemo) na drugu stranu. Što bi, dakle, bila informacija za demona koji upravlja pregradom kutije s plinom? Ovdje je važno uočiti da to pitanje više nema nikakve veze sa Shannonovom količinom informacija. Dakle, više ne pitamo nešto vezano uz ‘količinu informacija’, već uz samu informaciju i dolazimo do sljedećeg odgovora: informacija je sadržana u demonovoj percepciji odnosno procesu informiranja; ona je sama ‘supstanca’ njegove percepcije koja defacto postaje njegovo znanje o tome je li se radi o toploj ili hladnoj molekuli plina koja mu dolazi u susret.

Zbog toga B. Greene u svojoj definiciji entropije poseže za izrazom količine skrivenih informacija u sustavu. Kakvo god bilo mikroskopsko stanje sustava i kakva god bila vjerojatnost da će se ono ostvariti – ono sadrži i informaciju, skrivenu informaciju u smislu da entropiji, kao ni Shannonu, nije važan sadržaj te informacije, nego samo njena vjerojatnost pojavljivanja.

Pritom, uočimo da se entropija odnosi samo na prebrojavanje bilo kakvog (iznenadnog) događaja s molekulama u kutiji s plinom, a informacija na razlikovanje tog događaja u kvalitativnom smislu (npr. uočavanje nekog svojstva molekule plina, primjerice, je li topla ili hladna). Shannon je, dakle, svoju ‘teoriju informacija’ temeljio na postavci da se u oba slučaja radi o istom broju…

U slučaju povećanja entropije sustava, očevidno, na djelu je djelovanje jednog zakona u pozadini, Drugog zakona termodinamike. Povećanje entropije sustava izravna je posljedica kretanja molekula u stanje izjednačenih temperatura (tzv. toplinske smrti). Slijedom toga, L. Boltzman samo je pokazao ovisnost ukupne entropije nekog zatvorenog sustava o vjerojatnostima mikroskopskih stanja njegovih sastavnica. Međutim, što bi se, i ako bi, onda, nalazilo u pozadini informacijske teorije? Koji analogan proces? Prema nekom mojemu razmišljanju, to je proces stjecanja znanja o svijetu koji nas okružuje. Čovjek je biće koje teži iz stanja manjeg znanja ili neznanja prijeći u stanje većeg znanja ili najvećeg mogućeg znanja. Paradoks u čovjekovoj težnji, međutim, ogleda se u činjenici da ono što može znati, prisiljen je sâm prethodno definirati (tzv. ‘Shannonov skup mogućnosti’). „Čovjek je mjera svih stvari“, tu duboku istinu dokučili su još Stari Grci. Ako želi ovladati ‘kemijskim znanjem’ o svijetu koji ga okružuje, svijet mora najprije podijeliti na molekule, ako želi imati ‘fizikalno znanje’ o istom, mora ga podijeliti na atome, kvarkove, bozone i druge čestice itd. Po Shannonu, sva moguća stanja molekula i atoma predstavljali bi najsveobuhvatniji unaprijed definiran set mogućnosti iz kojeg bi bilo moguće odabrati i prenijeti, njima analognu, informaciju.

Uočimo, što se tiče kutije s plinom i zamisli Maxwellovog demona možda je manje evidentno, ali nikako nevažno za cijelu priču, da je njome određena najmanja jedinica koja će ulaziti u proračun kako entropije, tako i količine informacija, a to je molekula. U pokusu se zapravo promatra na koje sve načine jedna molekula plina može ‘izgenerirati’ informaciju; dakle, ne generira informaciju svijet kao takav, nego onaj dio svijeta koji smo prethodno ‘uobličili’ u nekakav entitet, u ovom primjeru – u molekulu. Pritom, ne smijemo zaboraviti da se s dovoljno moćnom tehnologijom možemo spustiti još dublje u mikrosvijet te entropiju i količinu informacija računati ‘preko’ atoma. Čovjek je, dakle, taj koji je prisiljen podvući crtu, ‘uobličiti dio stvarnosti’, stvoriti, uvjetno rečeno, podatkovni entitet, s kojim dalje može računati, i na koncu konaca, i uopće bilo što izračunati (prevesti u matematiku). On je taj koji određuje tzv. Shannonov skup mogućnosti (domenu) iz kojeg se generira neka funkcijski odgovarajuća, količina informacija (kodomena).

U pozadini informacijske teorije, dakle, stoji unaprijed definirani skup mogućnosti mikroskopskih stanja sastavnica sustava o kojemu ovisi količina generiranih informacija… Ne možemo izračunati količinu informacija, ako nismo definirali skup svih mogućnosti u kojima se sastavnice jednog sustava mogu naći (toplo-hladno je samo jedan set ukupnog skupa mogućnosti, položaj molekula može biti drugi itd.) Pritom, vrijednosti entropije sustava [S] i količine informacije [H] kao kvantitativne ostaju jednake. Međutim, demon koji se direktno informira i koji barata informacijama, ništa od toga ne može znati. Za njega je informacija ono što pristiže u njegov um. Na neki način, ovo razmatranje je neka vrst priloga daljnjem istraživanju koje bi zakonitostima koje vrijede za procese kodiranja i prijenosa informacija (i koje je postulirao Claude E. Shannon) trebalo pridodati zakonitosti koje bi vrijedile u postupku zaprimanja informacija svjesnog uma za potrebe uvećanja njegova znanja.

Sâm paradoks u pogledu Maxwellovog demona ogleda se u činjenici da se uplivom njegovih odluka o tome hoće li određenu molekulu pustiti u drugu stranu kutije ili ne dolazi do toga da se entropija ukupnog sustava ne mora povećavati, dapače, može se i smanjiti, a što onda nije u skladu s Drugim zakonom termodinamike. Na sreću, Leo Szilard još je davne 1929. pokazao da tomu ipak nije tako i da se entropija čitavog sustava povećava zbog energije koja je potrebna za funkcioniranje demonovog uma. Da biste uopće bili u stanju razlikovati molekulu koja vam dolazi u susret, morate biti živi, a ako ste živi morate sagorijevati kisik i dušik, drugim riječima, morate povećavati ukupnu entropiju svemira.