Matematičko-statistička teorija informacije (Matematička teorija komunikacije C. E. Shannona): uvod

CLAUDE E. SHANNON: The mathemtical theory of communication (1948)

Koliko nas, koji dolazimo izvan prirodnih i tehničkih znanosti a koji danas pišemo o informaciji nastojeći proniknuti u njenu prirodu, razumijemo Shannonov u načelu matematički rad? Vjerujem da nas je vrlo malo. Ako smo u tome i umješni poput Paula Cantora (Cantor 2009), teško da bi se složili s postavkom kako nam jednadžbe prijenosa diskretnih i kontinuiranih signala mogu pomoći da dođemo do široko prihvaćenje definicije informacijskog fenomena u svim područjima znanosti. Većina profesora iz informacijskih znanosti ipak Shannonov rad navode u literaturi uz bitnu opasku – samo Uvod, odnosno od 31 do 35 str. rada. Zašto? Zato što pretpostavljaju da se nakon famozne 35. stranice nalazi štivo isključivo za inženjere telekomunikacija, a ne informacijske stručnjake… Ali zašto u svoje nastavno gradivo uopće uključuju i prve četiri stranice rada? Zato što je u njima predstavljen komunikacijski model koji je predložen da bude validan model za sve komunikacijske situacije, između ostalih i one u informacijskim ustanovama poput knjižnica, muzeja, arhiva…

Inicijalnu ‘informacijsku teoriju’ ili ‘teoriju informacija’ mnogi istraživači prepoznaju u radu matematičara Clauda Elwooda Shannona naziva A mathematical theory of communication koji datira davne 1948 (Shannon 1948). Međutim, dok je pisao svoj rad, Shannon nije mislio da stvara teoriju informacije. Zabavljen problemima optimalnog prijenosa signala između dvije točke telekomunikacijskog voda, dakle, baveći se izričito problemom komunikacije što je ostavilo traga i na naslovu njegova rada, ni na kraj mu pameti nije bilo stvoriti univerzalni obrazac po kojemu se primaju i odašilju informacije. Pojam informacije rabio je u svom uskom, inženjerskom kontekstu [Proces stjecanja znanja kao problem informacijskih znanosti, Bosančić, 2016].

Uključivši u postojeću Hartleyevu teoriju (Hartley 1928) nekoliko novih čimbenika, a ponajprije se to odnosi na efekt šuma u kanalu, kao i mogućnost uštede u prijenosu količine informacija zbog statističke strukture originalne poruke i prirode krajnjeg odredišta informacije Shannon je napisao:

Osnovni komunikacijski problem svodi se na točno reproduciranje odabrane poruke odaslane s jednoga na drugo mjesto [u prostoru]. Uobičajeno, poruka ima značenje; to ujedno znači da je poruka [uvijek] u nekom odnosu ili pak da upućuje na sustav s odgovarajućim fizičkim ili konceptualnim entitetima. [Međutim], navedeni semantički aspekti su irelevantni za inženjerski problem. Značajno je [jedino] to što je aktualna poruka jedna iz skupa mogućih poruka. Sustav mora biti  konstruiran tako da može operirati sa svakim mogućim odabirom… Ako je broj poruka u skupu konačan, onda se taj broj… može smatrati mjerom informacije koja je proizvedena u trenu kad je iz skupa s jednakom vjerojatnošću odabira odabrana jedna poruka. Kao što je istakao Hartley, najprirodniji izbor [za opis ovog procesa] je logaritamska funkcija. [The mathematical theory of communication, Introduction, Shannon & Weaver, 31-35.]

Odabir logaritamske baze korespondira s odabirom jedinice za mjerenje količine informacija. Ako se rabi logaritamska baza 2 onda se rezultirajuća jedinica može nazvati binarni digits ili kraće bits, riječ koju je Shannonu sugerirao J. W. Tukey.

Na osnovi iznesenoga, može se zaključiti da je matematička komunikacijska teorija C. E. Shannona posredno dovela do jednog važnog pitanja: ako se količina informacija s jednog uređaja na drugi prenosi prema određenim matematičkim pravilnostima, mogu li se te pravilnosti poopćiti i vrijediti za bilo koju situaciju slanja informacije, pa čak i onu u kojoj je čovjek pošiljatelj i/ili primatelj informacije?

[Shannonov] kolega Warren Weaver nagovorio ga je da vlastiti okvir usmjeren na rješavanje inženjerskih problema proširi na ostala područja. Sâm se potrudio napisati poseban članak u kojem je predložio da se Shannonov komunikacijski model, namijenjen telekomunikacijskim inženjerima, može promatrati kao opći komunikacijski model prijenosa informacija (Shannon and Weaver, 1963/49). Možda bi ovakva interpretacija Shannonove teorije stekla više pobornika da se u cijelu priču nije upetljalo značenje, na neki način ‘pojmovna svojina’ istraživača iz društvenih i humanističkih znanosti. Naime, u Shannonovoj teoriji značenje nije igralo nikakvu ulogu. Štoviše, sâm Shannon je naglasio da je irelevantno za cijelu priču (Shannon i Weaver 1963/49). Mogućnost da se jedna teorija informacija utemelji na nečemu što nije uključivalo značenje odmah je pobudilo sumnju istraživača iz društvenih i humanističkih znanosti. Mnogi od njih bili su uvjereni da je Weaver bio u krivu; velika većina je to i danas [Proces stjecanja znanja kao problem informacijskih znanosti, Bosančić, 2016].

Pod komunikacijskim sustavom, napisao je Shannon, mislimo na sustav predstavljen na Slici 1. On se sastoji od pet dijelova:

1. Informacijskog izvora koji proizvodi poruke ili nizove poruka… Poruke mogu biti različite vrste: niz slova kao u telegrafiji, … intenzitet svjetlosti u [proizvoljnoj] točki (x,y)…
   Odašiljača (engl. transmitter) koji pretvara poruku u signal pogodan za prijenos kroz kanal… [Na primjer] u telegrafiji postoji operacija enkodiranja poruka u točke, crte i praznine…
   3. Kanala koji predstavlja medij za prijenos poruke… Može biti riječ o paru žica, koaksijalnom kablu… ili snopu svjetlosti itd. Za vrijeme prijenosa signal može biti ometen (deformiran) šumom (engl. noise).
   4. Primatelja koji uobičajeno obavlja inverznu operaciju u odnosu na odašiljača poruke, rekonstruiranje poruke iz signala.
   5. Odredište [poruke] je osoba (ili stvar) kojima je poruka bila namijenjena.
   [The mathematical theory of communication, Introduction, Shannon & Weaver, 31-35.]

 

Slika 1 – Shematski dijagram općeg komunikacijskog sustava.

Možemo [sada] izvršiti grubu podjelu komunikacijskih sustava na… diskretne, kontunuirane (engl. continuous) i kombinirane (engl. mixed). Diskretni sustav je takav sustav u kojemu su i poruka i signal predstavljeni sekvencom, nizom diskretnih simbola. Tipičan primjer nalazimo u telegrafiji gdje je poruka predstavljena nizom slova, a signal nizom točaka, crtica i praznina koji reprezentiraju ta slova.

Razvoj informacijske teorije na tragu rada C. E. Shannona danas se odvija pod kapom IEEE Information Theory Society, zasebne IEEE zajednice posvećene viziji razvoja „the mathematical underpinnings of information technology for the benefit of humanity“. Područja interesa IEEE ITS-a obuhvaćaju procesuiranje, transmisiju, pohranu i korištenje informacija i tiču se zapravo šireg područja općenito kodiranja informacija, a to znači onih komponenti komunikacijskog modela koji se odnose na procese kodiranja, prijenosa i dekodiranja signala. IEEE ITS, baš kao i C. E. Shannon, davne 1948., pitanje značenja kodiranih, prenesenih i dekodiranih informacija ne smatra predmetom svoga istraživanja. Pa ipak, premda se pitanje značenja prenesene poruke čini irelevantnim u Shannonovoj teoriji s obzirom na činjenicu da jedan signal (i doslovno jedna jedinica ili nula) mogu značiti da se kanalom prenosi cijela Biblija ili samo jedno obično ‘DA’, neki su istraživači primijetili da se ne može tako lako zaobići barem pitanje značenja kodirane informacije.

LITERATURA

1. Bosančić, B. (2016), Proces stjecanja znanja kao problem informacijskih znanosti, Libellarium, Vol. 9 No. 1, 31-58.
2. Cantor, P. (2009), “Information theory”, in Bates, M.J. and Maack, M.N. (Eds.), 3rd ed., Encyclopedia of Librarian and Information Sciences, CRC Press, pp. 2717-2726.
3. Hartley, R.V.L. (1928), “Transmission of information”, Bell System Technical Journal, Vol. 7, pp. 335-363.
4. Shannon, C. E., and Weaver, W. (1964), The mathematical theory of communication, University of Illinois Press, Urbana.