Informacinės entropijos sąvoka reiškia neigiamą reikšmės tikimybės masės funkcijos logaritmą. Taigi, kai duomenų š altinio reikšmė yra mažesnė (t. y. kai įvyksta įvykis su maža tikimybe), įvykis neša daugiau „informacijos“(„staigmena“) nei tada, kai š altinio duomenys turi didesnę tikimybę..
Kiekvienu tokiu būdu apibrėžtu įvykiu perduodamos informacijos kiekis tampa atsitiktiniu dydžiu, kurio numatoma reikšmė yra informacijos entropija. Paprastai entropija reiškia netvarką arba neapibrėžtumą, o informacijos teorijoje naudojamas jos apibrėžimas yra tiesiogiai analogiškas statistinei termodinamikai. IE sąvoką pristatė Claude'as Shannonas savo 1948 m. straipsnyje „A Mathematical Theory of Communication“. Iš čia kilo terminas „Šenono informacinė entropija“.
Apibrėžimas ir sistema
Pagrindinį duomenų perdavimo sistemos modelį sudaro trys elementai: duomenų š altinis, ryšio kanalas ir imtuvas,ir, kaip sako Shannon, „pagrindinė komunikacijos problema“yra ta, kad imtuvas galėtų nustatyti, kokius duomenis generavo š altinis, remdamasis signalu, kurį jis gauna per kanalą. Entropija suteikia absoliutų suspaustų š altinio duomenų trumpiausio vidutinio be nuostolių kodavimo ilgio apribojimą. Jei š altinio entropija yra mažesnė už ryšio kanalo pralaidumą, jo generuojami duomenys gali būti patikimai perduodami imtuvui (bent jau teoriškai, galbūt neatsižvelgiant į kai kuriuos praktinius aspektus, pvz., sistemos, reikalingos duomenims perduoti, sudėtingumą). ir laikas, kurio gali prireikti duomenims perduoti).
Informacijos entropija paprastai matuojama bitais (alternatyva vadinama „shannons“) arba kartais „natūraliais vienetais“(nats) arba dešimtainiais skaitmenimis (vadinama „ditais“, „banais“arba „hartliais“). Matavimo vienetas priklauso nuo logaritmo pagrindo, kuris naudojamas entropijai nustatyti.
Ypatybės ir logaritmas
Log tikimybių skirstinys yra naudingas kaip entropijos matas, nes jis yra adityvus nepriklausomiems š altiniams. Pavyzdžiui, monetos teisingo statymo entropija yra 1 bitas, o m tūrių entropija yra m bitų. Paprastame vaizdavime log2(n) bitai reikalingi, kad būtų pavaizduotas kintamasis, kuris gali įgyti vieną iš n reikšmių, jei n yra 2 laipsnis. Jei šios reikšmės yra vienodai tikėtinos, entropija (bitais) yra lygus tam skaičiui. Jei viena iš vertybių yra labiau tikėtina nei kitos, pastebėjimas, kad taip yraprasmė atsiranda, yra mažiau informatyvus nei tuo atveju, jei būtų gautas koks nors ne toks bendras rezultatas. Ir atvirkščiai, retesni įvykiai suteikia papildomos stebėjimo informacijos.
Kadangi mažiau tikėtini įvykiai stebimi rečiau, nėra nieko bendro, kad entropija (laikoma vidutine informacija), gaunama iš netolygiai paskirstytų duomenų, visada yra mažesnė arba lygi log2(n). Entropija yra lygi nuliui, kai apibrėžiamas vienas rezultatas.
Šenono informacijos entropija kiekybiškai įvertina šiuos svarstymus, kai žinomas pagrindinių duomenų tikimybių pasiskirstymas. Stebimų įvykių reikšmė (pranešimų reikšmė) entropijos apibrėžime nėra svarbi. Pastarasis atsižvelgia tik į tikimybę pamatyti tam tikrą įvykį, todėl jame pateikiama informacija yra duomenys apie pagrindinių galimybių pasiskirstymą, o ne apie pačių įvykių prasmę. Informacijos entropijos savybės išlieka tokios pačios, kaip aprašyta aukščiau.
Informacijos teorija
Pagrindinė informacijos teorijos idėja yra ta, kad kuo daugiau žmogus žino apie temą, tuo mažiau informacijos apie ją galima gauti. Jei įvykis labai tikėtinas, nenuostabu, kada jis įvyksta, todėl suteikia mažai naujos informacijos. Ir atvirkščiai, jei įvykis buvo neįtikėtinas, tai buvo daug informatyviau, kad įvykis įvyko. Todėl naudingoji apkrova yra didėjanti atvirkštinės įvykio tikimybės funkcija (1 / p).
Dabar, jei atsitiks daugiau įvykių, entropijamatuoja vidutinį informacijos turinį, kurio galite tikėtis įvykus vienam iš įvykių. Tai reiškia, kad metant kauliuką entropija yra didesnė nei metant monetą, nes kiekvieno kristalo rezultato tikimybė yra mažesnė nei kiekvienos monetos.
Funkcijos
Taigi, entropija yra būsenos nenuspėjamumo matas arba, kas yra tas pats, jos vidutinis informacijos kiekis. Norėdami intuityviai suprasti šiuos terminus, apsvarstykite politinės apklausos pavyzdį. Paprastai tokios apklausos vyksta todėl, kad, pavyzdžiui, rinkimų rezultatai dar nėra žinomi.
Kitaip tariant, apklausos rezultatai yra gana nenuspėjami, o iš tikrųjų ją atliekant ir nagrinėjant duomenis gaunama šiek tiek naujos informacijos; tai tik skirtingi būdai pasakyti, kad išankstinė apklausos rezultatų entropija yra didelė.
Dabar apsvarstykite atvejį, kai ta pati apklausa atliekama antrą kartą netrukus po pirmosios. Kadangi pirmosios apklausos rezultatas jau žinomas, antrojo tyrimo rezultatus galima gerai nuspėti ir rezultatuose neturėtų būti daug naujos informacijos; šiuo atveju antrojo apklausos rezultato a priori entropija yra maža, palyginti su pirmuoju.
Monetų metimas
Dabar apsvarstykite monetos metimo pavyzdį. Darant prielaidą, kad uodegų tikimybė yra tokia pati kaip galvų tikimybė, monetos metimo entropija yra labai didelė, nes tai yra savotiškas sistemos informacinės entropijos pavyzdys.
Taip yra todėlkad neįmanoma nuspėti, kad monetos rezultatas bus išmestas anksčiau laiko: jei turime pasirinkti, geriausia, ką galime padaryti, tai numatyti, kad moneta atsidurs ant uodegos, ir ši prognozė bus teisinga su tikimybe 1/2. Toks monetos metimas turi vieno bito entropiją, nes yra du galimi rezultatai, kurie įvyksta su vienoda tikimybe, o tiriant tikrąjį rezultatą yra vienas informacijos bitas.
Priešingai, monetos vartymas abiejose pusėse su uodegomis ir be galvų neturi nulinės entropijos, nes moneta visada atsidurs ant šio ženklo ir rezultatą galima puikiai nuspėti.
Išvada
Jei glaudinimo schema yra be nuostolių, tai reiškia, kad visada galite atkurti visą pradinį pranešimą išsklaidydami, tada suspaustame pranešime yra toks pat informacijos kiekis kaip ir originale, bet jis perduodamas mažiau simbolių. Tai reiškia, kad jis turi daugiau informacijos arba didesnę entropiją vienam simboliui. Tai reiškia, kad suglaudintas pranešimas turi mažiau dubliavimo.
Grubiai kalbant, Šenono š altinio kodo kodavimo teorema teigia, kad be nuostolių suglaudinimo schema negali sumažinti pranešimų vidutiniškai taip, kad viename pranešimo bite būtų daugiau nei vienas informacijos bitas, tačiau galima pasiekti bet kokią reikšmę, mažesnę nei vienas informacijos bitas bite.. pranešimus naudojant atitinkamą kodavimo schemą. Pranešimo entropija bitais padauginta iš jo ilgio yra matas, kiek jame yra bendros informacijos.
