Enige rekenaarlêer bestaan uit grepe. 'N Byte kan waardes van 0 tot 255 neem. Inligtingsentropie is 'n statistiese parameter wat die waarskynlikheid van die voorkoms van sekere grepe in 'n lêer toon.
U kan die mate van entropie visueel bepaal met behulp van 'n histogram - die verdeling van die waarskynlikheid dat dieselfde grepe in 'n lêer herhaal word. Vanuit die entropie van die lêer kan ons raai watter tipe lêer voor ons is, aangesien ons slegs die histogram daarvan sien.
Kom ons neem drie lêers van verskillende soorte vir demonstrasie en vergelyk hul histogramme. Laat die eerste 'n tekslêer (*. TXT) wees. Die histogram daarvan word in die figuur getoon:
Die tekslêer bevat slegs teks. Elke karakter van die teks word met sekere grepe gekodeer volgens die koderingstabel. Alhoewel daar 'n groot aantal koderingstipes is, is dit vanselfsprekend dat daar 'n beperkte aantal alfanumeriese karakters is, wat gewoonlik minder as 255 is. Daarom is slegs sommige gebiede in die eerste histogram beset, en sommige bytes is glad nie.
Die volgende lêer is in PDF-formaat:
Hierdie lêer bevat alle moontlike grepe, aangesien PDF anders as tekslêers gekodeer is. Dit stoor baie diensinligting: opmaak, lettertipes, beelde, ens. Maar die histogram daarvan toon dat sommige bytes ongeveer dieselfde waarskynlikheid het, terwyl ander - baie meer gereeld as ander. Vandaar die veelvuldige skerp sarsies op die histogram, en in die algemeen het dit 'n taamlike "ragged" voorkoms, hoewel dit die totale beskikbare breedte beslaan.
En die laaste lêer is in 7Z-formaat toegerus:
Hierdie histogram het twee hoofkenmerke: eerstens word alle grepe in die toegeruste lêer met min of meer gelyke waarskynlikheid ('n redelike plat boonste rand) gevind, en tweedens is daar feitlik geen vrye ruimte bokant die histogram nie, wat 'n byna volledige afwesigheid aandui van oortolligheid so 'n lêer. Daarom kan ons tot die gevolgtrekking kom dat die argiefalgoritme op 'n spesiale manier die grepe van die lêer "meng" om hul maksimum eenvormige verspreiding te bereik.
Dus, entropie in rekenaarwetenskap, soos in fisika, is 'n maatstaf vir die wanorde in die stelsel, in hierdie geval die wanorde in die verspreiding van grepe in die lêer. Met Entropy kan u die mate van kompressie van die lêer beoordeel en - indirek - oor die soort.
