 Энтропия - это абсолютная мера количества, информации в каждом знаке, букве, цифре источника сообщения: Н - [бит/знак].
Если знаки источника сообщения появляются на его выходе равновероятно и независимо друг от друга, то энтропия максимальна и определяется по формуле H=log2N, где N - количество знаков, букв, цифр на выходе источника.
Подведя черту, можно сказать, что если N растёт или стремится к бесконечности (например, из-за увеличения разрядности элемента, повышения сложности механизма), то растёт и энтропия H!
В философском смысле ещё проще: чем больше человек узнаёт, тем больше вопросов у него появляется, и тем меньше он в итоге знает ответов, чем знал до этого...
Советуем почитать:
|
