Symbole d'entropie. Théorie de l'information

que signifie le terme « entropie » en termes de théorie de l'information ? et j'ai la meilleure réponse

Réponse de MarZ [gourou]
L'entropie de l'information, telle que définie par Shannon et ajoutée par d'autres physiciens, est étroitement liée au concept d'entropie thermodynamique. Il s'agit d'une valeur qui désigne une quantité d'informations irréductible (incompressible), le contenu d'un système donné (généralement - dans un signal reçu).
En théorie de l'information
L'entropie en mécanique statistique est étroitement liée à l'entropie de l'information - une mesure de l'incertitude des messages, qui est décrite par l'ensemble de symboles x_1, ldots, x_n et les probabilités p_1, ldots, p_n de l'apparition de ces symboles dans le message. En théorie de l'information, l'entropie d'un message avec une distribution de probabilité discrète est la quantité
Sn = - PkInPk,
k
Où
Pk = 1.
k
L'entropie de l'information est nulle lorsque toute probabilité est égale à un (et les autres sont nulles), c'est-à-dire lorsque l'information est complètement prévisible et n'apporte rien de nouveau au récepteur. L'entropie prend la plus grande valeur pour une distribution équiprobable, lorsque toutes les probabilités pk sont les mêmes ; c'est-à-dire lorsque l'incertitude permise par le message est à son maximum. L'entropie de l'information possède également toutes les propriétés mathématiques que possède l'entropie thermodynamique. Par exemple, il est additif : l'entropie de plusieurs messages est égale à la somme des entropies de messages individuels.
Source : http://www.wikiznanie.ru/ru-wz/index.php/РнтропиС

Réponse de Alexandre Zonov[gourou]
Tout comme en thermodynamique, l'entropie est une mesure du désordre d'un système.

Réponse de . [actif]
L'entropie (informationnelle) est une mesure du caractère aléatoire de l'information, l'incertitude de l'apparition de tout symbole de l'alphabet primaire. En l'absence de pertes d'informations, il est numériquement égal à la quantité d'informations par symbole du message transmis.

Réponse de 3 réponses[gourou]

Hey! Voici une sélection de sujets avec des réponses à votre question : que signifie le terme « entropie » en termes de théorie de l'information ?

Information et entropie

En discutant du concept d'information, il est impossible de ne pas aborder un autre concept connexe - l'entropie. Pour la première fois, les concepts d'entropie et d'information sont liés par K. Shannon.

Claude Elwood Shannon ( Claude Elwood Shannon), 1916-2001 - un parent éloigné de Thomas Edison, un ingénieur et mathématicien américain, était un employé des Laboratoires Bell de 1941 à 1972. Dans son ouvrage "Mathematical Communication Theory" (http://cm.bell-labs.com /cm/ms / what / shannonday /), publié en 1948, définissait pour la première fois la mesure du contenu informationnel de tout message et le concept d'un quantum d'information - un peu. Ces idées ont formé la base de la théorie de la communication numérique moderne. L'autre ouvrage de Shannon, Communication Theory of Secrecy Systems, publié en 1949, a contribué à transformer la cryptographie en une discipline scientifique. Il est le fondateur théorie de l'information, qui a trouvé une application dans les systèmes de communication modernes de haute technologie. Shannon a apporté une énorme contribution à la théorie des schémas probabilistes, à la théorie des automates et à la théorie des systèmes de contrôle - sciences, unies par le concept de "cybernétique".

Définition physique de l'entropie

Le concept d'entropie a été introduit pour la première fois par Clausius en 1865 en fonction de l'état thermodynamique du système.

où Q est la chaleur, T est la température.

La signification physique de l'entropie apparaît comme une partie de l'énergie interne du système, qui ne peut pas être transformée en travail. Clausius a obtenu cette fonction de manière empirique en expérimentant avec des gaz.

L. Boltzmann (1872) par des méthodes de physique statistique dérivé l'expression théorique de l'entropie

où K est une constante ; W est la probabilité thermodynamique (le nombre de permutations de molécules de gaz parfait qui n'affecte pas le macroétat du système).

L'entropie de Boltzmann est dérivée pour un gaz parfait et est interprétée comme une mesure du désordre, une mesure du chaos du système. Pour un gaz parfait, les entropies de Boltzmann et Clausius sont identiques. La formule de Boltzmann est devenue si célèbre qu'elle a été inscrite comme épitaphe sur sa tombe. On pense que l'entropie et le chaos sont une seule et même chose. Malgré le fait que l'entropie ne décrit que les gaz parfaits, elle a commencé à être utilisée sans esprit critique pour décrire des objets plus complexes.

Boltzmann lui-même en 1886. essayé d'expliquer à l'aide de l'entropie ce qu'est la vie. Selon Boltzmann, la vie est un phénomène qui peut réduire son entropie. Selon Boltzmann et ses disciples, tous les processus de l'Univers changent dans le sens du chaos. L'univers se dirige vers la mort thermique. Cette sombre prévision a longtemps dominé la science. Cependant, l'approfondissement des connaissances sur le monde qui nous entoure a progressivement fait voler en éclats ce dogme.

Les classiques n'associaient pas l'entropie à l'information.

L'entropie comme mesure de l'information

Notez que le concept d'« information » est souvent interprété comme « information », et le transfert d'information s'effectue à l'aide de la communication. K. Shannon considérait l'entropie comme une mesure d'informations utiles dans les processus de transmission de signaux sur des fils.

Pour calculer l'entropie, Shannon a proposé une équation qui ressemble à l'expression classique de l'entropie trouvée par Boltzmann. Un événement aléatoire indépendant est considéré X avec N états possibles et p i est la probabilité du ième état. Alors l'entropie de l'événement X

Cette quantité est aussi appelée entropie moyenne. Par exemple, on peut parler de la transmission d'un message en langage naturel. Lors de la transmission de lettres différentes, nous transmettons une quantité différente d'informations. La quantité d'informations par lettre est liée à la fréquence d'utilisation de cette lettre dans tous les messages générés dans la langue. Plus une lettre que nous transmettons est rare, plus elle contient d'informations.

La quantité

H i = P i log 2 1 / P i = ‑P i log 2 P i,

est appelée l'entropie privée, qui ne caractérise que le i-ième état.

Expliquons avec des exemples... Lorsqu'une pièce est lancée, qu'elle tombe à pile ou face, il s'agit d'une certaine information sur les résultats du lancer.

Pour une pièce, le nombre de possibilités équiprobables est N = 2. La probabilité d'obtenir face (pile) est de 1/2.

En lançant les dés, nous obtenons des informations sur la chute d'un certain nombre de points (par exemple, trois). Quand avons-nous plus d'informations ?

Pour un dé, le nombre de possibilités également probables est N = 6. La probabilité d'obtenir trois points de dés est de 1/6. L'entropie est de 2,58. La réalisation de l'événement le moins probable fournit plus d'informations. Plus l'incertitude est grande avant de recevoir un message sur un événement (lancer une pièce, des dés), plus d'informations sont reçues lors de la réception d'un message.

Cette approche de l'expression quantitative de l'information est loin d'être universelle, car les unités adoptées ne prennent pas en compte des propriétés aussi importantes de l'information que sa valeur et sa signification. Faire abstraction des propriétés spécifiques de l'information (c'est-à-dire sa valeur) sur des objets réels, comme il s'est avéré plus tard, a permis d'identifier des modèles généraux d'information. Les unités (bits) proposées par Shannon pour mesurer la quantité d'informations sont adaptées pour évaluer n'importe quel message (la naissance d'un fils, les résultats d'un match de sport, etc.). À l'avenir, des tentatives ont été faites pour trouver de telles mesures de la quantité d'informations qui tiendraient compte de sa valeur et de sa signification. Cependant, l'universalité a été immédiatement perdue : pour des processus différents, les critères de valeur et de sens sont différents. De plus, les définitions du sens et de la valeur de l'information sont subjectives, et la mesure de l'information proposée par Shannon est objective. Par exemple, une odeur contient une énorme quantité d'informations pour un animal, mais est insaisissable pour une personne. L'oreille humaine ne perçoit pas les signaux ultrasonores, mais ils sont porteurs de beaucoup d'informations pour le dauphin, etc. Par conséquent, la mesure d'informations proposée par Shannon est adaptée à l'étude de tous types de processus d'information, quels que soient les "goûts" de l'information consommateur.

Informations de mesure

Depuis le cours de physique, vous savez qu'avant de mesurer la valeur d'une grandeur physique, vous devez entrer l'unité de mesure. L'information a aussi une telle unité - un peu, mais sa signification est différente selon les différentes approches de la définition du concept d'"information".

Il existe plusieurs approches différentes du problème de la mesure de l'information.

Entropie (théorie de l'information)

Entropie (informative)- une mesure du caractère aléatoire de l'information, l'incertitude de l'apparition de tout symbole de l'alphabet primaire. En l'absence de pertes d'informations, il est numériquement égal à la quantité d'informations par symbole du message transmis.

Par exemple, dans une séquence de lettres qui composent n'importe quelle phrase en russe, différentes lettres apparaissent avec des fréquences différentes, de sorte que l'incertitude d'apparence pour certaines lettres est moindre que pour d'autres. Si l'on tient compte du fait que certaines combinaisons de lettres (dans ce cas, elles parlent d'entropie m-ème ordre, voir) sont très rares, alors l'incertitude est encore réduite.

Pour illustrer le concept d'entropie de l'information, vous pouvez également utiliser l'exemple du domaine de l'entropie thermodynamique, appelé le démon de Maxwell. Les concepts d'information et d'entropie ont des liens étroits les uns avec les autres, mais malgré cela, le développement des théories de la mécanique statistique et de la théorie de l'information a pris de nombreuses années pour les rendre cohérentes.

Définitions formelles

Définir avec vos propres informations

Il est également possible de déterminer l'entropie d'une variable aléatoire en introduisant d'abord le concept de la distribution d'une variable aléatoire X avec un nombre fini de valeurs : je(X) = - journal P X (X). Alors l'entropie sera définie comme : L'unité de mesure de l'information et de l'entropie dépend de la base du logarithme : bit, nat ou hartley.

Entropie de l'information pour les événements aléatoires indépendants X de métats possibles (de 1 à m) est calculé par la formule :

Cette quantité est aussi appelée entropie moyenne du message... La quantité est appelée entropie privée caractérisant seulement je-domaine.

Ainsi, l'entropie de l'événement X est la somme de signe opposé de tous les produits des fréquences relatives d'occurrence de l'événement je multiplié par leurs logarithmes binaires (la base 2 n'a été choisie que pour la commodité de travailler avec des informations présentées sous forme binaire). Cette définition des événements aléatoires discrets peut être étendue à la fonction de distribution de probabilité.

En général b-aire entropie(Où b est égal à 2, 3, ...) une source avec l'alphabet d'origine et une distribution de probabilité discrète où p je est une probabilité une je (p je = p(une je) ) est déterminé par la formule :

La définition de l'entropie de Shannon est liée au concept d'entropie thermodynamique. Boltzmann et Gibbs ont fait de nombreux travaux en thermodynamique statistique qui ont contribué à l'adoption du mot « entropie » en théorie de l'information. Il existe un lien entre la thermodynamique et l'entropie informationnelle. Par exemple, le démon de Maxwell s'oppose également à l'entropie thermodynamique de l'information, et la réception de toute quantité d'information est égale à l'entropie perdue.

Définition alternative

Une autre façon de définir la fonction d'entropie H est la preuve que H est défini de manière unique (comme indiqué précédemment) si et seulement si H remplit les conditions :

Propriétés

Il est important de se rappeler que l'entropie est une quantité définie dans le contexte d'un modèle probabiliste pour une source de données. Par exemple, un tirage au sort a une entropie de 2 (0,5log 2 0,5) = 1 bit par tirage au sort (en supposant qu'il soit indépendant). Une source qui génère une chaîne composée uniquement des lettres "A" a une entropie nulle : ... Ainsi, par exemple, empiriquement, il peut être établi que l'entropie du texte anglais est de 1,5 bits par caractère, ce qui bien sûr variera pour différents textes. Le degré d'entropie d'une source de données désigne le nombre moyen de bits par élément de données nécessaires pour la chiffrer sans perte d'information, avec un encodage optimal.

1. Certains bits de données peuvent ne pas transporter d'informations. Par exemple, les structures de données stockent souvent des informations redondantes ou ont des sections identiques quelles que soient les informations contenues dans la structure de données.
2. La quantité d'entropie n'est pas toujours exprimée en nombre entier de bits.

Propriétés mathématiques

Efficacité

L'alphabet original rencontré en pratique a une distribution de probabilités qui est loin d'être optimale. Si l'alphabet d'origine avait m symboles, alors il peut être comparé à "l'alphabet optimisé", dont la distribution de probabilité est uniforme. Le rapport de l'entropie de l'original à l'alphabet optimisé est l'efficacité de l'alphabet d'origine, qui peut être exprimée en pourcentage.

Il s'ensuit que l'efficacité de l'alphabet originel avec m les symboles peuvent être définis simplement comme égaux à lui m-aire entropie.

L'entropie limite la compression maximale sans perte (ou presque sans perte) qui peut être obtenue en utilisant un ensemble théorique - typique ou, en pratique - un codage de Huffman, un codage de Lempel-Ziv-Welch ou un codage arithmétique.

Variations et généralisations

Entropie conditionnelle

Si les caractères suivants de l'alphabet ne sont pas indépendants (par exemple, en français, après la lettre "q" est presque toujours suivi de "u", et après le mot "leader" dans les journaux soviétiques généralement suivi du mot "production" ou "travail"), la quantité d'informations qui porte la séquence de tels symboles (et donc l'entropie) est évidemment plus petite. Pour expliquer de tels faits, l'entropie conditionnelle est utilisée.

L'entropie conditionnelle du premier ordre (de même pour le modèle de Markov du premier ordre) est l'entropie de l'alphabet, où les probabilités d'apparition d'une lettre après l'autre (c'est-à-dire les probabilités de combinaisons de deux lettres) sont connues :

Où je est un état dépendant du caractère précédent, et p je (j) est la probabilité j, à condition que jeétait le caractère précédent.

Donc, pour la langue russe sans la lettre "".

Les entropies conditionnelles partielles et générales sont utilisées pour décrire complètement les pertes d'informations lors de la transmission de données dans un canal bruité. Pour cela, le soi-disant matrices de canaux... Ainsi, pour décrire la perte de la source (c'est-à-dire que le signal envoyé est connu), considérons la probabilité conditionnelle de recevoir un symbole par le récepteur b jà condition que le symbole ait été envoyé une je... Dans ce cas, la matrice de canal a la forme suivante :

	b 1	b 2	…	b j	…	b m
une 1			…		…
une 2			…		…
…	…	…	…	…	…	…
une je			…		…
…	…	…	…	…	…	…
une m			…		…

Évidemment, les probabilités situées sur la diagonale décrivent la probabilité de réception correcte, et la somme de tous les éléments de la colonne donnera la probabilité d'apparition du symbole correspondant du côté récepteur - p(b j) ... Perte par signal transmis une je, sont décrits par l'entropie conditionnelle partielle :

L'entropie conditionnelle totale est utilisée pour calculer la perte de transmission pour tous les signaux :

Cela signifie l'entropie du côté source, de la même manière, elle est considérée - l'entropie du côté récepteur: au lieu de partout où elle est indiquée (en résumant les éléments de la chaîne, vous pouvez obtenir p(une je) , et les éléments de la diagonale signifient la probabilité qu'exactement le symbole qui a été reçu a été envoyé, c'est-à-dire la probabilité d'une transmission correcte).

Entropie mutuelle

Entropie mutuelle, ou entropie d'union, est destiné au calcul de l'entropie des systèmes interconnectés (entropie de l'apparition conjointe de messages statistiquement dépendants) et est noté H(UNEB), où UNE, comme toujours, caractérise l'émetteur, et B- le récepteur.

La relation entre les signaux émis et reçus est décrite par les probabilités d'événements communs p(une je b j) , et une seule matrice est requise pour une description complète des caractéristiques du canal :

p(une 1 b 1)	p(une 1 b 2)	…	p(une 1 b j)	…	p(une 1 b m)
p(une 2 b 1)	p(une 2 b 2)	…	p(une 2 b j)	…	p(une 2 b m)
…	…	…	…	…	…
p(une je b 1)	p(une je b 2)	…	p(une je b j)	…	p(une je b m)
…	…	…	…	…	…
p(une m b 1)	p(une m b 2)	…	p(une m b j)	…	p(une m b m)

Pour un cas plus général, lorsqu'on ne décrit pas un canal, mais simplement des systèmes en interaction, la matrice n'a pas besoin d'être carrée. Évidemment, la somme de tous les éléments de la colonne numérotée j va donner p(b j) , la somme de la ligne avec le nombre je il y a p(une je) , et la somme de tous les éléments de la matrice est égale à 1. La probabilité conjointe p(une je b j) événements une je et b j calculé comme le produit des probabilités initiales et conditionnelles,

Les probabilités conditionnelles sont produites à l'aide de la formule de Bayes. Ainsi, il y a toutes les données pour calculer les entropies de la source et du récepteur :

L'entropie mutuelle est calculée par sommation séquentielle de lignes (ou de colonnes) de toutes les probabilités matricielles multipliées par leur logarithme :

H(UNEB) = −	∑	∑	p(une je b j) Journal p(une je b j).
	je	j

L'unité de mesure est le bit / deux caractères, cela s'explique par le fait que l'entropie mutuelle décrit l'incertitude pour une paire de caractères - envoyée et reçue. Par de simples transformations on obtient aussi

L'entropie mutuelle a la propriété exhaustivité des informations- à partir de là, vous pouvez obtenir toutes les valeurs considérées.

Histoire

Remarques (modifier)

voir également

Liens

• Claude E. Shannon. Une théorie mathématique de la communication
• S.M. Korotaev.

Entropie de l'information- une mesure de l'incertitude ou de l'imprévisibilité d'un certain système (en physique statistique ou en théorie de l'information), en particulier, l'incertitude de l'apparition de tout symbole de l'alphabet primaire. Dans ce dernier cas, en l'absence de pertes d'informations, l'entropie est numériquement égale à la quantité d'informations par symbole du message transmis.

Par exemple, dans une séquence de lettres qui composent n'importe quelle phrase en russe, différentes lettres apparaissent avec des fréquences différentes, de sorte que l'incertitude d'apparence pour certaines lettres est moindre que pour d'autres. Si l'on tient compte du fait que certaines combinaisons de lettres (dans ce cas, elles parlent d'entropie n (\ style d'affichage n)-ème ordre, voir) sont très rares, alors l'incertitude diminue encore plus.

Le concept d'entropie de l'information peut être illustré à l'aide du démon de Maxwell. Les concepts d'information et d'entropie ont des liens profonds les uns avec les autres [ quel genre?], mais malgré cela, le développement des théories en mécanique statistique et en théorie de l'information a pris de nombreuses années pour les rendre cohérentes les unes avec les autres [ ] .

Entropie est la quantité d'informations par message élémentaire de la source générant des messages statistiquement indépendants.

YouTube collégial

1 / 5

Notion d'entropie

Qu'est-ce que l'entropie ?

Entropie de l'information

✪ L'entropie et la deuxième loi de la thermodynamique (vidéo 3) | Énergie | La biologie

Qu'est-ce que l'entropie ? Jeff Phillips # TED-Ed

Les sous-titres

Nous avons donc donné deux définitions de l'entropie en tant que variable d'état. L'entropie est désignée par la lettre S. Selon la définition thermodynamique, les changements d'entropie sont égaux à la chaleur ajoutée divisée par la température à laquelle cette chaleur est ajoutée. Cela dit, si la température change au fur et à mesure que de la chaleur est ajoutée (ce qui se produit généralement), nous devons alors faire quelques calculs. Et vous pouvez considérer cela comme une définition mathématique, statistique ou combinatoire de l'entropie. Selon cette définition, l'entropie est égale au logarithme népérien du nombre d'états que le système peut accepter, multiplié par un nombre constant. Et dans ce cas, tous les états ont la même probabilité. Si nous parlons d'un nombre inimaginablement énorme de molécules qui peuvent avoir un nombre encore plus grand d'états, nous pouvons supposer qu'elles différeront toutes avec une probabilité approximativement égale. Il existe également une définition un peu plus compliquée - pour les cas avec des probabilités d'ordres différents, mais maintenant nous n'en parlerons pas. Maintenant que nous avons couvert ces deux définitions, il est temps de vous parler de la deuxième loi de la thermodynamique. C'est ici. C'est une loi assez simple, qui explique en même temps un très large éventail de phénomènes différents. Selon cette loi, les changements d'entropie dans l'Univers lors de la mise en œuvre de tout processus seront toujours supérieurs ou égaux à 0. C'est-à-dire que lorsque quelque chose se passe dans l'univers, le résultat est une augmentation de l'entropie. C'est une conclusion très importante. Voyons si nous pouvons appliquer cette loi à des situations spécifiques et ainsi comprendre sa signification. Disons que j'ai deux réservoirs connectés l'un à l'autre. Ici, j'ai un T1. Que ce soit notre réservoir chaud. Mais nous avons T2. Ce sera un réservoir froid. Eh bien, nous le savons par expérience ... Que se passe-t-il si un navire avec de l'eau chaude a une paroi commune avec un navire avec de l'eau froide? Que se passe-t-il dans un tel cas ? Oui, la température de l'eau qu'ils contiennent est égalisée. Si nous parlons de la même substance, alors le processus s'arrêtera approximativement au milieu, s'ils sont dans la même phase. Ainsi, nous avons affaire au transfert de chaleur d'une substance plus chaude à une plus froide. Nous avons une sorte de chaleur, Q, qui est transférée d'une substance plus chaude à une plus froide. Bien sûr, dans la réalité quotidienne, vous ne verrez pas de transfert de chaleur d'une substance plus froide à une autre plus chaude. Si vous mettez un glaçon dans, disons, du thé chaud, alors bien sûr la glace ne deviendra pas plus froide et le thé ne deviendra pas plus chaud. La température des deux substances deviendra approximativement égale, c'est-à-dire que le thé donnera une partie de la chaleur à la glace. On parle aussi de deux cuves, et je suppose que leur température reste constante. Cela ne peut se produire que si les deux sont infiniment grands, ce qui, bien sûr, n'existe pas dans le monde réel. Dans le monde réel, T1 diminuera et T2 augmentera. Mais voyons si cela doit se produire selon la deuxième loi de la thermodynamique. Alors que se passe-t-il ici ? Quelle est la variation nette d'entropie pour T1 ? Selon la deuxième loi de la thermodynamique, le changement d'entropie pour l'Univers est supérieur à 0. Mais dans ce cas, il est égal au changement d'entropie pour T1, plus le changement d'entropie pour ... mais pas tout à fait .. Au lieu de T1, appelons-le simplement 1 ... pour le système 1, c'est-à-dire pour ce système chaud, plus le changement d'entropie pour le système 2. Alors, quel est le changement d'entropie pour le système 1 ? Il perd Q1 à haute température. Il s'avère que moins Q (car le système dégage de la chaleur) divisé par T1. Il faut alors tenir compte de la chaleur ajoutée au système T2. Alors ajoutez Q divisé par T2. Nous obtenons le changement d'entropie pour le système 2, n'est-ce pas ? Ce réservoir, qui a une température plus élevée de 1, perd de la chaleur. Et le réservoir, qui a une température plus basse 2, reçoit de la chaleur. Ne serait-il pas supérieur à 0 ? Réfléchissons un peu. Si nous divisons... permettez-moi de réécrire ceci... Je l'écrirai différemment : Q divisé par T2, moins ceci. Je réorganise juste les nombres... Moins Q divisé par T1. Et quel est l'indicateur le plus élevé maintenant? T2 ou T1 ? Eh bien, T1 est plus grand, non ? Maintenant que nous avons un score plus élevé ... Si nous utilisons le mot "plus élevé", nous entendons une certaine comparaison. Donc T1 est plus élevé que cela. De plus, au numérateur dans les deux cas on a le même nombre, non ? Autrement dit, si je prends, disons, 1/2 moins 1/3, alors j'obtiens un indicateur supérieur à 0. Cet indicateur est supérieur à cela, car celui-ci a un plus grand dénominateur. Vous divisez par un plus grand nombre. Cela mérite réflexion. Vous divisez Q par ce nombre, puis soustrayez Q divisé par le plus grand nombre. Ainsi, cette fraction aura une valeur absolue inférieure. Et il sera supérieur à 0. En conséquence, la deuxième loi de la thermodynamique est confirmée par notre observation, selon laquelle la chaleur passe d'un corps chaud à un corps froid. Maintenant tu peux dire - hé Sal, je peux te prouver que tu as tort. Vous pouvez dire si j'ai mis le climatiseur dans la pièce... C'est la pièce, et c'est à l'extérieur. Et vous dites - regardez ce que fait le climatiseur ! Il fait déjà froid dans la pièce, mais il fait déjà chaud dehors. Mais à quoi sert un climatiseur ? Il rend le froid encore plus froid et le chaud encore plus chaud. Il prend quelques Q et se déplace dans cette direction. Droite? Il prend la chaleur d'une pièce froide et la libère dans l'air chaud. Et vous dites que cela viole la deuxième loi de la thermodynamique. Vous venez de le réfuter. Vous méritez le prix Nobel ! Mais je vais vous dire - vous oubliez un petit fait. À l'intérieur de ce climatiseur, il y a un compresseur et un moteur, qui fonctionnent activement et créent un tel résultat. Et ce moteur, je vais le surligner en rose, dégage aussi de la chaleur. Appelons-le le moteur Q. Ainsi, si vous voulez calculer l'entropie totale créée pour l'univers entier, ce sera l'entropie de la chambre froide, plus la variation d'entropie pour la rue. Entropie de chambre froide plus changement d'entropie extérieure. Marquer la pièce ici... vous pourriez dire d'accord. Ce changement d'entropie pour une pièce qui dégage de la chaleur... disons que la pièce a une température constante pendant au moins une milliseconde. La pièce dégage du Q à une certaine température T1. Et puis... ici il faut mettre un moins... alors la rue se réchauffe à une certaine température T2. Et vous direz : ce chiffre est inférieur à cela. Parce que le dénominateur est plus élevé. Ce sera alors une entropie négative, et vous pouvez dire que cela viole la deuxième loi de la thermodynamique. Pas! Ici, nous devons prendre en compte un autre point : que la rue reçoit également de la chaleur du moteur. Chaleur du moteur divisée par la température extérieure. Et je vous garantis que cette variable, je ne donnerai pas de chiffres pour le moment, rendra toute cette expression positive. Cette variable transformera l'entropie nette totale pour l'univers en positif. Maintenant, réfléchissons un peu à ce qu'est l'entropie en termes de terminologie. Dans les cours de chimie, le professeur peut souvent dire que l'entropie est synonyme de désordre. Ce n'est pas une erreur. L'entropie équivaut au désordre. Ce n'est pas une erreur, car l'entropie est vraiment un gâchis, mais il faut être très prudent lors de la définition d'un gâchis. Parce que l'un des exemples les plus courants est : prenez une chambre propre - disons que votre chambre est propre, mais qu'elle se salit ensuite. Et ils disent - regardez, l'univers est devenu plus chaotique. Une pièce sale est plus en désordre qu'une pièce propre. Mais ce n'est pas une augmentation de l'entropie. Ce n'est donc pas un très bon exemple. Pourquoi? Parce que propre et sale ne sont que les conditions de la pièce. Et on se souvient que l'entropie est une macro-variable d'un état. Vous l'utilisez pour décrire un système lorsque vous n'êtes pas d'humeur à vous asseoir ici et à me dire exactement ce que fait chaque particule. Et c'est une variable macro qui montre combien de temps il faudra pour me dire ce que fait chaque particule. Cette variable indique combien d'états existent dans ce cas, ou combien d'informations sur les états j'aimerais recevoir de vous. Dans le cas d'une pièce propre et sale, nous n'avons que deux états différents d'une même pièce. Si la pièce a la même température et qu'il y a le même nombre de molécules, et ainsi de suite, alors elle aura la même entropie. Ainsi, lorsque la pièce devient plus sale, l'entropie n'augmente pas. Par exemple, j'ai une chambre froide sale. Disons que je suis entré dans cette pièce et que j'ai fait beaucoup d'efforts pour la nettoyer. J'ajoute donc une partie de la chaleur au système et les molécules de ma sueur se dispersent dans toute la pièce - en conséquence, plus de contenu y apparaît et il devient plus chaud, se transformant en une pièce chaude et propre avec des gouttelettes de sueur. Ce contenu peut être organisé de plusieurs manières, et comme la pièce est chaude, chaque molécule qu'elle contient peut prendre plusieurs états, n'est-ce pas ? Étant donné que l'énergie cinétique moyenne est élevée, on peut essayer de déterminer la quantité d'énergie cinétique que chaque molécule peut posséder, et cette quantité peut potentiellement être assez importante. Essentiellement, il s'agit d'une augmentation de l'entropie. D'une pièce sale et froide à une pièce chaude et propre. Et cela correspond assez bien à ce que nous savons. C'est-à-dire que lorsque j'entre dans une pièce et que je commence à la nettoyer, j'y apporte de la chaleur. Et l'univers devient de plus en plus... Je suppose que nous pouvons dire que l'entropie augmente. Alors, où est le bordel ici ? Disons que j'ai une balle et qu'elle tombe au sol et la frappe. Et là, il faut se poser une question qui n'a cessé de se poser depuis la découverte de la première loi de la thermodynamique. Dès que la balle touche le sol... La balle touche le sol, non ? Je l'ai lancé : il y a une certaine énergie potentielle au sommet, qui se transforme alors en énergie cinétique, et la balle touche le sol, puis s'arrête. C'est là qu'une question tout à fait naturelle se pose : qu'est-il arrivé avec toute cette énergie ? Loi de conservation de l'énergie. Où est-elle allée ? Juste avant de toucher le sol, la balle avait de l'énergie cinétique puis s'est arrêtée. L'énergie semble avoir disparu. Mais ce n'est pas le cas. Quand la balle tombe, elle a beaucoup... comme vous le savez, tout a sa propre chaleur. Qu'en est-il de la terre? Ses molécules vibraient avec une certaine énergie cinétique et une énergie potentielle. Et puis les molécules de notre boule se sont mises à vibrer légèrement. Mais leur mouvement était principalement vers le bas, non ? La plupart des molécules de la balle étaient vers le bas. Quand il touche le sol, alors... laissez-moi dessiner la surface de la balle en contact avec le sol. Les molécules de la balle à l'avant de la balle ressembleront à ceci. Et il y en a pas mal. C'est un corps solide. Probablement avec une structure en treillis. Et puis la balle touche le sol. Lorsque cela se produit... la terre est un autre corps solide... Génial, nous avons ici un micro-état. Que va-t-il se passer ? Ces molécules vont interagir avec celles-ci et transférer leur énergie cinétique descendante... Elles vont la transférer à ces particules terrestres. Et affrontez-les. Et quand, disons, cette particule entre en collision avec celle-ci, elle peut se déplacer dans cette direction. Et cette particule va commencer à osciller comme ça, d'avant en arrière. Cette particule peut rebondir sur celle-ci et se déplacer dans cette direction, puis entrer en collision avec celle-ci et se déplacer ici. Et puis, parce que cette particule frappe ici, celle-ci frappe ici, et parce que celle-ci frappe ici, celle-ci frappe ici. Du point de vue de la balle, il y a un mouvement relativement directionnel, mais lorsqu'elle touche les molécules de la terre, elle commence à générer de l'énergie cinétique et à créer un mouvement dans diverses directions. Cette molécule déplacera celle-ci ici, et celle-ci se déplacera ici. Maintenant le mouvement ne sera plus dirigé, si nous avons autant de molécules... je les désignerai avec une couleur différente... donc, si nous avons beaucoup de molécules et qu'elles se déplacent toutes exactement dans la même direction, alors le micro-état va ressemble à un macro-état. Tout le corps sera dans cette direction. Si nous avons beaucoup de v et qu'ils se déplacent tous dans des directions différentes, alors ma balle dans son ensemble restera en place. Nous pouvons avoir la même quantité d'énergie cinétique au niveau moléculaire, mais ils entreront tous en collision les uns avec les autres. Et dans ce cas, nous pouvons décrire l'énergie cinétique comme énergie interne ou comme température, qui est l'énergie cinétique moyenne. Ainsi, lorsque nous disons que le monde devient de plus en plus chaotique, nous pensons à l'ordre des vitesses ou des énergies des molécules. Avant qu'elles ne soient ordonnées, les molécules peuvent vibrer un peu, mais la plupart du temps elles tomberont. Mais quand ils touchent le sol, ils se mettent tous immédiatement à vibrer un peu plus dans différentes directions. Et la terre se met aussi à vibrer dans différentes directions. Donc, au niveau des micro-États, les choses deviennent beaucoup plus compliquées. Il y a une autre question assez curieuse. Il y a une autre possibilité… Vous pourriez penser : « Regardez, cette balle est tombée et a touché le sol. Pourquoi ne fait-il pas simplement… se pourrait-il que les molécules de la terre elles-mêmes changent d'ordre afin de frapper correctement les molécules de la balle ? Il y a une certaine possibilité qu'en raison du mouvement désordonné, à un moment donné, toutes les molécules de la terre vont simplement heurter les molécules de la balle pour qu'elle rebondisse à nouveau. » Oui c'est le cas. Il y a toujours une chance infiniment petite que cela se produise. Il est possible que la balle repose simplement sur le sol ... et c'est assez curieux ... Vous devrez probablement attendre cent millions d'années pour que cela se produise, si jamais cela arrive ... et la balle peut juste rebondir. Il y a une très faible possibilité que ces molécules vibrent de manière aléatoire de manière à s'ordonner pendant une seconde, puis la balle rebondira. Mais la probabilité de cela est pratiquement nulle. Ainsi, lorsque les gens parlent d'ordre et de désordre, le désordre s'intensifie car ces molécules vont maintenant se déplacer dans des directions différentes et assumer plus d'états potentiels. Et nous l'avons vu. Comme vous le savez, à un certain niveau, l'entropie ressemble à quelque chose de magique, mais à d'autres niveaux, cela semble assez logique. Dans une vidéo... Je pense que c'était la dernière vidéo... J'avais beaucoup de molécules, et puis cet espace supplémentaire est apparu ici, puis j'ai enlevé le mur. Et nous avons vu que ces molécules... il est clair qu'il y avait des molécules qui ont été repoussées de ce mur plus tôt, car il y avait une certaine pression qui y était associée. Ensuite, une fois que nous avons retiré ce mur, les molécules qui le heurteraient continuent de se déplacer. Il n'y a rien pour les arrêter. Le mouvement s'effectuera dans ce sens. Ils peuvent entrer en collision avec d'autres molécules et avec ces parois. Mais en ce qui concerne cette direction, la probabilité de collision, surtout pour ces molécules ici, est en principe égale à 0. Par conséquent, l'expansion et le remplissage du conteneur se produiront. Donc tout est assez logique. Mais surtout, la deuxième loi de la thermodynamique, comme nous l'avons vu dans cette vidéo, dit la même chose. C'est-à-dire que les molécules se déplaceront et rempliront le récipient. Et il est très peu probable qu'ils reviennent tous à un état ordonné. Bien sûr, il existe une possibilité certaine que lorsqu'ils se déplacent de manière erratique, ils reviennent à cette position. Mais cette probabilité est très, très faible. De plus, et je veux y prêter une attention particulière, S est un état macro. On ne parle jamais d'entropie par rapport à une seule molécule. Si nous savons ce que fait une seule molécule, nous n'avons pas à nous soucier de l'entropie. Nous devons penser au système dans son ensemble. Donc, si nous examinons l'ensemble du système et ignorons les molécules, nous ne saurons pas ce qui s'est réellement passé. Dans ce cas, on ne peut prêter attention qu'aux propriétés statistiques des molécules. Combien de molécules avons-nous, quelle est leur température, leur macrodynamique, leur pression... et vous savez quoi ? Le conteneur dans lequel ces molécules sont placées a plus d'états qu'un conteneur plus petit avec une paroi. Même si soudainement toutes les molécules se rassemblent accidentellement ici, nous ne saurons pas que cela s'est produit, car nous ne regardons pas les micro-états. Et cela est très important à garder à l'esprit. Quand quelqu'un dit qu'une pièce sale a une entropie plus élevée qu'une pièce propre, alors nous devons comprendre qu'il considère des micro-états. Et l'entropie est avant tout un concept associé à un macroétat. Vous pouvez simplement dire que la pièce a une certaine quantité d'entropie. C'est-à-dire que le concept d'entropie est associé à la pièce dans son ensemble, mais il ne sera utile que lorsque vous ne savez pas exactement ce qui s'y passe. Vous n'avez qu'une idée la plus générale de ce dont la pièce est remplie, quelle est la température à l'intérieur, quelle est la pression. Ce sont toutes des propriétés générales de macro. L'entropie nous dira combien de macroétats ce macrosystème peut avoir. Ou combien d'informations, car il y a le même concept d'entropie de l'information, combien d'informations je dois vous fournir pour que vous puissiez avoir une idée précise du micro-état du système au moment opportun. Comme ça. J'espère que cette discussion vous a été au moins un peu utile et a dissipé certaines idées fausses sur l'entropie, et vous a également aidé à vous faire une idée de ce que c'est vraiment. Jusqu'à la prochaine vidéo !

Définitions formelles

Informations entropie binaire pour les événements aléatoires indépendants x (\ style d'affichage x) de n (\ style d'affichage n)états possibles distribués avec probabilités ( je = 1,. ... ... , n (\ style d'affichage i = 1, ..., n)), est calculé par la formule

H (x) = - ∑ i = 1 n p i log 2 ⁡ p i. (\ displaystyle H (x) = - \ sum _ (i = 1) ^ (n) p_ (i) \ log _ (2) p_ (i).)

Cette quantité est aussi appelée entropie moyenne du message... La quantité H i = - log 2 ⁡ p i (\ displaystyle H_ (i) = - \ log _ (2) (p_ (i))) appelé entropie privée caractérisant seulement i (\ style d'affichage i)-domaine. Dans le cas général, la base du logarithme dans la définition de l'entropie peut être quelconque, supérieure à 1 ; son choix détermine l'unité de mesure de l'entropie. Ainsi, souvent (par exemple, dans les problèmes de statistiques mathématiques), il peut être plus pratique d'utiliser le logarithme népérien.

Ainsi, l'entropie du système x (\ style d'affichage x) est la somme de signe opposé de toutes les fréquences relatives d'occurrence de l'état (événement) avec le nombre i (\ style d'affichage i) multiplié par leurs logarithmes binaires. Cette définition des événements aléatoires discrets peut être formellement étendue aux distributions continues données par la densité de la distribution de probabilité, mais la fonctionnelle résultante aura des propriétés quelque peu différentes (voir entropie différentielle).

Définition Shannon

La définition de l'entropie de Shannon est liée au concept d'entropie thermodynamique. Boltzmann et Gibbs ont fait de nombreux travaux en thermodynamique statistique qui ont contribué à l'adoption du mot « entropie » en théorie de l'information. Il existe un lien entre la thermodynamique et l'entropie informationnelle. Par exemple, le démon de Maxwell s'oppose également à l'entropie thermodynamique de l'information, et la réception de toute quantité d'information est égale à l'entropie perdue.

Définir avec vos propres informations

Il est également possible de déterminer l'entropie d'une variable aléatoire en introduisant d'abord le concept de la distribution d'une variable aléatoire X (\ style d'affichage X) avec un nombre fini de valeurs :

PX (xi) = pi, pi 0, i = 1, 2,…, n (\ displaystyle P_ (X) (x_ (i)) = p_ (i), \ quad p_ (i) \ geqslant 0, \ ; i = 1, \; 2, \; \ ldots, \; n) ∑ i = 1 n p i = 1 (\ displaystyle \ sum _ (i = 1) ^ (n) p_ (i) = 1) I (X) = - log ⁡ P X (X). (\ displaystyle I (X) = - \ log P_ (X) (X).)

Alors l'entropie est définie comme :

H (X) = E (I (X)) = - ∑ i = 1 n p (i) log ⁡ p (i). (\ displaystyle H (X) = E (I (X)) = - \ sum _ (i = 1) ^ (n) p (i) \ log p (i).)

L'unité de mesure de la quantité d'information et de l'entropie dépend de la base du logarithme : bit, nat, trit ou hartley.

Propriétés

L'entropie est une quantité définie dans le contexte d'un modèle probabiliste pour une source de données. Par exemple, un tirage au sort a une entropie :

- 2 (1 2 log 2 1 2) = - log 2 ⁡ 1 2 = log 2 ⁡ 2 = 1 (\ displaystyle -2 \ left ((\ frac (1) (2)) \ log _ (2) ( \ frac (1) (2)) \ droite) = - \ log _ (2) (\ frac (1) (2)) = \ log _ (2) 2 = 1) bits par lancer (à condition qu'il soit indépendant), et le nombre états possibleségalement: 2 1 = 2 (\ displaystyle 2 ^ (1) = 2) états possibles(homonymie) (« face » et « face »).

Une source qui génère une chaîne composée uniquement des lettres "A" a une entropie nulle : - ∑ i = 1 ∞ log 2 ⁡ 1 = 0 (\ displaystyle - \ sum _ (i = 1) ^ (\ infty) \ log _ (2) 1 = 0), et le nombre états possibleségalement: 2 0 = 1 (\ displaystyle 2 ^ (0) = 1) état possible(valeur) ("A") et ne dépend pas de la base du logarithme.
Ce sont aussi des informations qui doivent également être prises en compte. Un exemple de périphériques de stockage dans lesquels des bits avec une entropie égale à zéro sont utilisés, mais avec la quantité d'informationségal à 1 état possible, c'est à dire. différent de zéro, sont les bits de données enregistrés dans la ROM, dans laquelle chaque bit n'a qu'un état possible.

Ainsi, par exemple, empiriquement, il peut être établi que l'entropie du texte anglais est de 1,5 bits par caractère, ce qui bien sûr variera pour différents textes. Le degré d'entropie d'une source de données désigne le nombre moyen de bits par élément de données nécessaires pour la chiffrer sans perte d'information, avec un encodage optimal.

1. Certains bits de données peuvent ne pas transporter d'informations. Par exemple, les structures de données stockent souvent des informations redondantes ou ont des sections identiques quelles que soient les informations contenues dans la structure de données.
2. La quantité d'entropie n'est pas toujours exprimée en nombre entier de bits.

Propriétés mathématiques

1. Non-négativité: H (X) ⩾ 0 (\ displaystyle H (X) \ geqslant 0).
2. Limitation: H (X) = - E (log 2 ⁡ pi) = ∑ i = 1 npi log 2 ⁡ 1 pi = ∑ i = 1 npif (gi) ⩽ f (∑ i = 1 npigi) = log 2 ⁡ n (\ displaystyle H (X) = - E (\ log _ (2) p_ (i)) = \ sum _ (i = 1) ^ (n) p_ (i) \ log _ (2) (\ frac (1) (p_ (i))) = \ sum _ (i = 1) ^ (n) p_ (i) f (g_ (i)) \ leqslant f \ left (\ sum _ (i = 1) ^ (n) p_ (i ) g_ (i) \ droite) = \ log _ (2) n), qui découle de l'inégalité de Jensen pour la fonction concave f (g i) = log 2 ⁡ g i (\ displaystyle f (g_ (i)) = \ log _ (2) g_ (i)) et g i = 1 p i (\ displaystyle g_ (i) = (\ frac (1) (p_ (i))))... Si tout le monde n (\ style d'affichage n) articles de X (\ style d'affichage X)équiprobable H (X) = log 2 ⁡ n (\ displaystyle H (X) = \ log _ (2) n).
3. Si indépendant, alors H (X ⋅ Y) = H (X) + H (Y) (\ displaystyle H (X \ cdot Y) = H (X) + H (Y)).
4. L'entropie est une fonction de distribution de probabilité convexe ascendante des éléments.
5. Si un X, Y (\ displaystyle X, \; Y) ont la même distribution de probabilité des éléments, alors H (X) = H (Y) (\ displaystyle H (X) = H (Y)).

Efficacité

L'alphabet peut avoir une distribution de probabilité qui est loin d'être uniforme. Si l'alphabet d'origine contient n (\ style d'affichage n) symboles, alors il peut être comparé à un « alphabet optimisé », dont la distribution de probabilité est uniforme. Le rapport de l'entropie de l'alphabet original et optimisé est Efficacité l'alphabet d'origine, qui peut être exprimé en pourcentage. L'efficacité de l'alphabet original avec n (\ style d'affichage n) les symboles peuvent également être définis comme n (\ style d'affichage n)-aire entropie.

L'entropie limite la compression maximale sans perte (ou presque sans perte) qui peut être obtenue en utilisant un ensemble théorique - typique ou, en pratique - un codage de Huffman, un codage de Lempel-Ziv-Welch ou un codage arithmétique.

Variations et généralisations

b-aire entropie

En général b-aire entropie(Où b est égal à 2, 3, ...) source S = (S, P) (\ displaystyle (\ mathcal (S)) = (S, \; P)) avec l'alphabet d'origine S = (a 1,…, a n) (\ displaystyle S = \ (a_ (1), \; \ ldots, \; a_ (n) \)) et distribution de probabilité discrète P = (p 1,…, p n), (\ displaystyle P = \ (p_ (1), \; \ ldots, \; p_ (n) \),) Où p i (\ style d'affichage p_ (i)) est la probabilité ( p i = p (a i) (\ displaystyle p_ (i) = p (a_ (i)))), est déterminé par la formule :

H b (S) = - ∑ i = 1 n p i log b ⁡ p i. (\ displaystyle H_ (b) ((\ mathcal (S))) = - \ sum _ (i = 1) ^ (n) p_ (i) \ log _ (b) p_ (i).)

En particulier, pour b = 2 (\ style d'affichage b = 2), on obtient l'entropie binaire habituelle, mesurée en bits. Lorsque b = 3 (\ displaystyle b = 3), on obtient l'entropie trinaire, mesurée en trites (un trit a une source d'information avec trois états équiprobables). Lorsque b = e (\ displaystyle b = e), nous obtenons des informations mesurées en nats.

Entropie conditionnelle

Si les caractères suivants de l'alphabet ne sont pas indépendants (par exemple, en français, après la lettre "q" est presque toujours suivi de "u", et après le mot "leader" dans les journaux soviétiques généralement suivi du mot "production" ou "travail"), la quantité d'information qui porte la séquence de tels symboles (et, par conséquent, l'entropie) est évidemment plus petite. Pour expliquer de tels faits, l'entropie conditionnelle est utilisée.

Entropie conditionnelle le premier ordre (de même pour le modèle de Markov du premier ordre) est appelé l'entropie pour l'alphabet, où les probabilités d'apparition d'une lettre après l'autre (c'est-à-dire les probabilités de combinaisons de deux lettres) sont connues :

H 1 (S) = - ∑ ipi ∑ jpi (j) log 2 ⁡ pi (j), (\ displaystyle H_ (1) ((\ mathcal (S))) = - \ sum _ (i) p_ (i) \ somme _ (j) p_ (i) (j) \ log _ (2) p_ (i) (j),)

Où i (\ style d'affichage i) est un état dépendant du caractère précédent, et p i (j) (\ displaystyle p_ (i) (j)) est la probabilité j (\ style d'affichage j)à condition que i (\ style d'affichage i)était le caractère précédent.

Par exemple, pour la langue russe sans la lettre "ё" H 0 = 5, H 1 = 4,358, H 2 = 3,52, H 3 = 3,01 (\ displaystyle H_ (0) = 5, \; H_ (1) = 4 (,) 358, \; H_ ( 2) = 3 (,) 52, \; H_ (3) = 3 (,) 01) .

Les entropies conditionnelles partielles et générales sont utilisées pour décrire complètement les pertes d'informations lors de la transmission de données dans un canal bruité. Pour cela, le soi-disant matrices de canaux... Pour décrire la perte de la source (c'est-à-dire que le signal envoyé est connu), la probabilité conditionnelle de recevoir un symbole par le récepteur est considérée, à condition que le symbole ait été envoyé a i (\ displaystyle a_ (i))... Dans ce cas, la matrice de canal a la forme suivante :

	b 1 (\ displaystyle b_ (1))	b 2 (\ displaystyle b_ (2))	…	b j (\ displaystyle b_ (j))	…	b m (\ style d'affichage b_ (m))
a 1 (\ displaystyle a_ (1))	p (b 1 ∣ a 1) (\ displaystyle p (b_ (1) \ mid a_ (1)))	p (b 2 a 1) (\ displaystyle p (b_ (2) \ mid a_ (1)))	…	p (b j ∣ a 1) (\ displaystyle p (b_ (j) \ mid a_ (1)))	…	p (b m ∣ a 1) (\ displaystyle p (b_ (m) \ mid a_ (1)))
a 2 (\ displaystyle a_ (2))	p (b 1 ∣ a 2) (\ displaystyle p (b_ (1) \ mid a_ (2)))	p (b 2 ∣ a 2) (\ displaystyle p (b_ (2) \ mid a_ (2)))	…	p (b j ∣ a 2) (\ displaystyle p (b_ (j) \ mid a_ (2)))	…	p (b m a 2) (\ displaystyle p (b_ (m) \ mid a_ (2)))
…	…	…	…	…	…	…
a i (\ displaystyle a_ (i))	p (b 1 ∣ a i) (\ displaystyle p (b_ (1) \ mid a_ (i)))	p (b 2 ∣ a i) (\ displaystyle p (b_ (2) \ mid a_ (i)))	…	p (b j a i) (\ displaystyle p (b_ (j) \ mid a_ (i)))	…	p (b m ∣ a i) (\ displaystyle p (b_ (m) \ mid a_ (i)))
…	…	…	…	…	…	…
a m (\ displaystyle a_ (m))	p (b 1 ∣ a m) (\ displaystyle p (b_ (1) \ mid a_ (m)))	p (b 2 a m) (\ displaystyle p (b_ (2) \ mid a_ (m)))	…	p (b j ∣ a m) (\ displaystyle p (b_ (j) \ mid a_ (m)))	…	p (b m ∣ a m) (\ displaystyle p (b_ (m) \ mid a_ (m)))

Évidemment, les probabilités situées sur la diagonale décrivent la probabilité de réception correcte, et la somme de tous les éléments d'une ligne donne 1. Pertes par signal transmis a i (\ displaystyle a_ (i)), sont décrits par l'entropie conditionnelle partielle :

H (B a i) = - ∑ j = 1 m p (b j ∣ a i) log 2 ⁡ p (b j ∣ a i). (\ displaystyle H (B \ mid a_ (i)) = - \ sum _ (j = 1) ^ (m) p (b_ (j) \ mid a_ (i)) \ log _ (2) p (b_ ( j) \ milieu a_ (i)).)

L'entropie conditionnelle totale est utilisée pour calculer la perte de transmission pour tous les signaux :

H (B A) = ∑ i p (a i) H (B ∣ a i). (\ displaystyle H (B \ mid A) = \ sum _ (i) p (a_ (i)) H (B \ mid a_ (i)).)

H (B ∣ A) (\ displaystyle H (B \ mid A)) signifie entropie du côté de la source, considérée de la même manière H (A ∣ B) (\ displaystyle H (A \ mid B))- entropie côté récepteur : au lieu de p (b j a i) (\ displaystyle p (b_ (j) \ mid a_ (i))) partout indiqué p (a i ∣ b j) (\ displaystyle p (a_ (i) \ mid b_ (j)))(en résumant les éléments de la chaîne, vous pouvez obtenir p (a i) (\ displaystyle p (a_ (i))), et les éléments de la diagonale signifient la probabilité qu'exactement le symbole qui a été reçu a été envoyé, c'est-à-dire la probabilité d'une transmission correcte).

Entropie mutuelle

Entropie mutuelle ou entropie d'union est destiné au calcul de l'entropie des systèmes interconnectés (entropie de l'apparition conjointe de messages statistiquement dépendants) et est noté H (A B) (\ style d'affichage H (AB)) où A (\ style d'affichage A) caractérise l'émetteur, et B (\ style d'affichage B)- le récepteur.

Concept Entropie introduit pour la première fois en 1865 par R. Clausius en thermodynamique pour déterminer la mesure de la dissipation d'énergie irréversible. L'entropie est utilisée dans diverses branches de la science, y compris la théorie de l'information, comme mesure de l'incertitude de toute expérience, test, qui peut avoir des résultats différents. Ces définitions de l'entropie sont profondément liées. Ainsi, sur la base d'idées sur l'information, vous pouvez déduire toutes les dispositions les plus importantes de la physique statistique. [BES. La physique. M : Grande Encyclopédie Russe, 1998].

Entropie binaire de l'information pour les événements aléatoires indépendants (non équiprobables) X de métats possibles (de 1 à m, p est la fonction de probabilité) est calculé par La formule de Shannon:

Cette quantité est aussi appelée entropie moyenne messages. L'entropie dans la formule de Shannon est la caractéristique moyenne - l'espérance mathématique de la distribution d'une variable aléatoire.
Par exemple, dans une séquence de lettres qui composent n'importe quelle phrase en russe, différentes lettres apparaissent avec des fréquences différentes, de sorte que l'incertitude d'apparence pour certaines lettres est moindre que pour d'autres.
En 1948, explorant le problème de la transmission rationnelle de l'information à travers un canal de communication bruyant, Claude Shannon a proposé une approche probabiliste révolutionnaire pour comprendre la communication et a créé la première théorie vraiment mathématique de l'entropie. Ses idées sensationnelles sont rapidement devenues la base du développement de la théorie de l'information qui utilise le concept de probabilité. Le concept d'entropie comme mesure du caractère aléatoire a été introduit par Shannon dans son article « A Mathematical Theory of Communication », publié en deux parties dans le Bell System Technical Journal en 1948.

Dans le cas d'événements équiprobables (cas particulier), lorsque toutes les options sont également probables, seule la dépendance vis-à-vis du nombre d'options envisagées demeure, et la formule de Shannon est grandement simplifiée et coïncide avec la formule de Hartley, qui a été proposée pour la première fois par un Américain ingénieur Ralph Hartley en 1928, comme l'une des approches scientifiques de l'évaluation des messages :

, où I est la quantité d'informations transmises, p est la probabilité d'un événement, N est le nombre possible de messages différents (également probables).

Tâche 1. Sur des événements également probables.
Il y a 36 cartes dans le jeu. Combien d'informations sont contenues dans le message qu'une carte avec le portrait « as » est prise du jeu ; As de pique?

Probabilité p1 = 4/36 = 1/9 et p2 = 1/36. En utilisant la formule de Hartley, nous avons :

Réponse : 3,17 ; 5,17 bits
Notez (à partir du deuxième résultat) que 6 bits sont nécessaires pour encoder toutes les cartes.
Il ressort également des résultats que moins un événement est probable, plus il contient d'informations. (Cette propriété est appelée monotonie)

Tâche 2. Sur les événements inégaux
Il y a 36 cartes dans le jeu. Parmi celles-ci, 12 cartes avec "portraits". Alternativement, l'une des cartes est prise du jeu et montrée pour déterminer si un portrait y est représenté. La carte est remise dans le paquet. Déterminez la quantité d'informations transmises chaque fois qu'une carte est affichée.