Символ ентропії. теорія інформації

що означає термін "ентропія" з точки зору теорії інформації? і отримав найкращу відповідь

Відповідь від MarZ [гуру]
Інформаційна ентропія, як визначено Шенноном і додано іншими фізиками близько, співвідноситься з поняттям термодинамічної ентропії. Це величина, що позначає непріводімие (нестисливої) кількість інформації, вміст в даній системі (зазвичай, - в прийнятому сигналі).
У теорії інформації
Ентропія в статистичній механіці має тісний зв'язок з інформаційною ентропією - мірою невизначеності повідомлень, які описуються безліччю символів x_1, ldots, x_n і ймовірностей p_1, ldots, p_n появи цих символів в повідомленні. У теорії інформації ентропією повідомлення з дискретним розподілом ймовірностей називають величину
Sn \u003d - ΣPkInPk,
k
де
ΣPk \u003d 1.
k
Інформаційна ентропія дорівнює нулю, коли будь-яка ймовірність дорівнює одиниці (а решта - нулю), т. Е. Коли інформація повністю передбачувана і не несе нічого нового для приймача. Ентропія приймає найбільше значення для равновероятного розподілу, коли все ймовірності pk однакові; т. е. коли невизначеність, дозволяється повідомленням максимальна. Інформаційна ентропія також володіє всіма тими математичними властивостями, якими володіє термодинамічна ентропія. Наприклад, вона аддитивна: ентропія декількох повідомлень дорівнює сумі ентропій окремих повідомлень.
Джерело: http://www.wikiznanie.ru/ru-wz/index.php/РРЅС,СЂРѕРїРёСЏ

відповідь від Олександр Зонов[Гуру]
Так само, як і в термодинаміці ентропія - міра безладності системи.

відповідь від . [Активний]
Ентропія (інформаційна) - міра хаотичності інформації, невизначеність появи будь-якого символу первинного алфавіту. При відсутності інформаційних втрат чисельно дорівнює кількості інформації на символ переданого повідомлення.

відповідь від 3 відповіді[Гуру]

Привіт! Ось добірка тим з відповідями на Ваше питання: що означає термін "ентропія" з точки зору теорії інформації?

Інформація та ентропія

Обговорюючи поняття інформація, неможливо залишити поза увагою інше суміжне поняття - ентропія. Вперше поняття ентропія та інформація пов'язав К.Шеннон.

Клод Шеннон ( Claude Elwood Shannon), 1916-2001 - далекий родич Томаса Едісона, американський інженер і математик, був співробітником Bell Laboratories з 1941 дo \u200b\u200b1972 р його роботі "Математична теорія зв'язку" (http://cm.bell-labs.com/cm/ms / what / shannonday /), опублікованій в 1948 р, вперше визначалася міра інформаційного змісту будь-якого повідомлення і поняття кванта інформації - бита. Ці ідеї лягли в основу теорії сучасного цифрового зв'язку. Інша робота Шеннона "Communication Theory of Secrecy Systems", опублікована в 1949 р, сприяла перетворенню криптографії в наукову дисципліну. Він є засновником теорії інформації, Що знайшла застосування в сучасних високотехнологічних системах зв'язку. Шеннон зробив величезний внесок в теорію імовірнісних схем, теорію автоматів і теорію систем управління - науки, що об'єднуються поняттям «кібернетика».

Фізичне визначення ентропії

Вперше поняття ентропії ввів Клаузиус в 1865 р як функцію термодинамічної стану системи

де Q - теплота, T - температура.

Фізичний сенс ентропії проявляється як частина внутрішньої енергії системи, яка не може бути перетворена в роботу. Клаузиус емпірично отримав цю функцію, експериментуючи з газами.

Л.Больцман (1872р.) Методами статистичної фізики вивів теоретичне вираз ентропії

де К - константа; W - термодинамічна ймовірність (кількість перестановок молекул ідеального газу, яке не впливає на макросостояніе системи).

Ентропія Больцмана виведена для ідеального газу і трактується як міра безладу, міра хаосу системи. Для ідеального газу ентропії Больцмана і Клаузиуса тотожні. Формула Больцмана стала настільки знаменитою, що написана в якості епітафії на його могилі. Склалася думка, що ентропія і хаос є одне і те ж. Незважаючи на те, що ентропія описує тільки ідеальні гази, її некритично стали залучати для опису більш складних об'єктів.

Сам Больцман в 1886р. спробував за допомогою ентропії пояснити, що таке життя. На думку Больцмана, життя це явище, здатне зменшувати свою ентропію. Згідно Больцману і його послідовникам, всі процеси у Всесвіті змінюються в напрямку хаосу. Всесвіт йде до теплової смерті. Цей похмурий прогноз довго панував в науці. Однак поглиблення знань про навколишній Світі поступово розхитали цю догму.

Класики не пов'язували ентропію з інформацією.

Ентропія як міра інформації

Зауважимо, що поняття "інформація" часто трактується як "відомості", а передача інформації здійснюється за допомогою зв'язку. К. Шеннон розглядав ентропію як міру корисної інформації в процесах передачі сигналів по дротах.

Для розрахунку ентропії Шеннон запропонував рівняння, що нагадує класичне вираз ентропії, знайдене Больцманом. Розглядається незалежне випадкова подія x з N можливими станами і p i-ймовірність i-го стану. Тоді ентропія події x

Ця величина також називається середньої ентропією. Наприклад, мова може йти про передачу повідомлення на природній мові. При передачі різних букв ми передаємо різну кількість інформації. Кількість інформації на букву пов'язано з частотою вживань цієї літери у всіх повідомленнях, які формуються на мові. Чим більше рідкісну букву ми передаємо, тим більше в ній інформації.

величина

H i \u003d P i log 2 1 / P i \u003d -P i log 2 P i,

називається приватної ентропією, що характеризує тільки i-e стан.

Пояснимо на прикладах. При киданні монети випадає орел чи решка, це певна інформація про результати кидання.

Для монети число рівно можливих можливостей N \u003d 2. Вірогідність випадання орла (решки) дорівнює 1/2.

При киданні кістки отримуємо інформацію про випаданні певної кількості очок (наприклад, трьох). В якому випадку ми отримуємо більше інформації?

Для кістки число рівно можливих можливостей N \u003d 6. Вірогідність випадання трьох очок кістки дорівнює 1/6. Ентропія дорівнює 2.58. Реалізація менш ймовірного події дає більше інформації. Чим більше невизначеність до отримання повідомлення про подію (кидання монети, кістки), тим більшу кількість інформації надходить при отриманні повідомлення.

Такий підхід до кількісного висловом інформації далеко не універсальний, т. К. Прийняті одиниці не враховують таких важливих властивостей інформації, як її цінність і сенс. Абстрагування від конкретних властивостей інформації (сенс, цінність її) про реальні об'єкти, як надалі з'ясувалося, дозволило виявити загальні закономірності інформації. Запропоновані Шенноном для вимірювання кількості інформації одиниці (біти) придатні для оцінки будь-яких повідомлень (народження сина, результати спортивного матчу і т. Д.). Надалі робилися спроби знайти такі заходи кількості інформації, які враховували б її цінність і сенс. Однак тут же губилася універсальність: для різних процесів різні критерії цінності і сенсу. Крім того, визначення сенсу і цінності інформації суб'єктивні, а запропонована Шенноном міра інформації об'єктивна. Наприклад, запах несе величезну кількість інформації для тварини, але невловимий для людини. Вухо людини не сприймає ультразвукові сигнали, але вони несуть багато відомостей для дельфіна і т. Д. Тому запропонована Шенноном міра інформації придатна для дослідження всіх видів інформаційних процесів, незалежно від "смаків" споживача інформації.

Вимірювання інформації

З курсу фізики ви знаєте, що перш, ніж вимірювати значення будь-якої фізичної величини, треба ввести одиницю виміру. У інформації теж є така одиниця - біт, але сенс її різний при різних підходах до визначення поняття "інформація".

Існує кілька різних підходів до проблеми вимірювання інформації.

Ентропія (теорія інформації)

Ентропія (інформаційна) - міра хаотичності інформації, невизначеність появи будь-якого символу первинного алфавіту. При відсутності інформаційних втрат чисельно дорівнює кількості інформації на символ переданого повідомлення.

Наприклад, в послідовності букв, що становлять якесь речення російською мовою, різні літери з'являються з різною частотою, тому невизначеність появи для деяких букв менше, ніж для інших. Якщо ж врахувати, що деякі поєднання букв (в цьому випадку говорять про ентропію n -ого порядку, см.) зустрічаються дуже рідко, то невизначеність ще більше зменшується.

Для ілюстрації поняття інформаційної ентропії можна також вдатися до прикладу з області термодинамічної ентропії, який отримав назву демона Максвелла. Концепції інформації та ентропії мають глибокі зв'язки один з одним, але, незважаючи на це, розробка теорій в статистичної механіки і теорії інформації зайняла багато років, щоб зробити їх відповідними один одному.

формальні визначення

Визначення за допомогою власної інформації

Також можна визначити ентропію випадкової величини, ввівши попередньо поняття розподілу випадкової величини X , Що має кінцеве число значень: I(X) \u003d - log P X (X). Тоді ентропія буде визначатися як: Від підстави логарифма залежить одиниця виміру інформації і ентропії: біт, нат або Хартлі.

інформаційна ентропія для незалежних випадкових подій x з n можливими станами (від 1 до n ) Розраховується за формулою:

Ця величина також називається середньої ентропією повідомлення. величина називається приватної ентропією, Що характеризує тільки i -e стан.

Таким чином, ентропія події x є сумою з протилежним знаком всіх творів відносних частот появи події i , Помножених на їх же виконавчі логарифми (підстава 2 вибрано тільки для зручності роботи з інформацією, представленою в двійковій формі). Це визначення для дискретних випадкових подій можна розширити для функції розподілу ймовірностей.

У загальному випадку b -арна ентропія (де b дорівнює 2, 3, ...) джерела з вихідним алфавітом і дискретним розподілом ймовірності де p i є ймовірністю a i (p i = p(a i) ) Визначається формулою:

Визначення ентропії Шеннона пов'язане з поняттям термодинамічної ентропії. Больцман і Гіббс виконали велику роботу по статистичної термодинаміки, яка сприяла прийняттю слова «ентропія» в інформаційну теорію. Існує зв'язок між термодинамічної та інформаційної ентропією. Наприклад, демон Максвелла також протиставляє термодинамічну ентропію інформації, і отримання якої-небудь кількості інформації одно втраченої ентропії.

альтернативне визначення

Іншим способом визначення функції ентропії H є доказ, що H однозначно визначена (як зазначено раніше), якщо і тільки якщо H задовольняє умовам:

властивості

Важливо пам'ятати, що ентропія є кількістю, певним в контексті ймовірнісної моделі для джерела даних. Наприклад, кидання монети має ентропію - 2 (0,5log 2 0,5) \u003d 1 біт на одне кидання (за умови його незалежності). Біля джерела, який генерує рядок, що складається тільки з букв «А», ентропія дорівнює нулю: . Так, наприклад, досвідченим шляхом можна встановити, що ентропія англійського тексту дорівнює 1,5 біт на символ, що звичайно буде змінюватись для різних текстів. Ступінь ентропії джерела даних означає середнє число бітів на елемент даних, необхідних для її зашифровуваної без втрати інформації, при оптимальному кодуванні.

1. Деякі біти даних можуть не нести інформації. Наприклад, структури даних часто зберігають надлишкову інформацію, або мають ідентичні секції незалежно від інформації в структурі даних.
2. Кількість ентропії не завжди виражається цілим числом біт.

математичні властивості

ефективність

Вихідний алфавіт, зустрічається на практиці, має імовірнісний розподіл, яке далеко від оптимального. Якщо вихідний алфавіт мав n символів, тоді він може бути сравнён з «оптимізованим алфавітом», імовірнісний розподіл якого є однорідним. Співвідношення ентропії вихідного і оптимізованого алфавіту - це ефективність вихідного алфавіту, яка може бути виражена у відсотках.

З цього випливає, що ефективність вихідного алфавіту з n символами може бути визначена просто як рівна його n -арної ентропії.

Ентропія обмежує максимально можливе стиснення без втрат (або майже без втрат), яке може бути реалізовано при використанні теоретично - типового набору або, на практиці, - кодування Хаффмана, кодування Лемпеля - Зива - Велч або арифметичного кодування.

Варіації і узагальнення

умовна ентропія

Якщо проходження символів алфавіту не незалежні (наприклад, у французькій мові після букви «q» майже завжди слід «u», а після слова «передовик» в радянських газетах зазвичай слід було слово «виробництва» або «праці»), кількість інформації, яку несе послідовність таких символів (а отже і ентропія) очевидно менше. Для обліку таких фактів використовується умовна ентропія.

Умовної ентропією першого порядку (аналогічно для Марківського моделі першого порядку) називається ентропія для алфавіту, де відомі ймовірності появи однієї літери після інший (тобто ймовірності двобуквений сполучень):

де i - це стан, залежне від попереднього символу, і p i (j) - це ймовірність j , за умови, що i був попереднім символом.

Так, для російської мови без букви «».

Через приватну і загальну умовні ентропії повністю описуються інформаційні втрати при передачі даних в каналі з перешкодами. Для цього застосовуються так звані канальні матриці. Так, для опису втрат з боку джерела (тобто відомий посланий сигнал), розглядають умовну ймовірність отримання приймачем символу b j за умови, що був відправлений символ a i . При цьому канальна матриця має такий вигляд:

	b 1	b 2	…	b j	…	b m
a 1			…		…
a 2			…		…
…	…	…	…	…	…	…
a i			…		…
…	…	…	…	…	…	…
a m			…		…

Очевидно, ймовірно, розташовані по діагоналі описують ймовірність правильного прийому, а сума всіх елементів стовпця дасть можливість появи відповідного символу на стороні приймача - p(b j) . Втрати, що припадають на переданий сигнал a i , Описуються через приватну умовну ентропію:

Для обчислення втрат при передачі всіх сигналів використовується загальна умовна ентропія:

Чи означає ентропію з боку джерела, аналогічно розглядається - ентропія з боку приймача: замість всюди вказується (підсумовуючи елементи рядка можна отримати p(a i) , А елементи діагоналі означають ймовірність того, що був відправлений саме той символ, який отриманий, то є ймовірність правильної передачі).

взаємна ентропія

Взаємна ентропія, або ентропія об'єднання, Призначена для розрахунку ентропії взаємопов'язаних систем (ентропії спільного появи статистично залежних повідомлень) і позначається H(AB), Де A , Як завжди, характеризує передавач, а B - приймач.

Взаємозв'язок переданих та отриманих сигналів описується імовірностями спільних подій p(a i b j) , І для повного опису характеристик каналу потрібно тільки одна матриця:

p(a 1 b 1)	p(a 1 b 2)	…	p(a 1 b j)	…	p(a 1 b m)
p(a 2 b 1)	p(a 2 b 2)	…	p(a 2 b j)	…	p(a 2 b m)
…	…	…	…	…	…
p(a i b 1)	p(a i b 2)	…	p(a i b j)	…	p(a i b m)
…	…	…	…	…	…
p(a m b 1)	p(a m b 2)	…	p(a m b j)	…	p(a m b m)

Для більш загального випадку, коли описується не канал, а просто взаємодіючі системи, матриця необов'язково повинна бути квадратної. Очевидно, сума всіх елементів стовпця з номером j дасть p(b j) , Сума рядка з номером i є p(a i) , А сума всіх елементів матриці дорівнює 1. Спільна ймовірність p(a i b j) подій a i і b j обчислюється як добуток вихідної і умовної ймовірності,

Умовні ймовірності здійснюються за формулою Байеса. Таким чином є всі дані для обчислення ентропій джерела і приймача:

Взаємна ентропія обчислюється послідовним підсумовуванням по рядках (або за стовпцями) всіх ймовірностей матриці, помножених на їх логарифм:

H(AB) = −	∑	∑	p(a i b j) log p(a i b j).
	i	j

Одиниця виміру - біт / два символи, це пояснюється тим, що взаємна ентропія описує невизначеність на пару символів - відправленого та отриманого. Шляхом нескладних перетворень також отримуємо

Взаємна ентропія має властивість інформаційної повноти - з неї можна отримати всі розглянуті величини.

Історія

Примітки

Див. також

посилання

• Claude E. Shannon. A Mathematical Theory of Communication (англ.)
• С. М. Коротаєв.

інформаційна ентропія - міра невизначеності або непередбачуваності деякої системи (в статистичній фізиці або теорії інформації), зокрема невизначеність появи будь-якого символу первинного алфавіту. В останньому випадку при відсутності інформаційних втрат ентропія чисельно дорівнює кількості інформації на символ переданого повідомлення.

Наприклад, в послідовності букв, що становлять якесь речення російською мовою, різні літери з'являються з різною частотою, тому невизначеність появи для деяких букв менше, ніж для інших. Якщо ж врахувати, що деякі поєднання букв (в цьому випадку говорять про ентропію n (\\ displaystyle n)-го порядку, см.) зустрічаються дуже рідко, то невизначеність зменшується ще сильніше.

Поняття інформаційної ентропії можна проілюструвати за допомогою демона Максвелла. Концепції інформації та ентропії мають глибокі зв'язки один з одним [ які саме?], Але, незважаючи на це, розробка теорій в статистичної механіки і теорії інформації зайняла багато років, щоб зробити їх відповідними один одному [ ] .

ентропія - це кількість інформації, що припадає на одне елементарне повідомлення джерела, який виробляє статистично незалежні повідомлення.

енциклопедичний YouTube

1 / 5

✪ Подання про ентропію

✪ Що таке Ентропія?

✪ Інформаційна ентропія

✪ Ентропія і другий закон термодинаміки (відео 3) | енергія | Біологія

✪ Що таке ентропія? Джефф Філліпс # TED-Ed

субтитри

Отже, ми дали два визначення ентропії як змінної стану. Ентропія позначається буквою S. Згідно термодинамическому визначенням, зміни в ентропії рівні додає тепла, діленому на температуру, при якій це тепло додається. При цьому, якщо температура буде змінюватися в міру додавання тепла (що зазвичай і відбувається), то нам доведеться провести деякі обчислення. І це ви можете розглядати як математичне, або статистичне, або комбинаторное визначення ентропії. Згідно з цим визначенням, ентропія дорівнює помноженому на постійне число натуральному логарифму кількості станів, які може приймати система. І в такому випадку їхні капітали мають однакову ймовірність. Якщо ми говоримо про неймовірно величезній кількості молекул, які можуть мати ще більш величезна кількість станів, ми можемо припустити, що всі вони будуть відрізнятися приблизно однаковою ймовірністю. Є й трохи більш складне визначення - для випадків з ймовірністю різного порядку, однак зараз ми його торкатися не будемо. Тепер, коли ми розглянули ці два визначення, саме час розповісти вам про другий законі термодинаміки. Ось він. Це досить простий закон, який в той же час пояснює вельми широкий спектр різних явищ. Згідно з цим законом, зміни в ентропії у Всесвіті при здійсненні будь-якого процесу завжди будуть більше 0 або дорівнюють йому. Тобто коли у Всесвіті що-небудь відбувається, результатом цього стає збільшення ентропії. Це дуже важливий висновок. Давайте подивимося, чи зможемо ми докласти цей закон до конкретних ситуацій і таким чином зрозуміти його сенс. Припустимо, у мене є два пов'язаних один з одним резервуара. Ось у мене T1. Нехай це буде наш гарячий резервуар. А ось у нас T2. Це буде холодний резервуар. Що ж, з досвіду ми знаємо ... Що відбувається, якщо посудину з гарячою водою має загальну стінку з посудиною з холодною водою? Що відбувається в подібному випадку? Так, температура води в них вирівнюється. Якщо ми говоримо про одне й те ж речовині, то процес зупиниться приблизно посередині, якщо вони знаходяться в одній фазі. Таким чином, ми маємо справу з передачею тепла від більш гарячого речовини до більш холодного. У нас є якесь тепло, Q, яке передається від більш гарячого речовини до холодного. Звичайно, в повсякденному реальності ви не побачите, щоб тепло передавалося від більш холодного речовини до більш гарячого. Якщо ви покладете кубик льоду, скажімо, в гарячий чай, то, звичайно, лід не стане холодніше, а чай - гаряче. Температура обох речовин стане приблизно рівною, тобто по суті справи - чай \u200b\u200bвіддасть частину тепла льоду. Так само ми говоримо про двох резервуарах, і я припускаю, що їх температура залишається постійною. Це може статися тільки в тому випадку, якщо обидва вони є нескінченно великими, чого, звичайно, в реальному світі не існує. У реальному світі T1 буде знижуватися, а T2 - підвищуватися. Але давайте подивимося, чи повинно це відбуватися, згідно з другим законом термодинаміки. Отже, що ж відбувається тут? Яке чисте зміна ентропії для T1? Згідно з другим законом термодинаміки, зміна ентропії для Всесвіту більше 0. Але в даному випадку воно дорівнює зміні ентропії для T1, плюс зміна ентропії для ... хоча не зовсім так ... замість T1 давайте назвемо це просто 1 ... для системи 1, тобто, ось для цієї гарячої системи плюс зміна ентропії для системи 2. Отже, яке ж зміна ентропії для системи 1? Вона втрачає Q1 при високій температурі. Виходить мінус Q (бо система віддає тепло), поділене на T1. Потім ми повинні врахувати тепло, доданий системі T2. Отже, додамо Q, поділене на Т2. У нас вийде зміна ентропії для системи 2, вірно? Цей резервуар, який має температуру 1, більш високу, втрачає тепло. А резервуар, у якого більш низька температура 2, тепло отримує. Чи не буде це вище 0? Давайте трохи подумаємо. Якщо ми розділимо ... дозвольте, я перепишу це ... Я запишу по-іншому: Q, поділене на Т2, мінус ось це. Я просто переставляю показники ... Мінус Q, поділене на T1. І який же показник тепер більше? T2 або T1? Що ж, T1 більше, вірно? Тепер, коли у нас є більш високий показник ... Якщо ми використовуємо слово «вище», ми маємо на увазі певний порівняння. Отже, T1 вище ось цього. При цьому в чисельнику в обох випадках ми маємо одне і те ж число, так? Тобто якщо я візьму, скажімо, 1/2 мінус 1/3, то отримаю показник більше 0. Цей показник більше ось цього, тому що цей має більший знаменник. Ви ділите на більше число. Над цим варто подумати. Ви ділите Q на ось це число, а потім віднімаєте Q, поділене на більше число. Таким чином, ось ця дріб буде мати більш низький абсолютне значення. І вона буде більше 0. Відповідно, другий закон термодинаміки підтверджується нашим наглядом, згідно з яким тепло переходить від гарячого тіла до холодного. Тепер ви можете сказати - агов, Сел, я можу довести, що ти неправий. Ви можете сказати, якщо я поставлю кондиціонер в кімнату ... Ось кімната, а ось, що зовні. І ви скажете - подивіться, що робить кондиціонер! В кімнаті вже холодно, а на вулиці вже жарко. Але що робить кондиціонер? Він робить холодну ще більш холодним, а гаряче - ще більш гарячим. Він забирає якесь Q і рухається ось в цьому напрямку. Вірно? Він забирає тепло з холодної кімнати і випускає його в гаряче повітря. І ви говорите - це порушує другий закон термодинаміки. Ви тільки що спростували його. Ви заслуговуєте Нобелівської премії! Але я скажу вам - ви забуваєте один маленький факт. Усередині цього кондиціонера є компресор і двигун, які активно працюють і створюють такий результат. І ось цей двигун, я виділю його рожевим, теж випускає тепло. Давайте назвемо його Q двигуна. Таким чином, якщо ви хочете розрахувати загальну ентропію, створювану для всього Всесвіту, це буде ентропія холодної кімнати, плюс зміна ентропії для вулиці. Ентропія холодної кімнати плюс зміна ентропії для вулиці. Помітимо тут кімнату ... Ви можете сказати - добре. Дана зміна ентропії для кімнати, яка віддає тепло ... припустимо, що в кімнаті протягом хоча б однієї мілісекунди зберігається постійна температура. Кімната віддає деякий Q при певній температурі T1. І потім ... тут треба поставити мінус ... потім вулиця отримує деякий тепло при певній температурі T2. І ви скажете: цей показник менше ось цього. Тому що знаменник вище. Тоді це буде негативна ентропія, і ви можете сказати, що це порушує другий закон термодинаміки. Ні! Тут ми повинні врахувати ще один момент: що вулиця також отримує тепло від двигуна. Тепло від двигуна, поділене на вуличну температуру. І я гарантую, що ця змінна, прямо зараз цифр наводити не буду, зробить все це вираз позитивним. Цей змінна перетворить загальну чисту ентропію для Всесвіту в позитивну. А тепер давайте трохи поміркуємо про те, що таке ентропія з точки зору термінології. На уроках хімії вчитель нерідко може сказати, що ентропія дорівнює безладу. Це не помилка. Ентропія дорівнює безладу. Це не помилка, адже ентропія - це дійсно безлад, але ви повинні бути дуже обережні з визначенням безладу. Тому що один з найчастіших прикладів говорить: візьмемо чисту кімнату - припустимо, ваша спальня чиста, але потім вона стає брудною. І вони кажуть - погляньте, Всесвіт стала більш безладної. У брудній кімнаті більше безладу, ніж в чистій. Але це не збільшення ентропії. Так що це не дуже хороший приклад. Чому? Та тому, що чиста і брудна - це лише стану кімнати. А ми пам'ятаємо, що ентропія - це макропеременная стану. Ви використовуєте її для опису системи, коли у вас немає настрою сидіти тут і розповідати мені, що конкретно робить кожна частка. І це макропеременная, яка показує, скільки часу буде потрібно, щоб розповісти мені про те, що робить кожна частка. Ця змінна вказує на те, скільки станів існує в даному випадку або скільки інформації про стани я б хотів від вас отримати. У випадку з чистою і брудною кімнатою у нас є лише два різних стану однієї і тієї ж кімнати. Якщо в кімнаті тримається однакова температура і є однакова кількість молекул і так далі, то вона буде мати однакову ентропію. Отже, коли кімната стає більш брудною, ентропія не збільшується. Наприклад, у мене є брудна холодна кімната. Припустимо, я увійшов в цю кімнату і доклав чимало зусиль, щоб забратися в ній. Так я додаю в систему порцію тепла, і молекули мого поту розлітаються по всій кімнаті - відповідно, в ній з'являється більше вмісту, і вона стає теплішою, перетворюючись в жарку, чисту кімнату з крапельками поту. Це вміст можна скомпонувати великою кількістю способів, і оскільки в кімнаті жарко, то кожна молекула в ній може прийняти більше станів, так? Оскільки середня кінетична енергія висока, то можна спробувати з'ясувати, якою кількістю кінетичних енергій може володіти кожна молекула, а в потенціалі ця кількість може бути досить великим. По суті справи це і є збільшення ентропії. Від брудної, холодної кімнати - до спекотної і чистою. І це досить добре узгоджується з тим, що нам відомо. Тобто коли я входжу в кімнату і починаю забиратися в ній, я приношу в неї тепло. І Всесвіт стає більш ... Гадаю, ми можемо сказати, що ентропія збільшується. Так де ж тут безлад? Припустимо, у мене є м'яч, і він падає на землю і вдаряється об неї. І тут ми повинні поставити запитання, який постійно задається з часів відкриття першого закону термодинаміки. Як тільки м'яч вдарився об землю ... М'яч ударяється об землю, вірно? Я його кинув: в його верхній частині є певна потенційна енергія, яка потім перетворюється в кінетичну енергію, і м'яч вдаряється об землю, і потім зупиняється. Ось тут-то і виникає цілком закономірне питання - а що ж сталося з усією цією енергією? Закон збереження енергії. Куди вона вся поділася? Прямо перед тим, як вдаритися об землю, м'яч мав кінетичну енергію, а потім зупинився. Здається, що енергія зникла. Але це не так. Коли м'яч падає, у нього дуже багато ... як відомо, у всього є своє тепло. А що ж щодо землі? Її молекули вібрували з певною кінетичної енергією і потенційною енергією. А потім і молекули нашого м'яча стали трохи вібрувати. Але їх рух було, в основному, спрямована вниз, так? Рух більшості молекул м'яча було направлено вниз. Коли ж він вдаряється об землю, то ... дозвольте, я намалюю поверхня м'яча, що стикається з землею. Молекули м'яча в його передній частині будуть виглядати ось таким чином. І їх досить багато. Це тверде тіло. Ймовірно - з гратчастої структурою. І потім м'яч вдаряється об землю. Коли це відбувається ... земля - \u200b\u200bце ще одне тверде тіло ... Дуже добре, ось у нас Мікростан. Що ж станеться? Ось ці молекули вступлять у взаємодію з цими та передадуть свою кінетичну енергію, спрямовану вниз ... Вони передадуть її ось цим часткам землі. І зіткнуться з ними. А коли, скажімо, ось ця частка зіткнеться ось з цієї, то вона може рушити в цьому напрямку. А ця частка почне коливатися ось так, туди і назад. Ось ця частка може відштовхнутися від цієї і рушити в цьому напрямку, а потім зіткнутися ось з цієї та рушити ось сюди. А потім, оскільки ось ця частка врізається сюди, ось ця - врізається ось сюди, і оскільки ось ця вдарила ось тут, ось ця - вдаряє тут. З точки зору м'яча, відбувається щодо спрямований рух, але при зіткненні з молекулами землі він починає виробляти кінетичну енергію і створювати рух в самих різних напрямках. Ось ця молекула зрушить цю ось сюди, а ось ця - рушить сюди. Тепер уже рух не буде спрямованим, якщо у нас буде так багато молекул ... я позначу їх іншим кольором ... так от, якщо у нас буде багато молекул і всі вони будуть рухатися точно в одному і тому ж напрямку, то Мікростан буде виглядати як макросостояніе. Все тіло виявиться ось в цьому напрямку. Якщо ж у нас є дуже багато v і всі вони рухаються в різних напрямках, то мій м'яч в цілому буде залишатися на місці. У нас може бути така ж кількість кінетичної енергії на молекулярному рівні, але вони все будуть стикатися один з одним. І в даному випадку ми можемо описати кінетичну енергію як внутрішню енергію або як температуру, що дає середню кінетичну енергію. Таким чином, коли ми говоримо, що світ стає більш безладним, ми думаємо, про порядок швидкостей або енергій молекул. Перед тим, як вони будуть впорядковані, молекули можуть трохи вібрувати, але, в основному, вони будуть падати вниз. Але коли вони зіткнуться з землею, вони все тут же почнуть вібрувати в різних напрямках трохи більше. І земля теж починає вібрувати в різних напрямках. Отже - на рівні мікростану - все стає набагато більш безладним. Є ще один досить цікавий питання. Існує ще одна ймовірність ... Ви можете подумати: «Дивіться, цей м'яч впав і вдарився об землю. Чому він просто не ... чи не може статися так, що молекули землі самі змінять свій порядок так, щоб належним чином вдарити молекули м'яча? Існує певна ймовірність того, що, завдяки безладного руху, в якийсь момент часу всі молекули землі просто вдарять молекули м'яча таким чином, щоб він знову підстрибнув угору ». Так це так. Завжди є нескінченно малий шанс того, що це станеться. Існує ймовірність того, що м'яч буде просто лежати на землі ... і це дуже цікаво ... Вам, ймовірно, доведеться чекати сто мільйонів років, щоб це відбулося, якщо це взагалі коли-небудь відбудеться ... і м'яч може просто підстрибнути вгору. Існує дуже невелика ймовірність того, що ці молекули будуть безладно вібрувати таким чином, щоб упорядкуватися на секунду, а потім м'яч підстрибне. Але ймовірність цього практично дорівнює 0. Отже, коли люди говорять про порядок і безладді, безлад посилюється, так як тепер ці молекули будуть рухатися в різних напрямках і приймати більшу кількість потенційних станів. І ми це побачили. Як відомо, на певному рівні ентропія виглядає як щось магічне, але на інших рівнях вона видається цілком логічною. В одному ролику ... думаю, це був останній ролик ... у мене була велика кількість молекул, а потім з'явилося це додатковий простір ось тут, після чого я прибрав стінку. І ми побачили, що ці молекули ... зрозуміло, що були якісь молекули, які відштовхувалися від цієї стінки раніше, тому що з цим було пов'язано певний тиск. Потім, як тільки ми приберемо цю стінку, молекули, які вдарилися б про неї, продовжать рухатися. Зупинити їх нічому. Рух буде здійснюватися в цьому напрямку. Вони можуть стикатися з іншими молекулами і з цими стінками. Але що стосується цього напрямку, то ймовірність зіткнення, особливо для ось цих молекул, в принципі дорівнює 0. Тому відбуватиметься розширення і заповнення ємності. Так що все цілком логічно. Але що найголовніше, другий закон термодинаміки, як ми побачили в цьому ролику, говорить про те ж саме. Тобто про те, що молекули будуть рухатися і заповнювати ємність. І дуже мала ймовірність того, що вони все повернуться в упорядкований стан. Звичайно, є певна можливість того, що безладно рухаючись, вони повернуться в це положення. Але ця ймовірність дуже і дуже мала. Більш того, і я хочу звернути на це особливу увагу, S - це макросостояніе. Ми ніколи не говоримо про ентропії стосовно окремої молекулі. Якщо ми знаємо, що робить окрема молекула, ми не повинні турбуватися про ентропію. Ми повинні думати про систему в цілому. Так що якщо ми будемо розглядати всю систему і не звертатимемо уваги на молекули, ми не дізнаємося, що насправді сталося. При цьому ми можемо звернути увагу лише на статистичні властивості молекул. Скільки молекул у нас є, яка їх температура, їх макродинаміка, тиск ... і знаєте що? Ємність, в яку поміщені ці молекули, має більше станів, чим дрібніша ємність зі стінкою. Навіть якщо раптом все молекули завдяки випадку зберуться ось тут, ми і не дізнаємося, що це сталося, тому що ми не дивимося на мікростану. І це дуже важливо мати на увазі. Коли хтось говорить, що брудна кімната відрізняється більш високою ентропією, ніж чиста, то ми повинні розуміти, що вони розглядають мікростану. А ентропія - це, перш за все, поняття, пов'язане з макросостояніем. Ви можете просто сказати, що кімната відрізняється певним обсягом ентропії. Тобто поняття ентропії пов'язане з кімнатою в цілому, але воно буде корисно тільки тоді, коли ви точно не знаєте, що в ній відбувається. У вас є лише саме загальне уявлення про те, чим заповнена кімната, яка в ній температура, який тиск. Все це загальні макросвойства. Ентропія ж розповість нам, скільки макросостояніе може мати ця макросистема. Або скільки інформації, адже існує ж поняття інформаційної ентропії, скільки інформації я повинен вам надати, щоб ви склали точне уявлення про микростанів системи в відповідний момент часу. Приблизно так. Сподіваюся, це обговорення виявилося хоч трохи корисним для вас і прояснило деякі помилки щодо ентропії, а також допомогло вам скласти уявлення про те, що це таке насправді. До наступного ролика!

формальні визначення

інформаційна двоичная ентропія для незалежних випадкових подій x (\\ displaystyle x) з n (\\ displaystyle n) можливими станами, розподілених з вірогідністю ( i \u003d 1,. . . , N (\\ displaystyle i \u003d 1, ..., n)), Розраховується за формулою

H (x) \u003d - Σ i \u003d 1 n p i log 2 \u2061 p i. (\\ Displaystyle H (x) \u003d - \\ sum _ (i \u003d 1) ^ (n) p_ (i) \\ log _ (2) p_ (i).)

Ця величина також називається середньої ентропією повідомлення. величина H i \u003d - log 2 \u2061 p i (\\ displaystyle H_ (i) \u003d - \\ log _ (2) (p_ (i))) називається приватної ентропією, Що характеризує тільки i (\\ displaystyle i)-e стан. У загальному випадку підстава логарифма у визначенні ентропії може бути будь-яким, великим 1; його вибір визначає одиницю виміру ентропії. Так, найчастіше (наприклад, в задачах математичної статистики) зручнішим може виявитися застосування натурального логарифма.

Таким чином, ентропія системи x (\\ displaystyle x) є сумою з протилежним знаком всіх відносних частот появи стану (події) з номером i (\\ displaystyle i), Помножених на їх же виконавчі логарифми. Це визначення для дискретних випадкових подій можна формально розширити для безперервних розподілів, заданих щільністю розподілу ймовірностей, проте отриманий функціонал буде володіти дещо іншими властивостями (див. Диференціальна ентропія).

Визначення по Шеннону

Визначення ентропії Шеннона пов'язане з поняттям термодинамічної ентропії. Больцман і Гіббс виконали велику роботу по статистичної термодинаміки, яка сприяла прийняттю слова «ентропія» в інформаційну теорію. Існує зв'язок між термодинамічної та інформаційної ентропією. Наприклад, демон Максвелла також протиставляє термодинамічну ентропію інформації, і отримання якої-небудь кількості інформації одно втраченої ентропії.

Визначення за допомогою власної інформації

Також можна визначити ентропію випадкової величини, ввівши попередньо поняття розподілу випадкової величини X (\\ displaystyle X), Що має кінцеве число значень:

PX (xi) \u003d pi, pi ⩾ 0, i \u003d 1, 2, ..., n (\\ displaystyle P_ (X) (x_ (i)) \u003d p_ (i), \\ quad p_ (i) \\ geqslant 0, \\ Σ i \u003d 1 n p i \u003d 1 (\\ displaystyle \\ sum _ (i \u003d 1) ^ (n) p_ (i) \u003d 1) I (X) \u003d - log \u2061 P X (X). (\\ Displaystyle I (X) \u003d - \\ log P_ (X) (X).) Тоді ентропія визначається як:

H (X) \u003d E (I (X)) \u003d - Σ i \u003d 1 n p (i) log \u2061 p (i). (\\ Displaystyle H (X) \u003d E (I (X)) \u003d - \\ sum _ (i \u003d 1) ^ (n) p (i) \\ log p (i).)

Від підстави логарифма залежить одиниця виміру кількості інформації і ентропії: біт, нат, Тріт або Хартлі.

Ентропія є кількістю, певним в контексті ймовірнісної моделі для джерела даних. Наприклад, кидання монети має ентропію:

властивості

- 2 (1 2 log 2 \u2061 1 2) \u003d - log 2 \u2061 1 2 \u003d log 2 \u2061 2 \u003d 1 (\\ displaystyle -2 \\ left ((\\ frac (1) (2)) \\ log _ (2) ( \\ frac (1) (2)) \\ right) \u003d - \\ log _ (2) (\\ frac (1) (2)) \u003d \\ log _ (2) 2 \u003d 1)

біт на одне кидання (за умови його незалежності), а кількість можливих станів одно: 2 1 \u003d 2 (\\ displaystyle 2 ^ (1) \u003d 2) можливих стану (Значення) ( "орел" і "решка"). Біля джерела, який генерує рядок, що складається тільки з букв «А», ентропія дорівнює нулю:

- Σ i \u003d 1 ∞ log 2 \u2061 1 \u003d 0 (\\ displaystyle - \\ sum _ (i \u003d 1) ^ (\\ infty) \\ log _ (2) 1 \u003d 0) , А кількість2 0 \u003d 1 (\\ displaystyle 2 ^ (0) \u003d 1) одно: 2 1 \u003d 2 (\\ displaystyle 2 ^ (1) \u003d 2) можливий стан (Значення) ( «А») і від підстави логарифма не залежить. Це теж інформація, яку теж треба враховувати. Прикладом запам'ятовуючих пристроїв в яких використовуються розряди з ентропією рівною нулю, але з
кількістю інформації рівним 1 можливого станом , Тобто не рівним нулю, є розряди даних записаних в ПЗУ, в яких кожен розряд має тільки одне (Значення) ( «А») і від підстави логарифма не залежить..

Так, наприклад, досвідченим шляхом можна встановити, що ентропія англійського тексту дорівнює 1,5 біт на символ, що звичайно буде змінюватись для різних текстів. Ступінь ентропії джерела даних означає середнє число бітів на елемент даних, необхідних для її зашифровуваної без втрати інформації, при оптимальному кодуванні.

1. Деякі біти даних можуть не нести інформації. Наприклад, структури даних часто зберігають надлишкову інформацію, або мають ідентичні секції незалежно від інформації в структурі даних.
2. Кількість ентропії не завжди виражається цілим числом бітів.

математичні властивості

1. неотрицательность: H (X) ⩾ 0 (\\ displaystyle H (X) \\ geqslant 0).
2. обмеженість: H (X) \u003d - E (log 2 \u2061 pi) \u003d Σ i \u003d 1 npi log 2 \u2061 1 pi \u003d Σ i \u003d 1 npif (gi) ⩽ f (Σ i \u003d 1 npigi) \u003d log 2 \u2061 n (\\ displaystyle H (X) \u003d - E (\\ log _ (2) p_ (i)) \u003d \\ sum _ (i \u003d 1) ^ (n) p_ (i) \\ log _ (2) (\\ frac (1) (p_ (i))) \u003d \\ sum _ (i \u003d 1) ^ (n) p_ (i) f (g_ (i)) \\ leqslant f \\ left (\\ sum _ (i \u003d 1) ^ (n) p_ (i ) g_ (i) \\ right) \u003d \\ log _ (2) n), Що випливає з нерівності Йєнсена для увігнутою функції f (g i) \u003d log 2 \u2061 g i (\\ displaystyle f (g_ (i)) \u003d \\ log _ (2) g_ (i)) і g i \u003d 1 p i (\\ displaystyle g_ (i) \u003d (\\ frac (1) (p_ (i)))). Якщо все n (\\ displaystyle n) елементів з X (\\ displaystyle X) різновірогідні, H (X) \u003d log 2 \u2061 n (\\ displaystyle H (X) \u003d \\ log _ (2) n).
3. Якщо незалежні, то H (X ⋅ Y) \u003d H (X) + H (Y) (\\ displaystyle H (X \\ cdot Y) \u003d H (X) + H (Y)).
4. Ентропія - опукла вгору функція розподілу ймовірностей елементів.
5. якщо X, Y (\\ displaystyle X, \\; Y) мають однакове розподіл ймовірностей елементів, то H (X) \u003d H (Y) (\\ displaystyle H (X) \u003d H (Y)).

ефективність

Алфавіт може мати імовірнісний розподіл далеке від рівномірного. Якщо вихідний алфавіт містить n (\\ displaystyle n) символів, тоді його можна порівняти з «оптимізованим алфавітом», імовірнісний розподіл якого рівномірний. Співвідношення ентропії вихідного і оптимізованого алфавіту - це ефективність вихідного алфавіту, яка може бути виражена у відсотках. Ефективність вихідного алфавіту з n (\\ displaystyle n) символами може бути також визначена як його n (\\ displaystyle n)-арна ентропія.

Ентропія обмежує максимально можливе стиснення без втрат (або майже без втрат), яке може бути реалізовано при використанні теоретично - типового набору або, на практиці, - кодування Хаффмана, кодування Лемпеля - Зива - Велч або арифметичного кодування.

Варіації і узагальнення

b-арна ентропія

У загальному випадку b-арна ентропія (де b дорівнює 2, 3, ...) джерела S \u003d (S, P) (\\ displaystyle (\\ mathcal (S)) \u003d (S, \\; P)) з вихідним алфавітом S \u003d (a 1, ..., a n) (\\ displaystyle S \u003d \\ (a_ (1), \\; \\ ldots, \\; a_ (n) \\)) і дискретним розподілом ймовірності P \u003d (p 1, ..., p n), (\\ displaystyle P \u003d \\ (p_ (1), \\; \\ ldots, \\; p_ (n) \\),) де p i (\\ displaystyle p_ (i)) є ймовірністю ( p i \u003d p (a i) (\\ displaystyle p_ (i) \u003d p (a_ (i)))), Визначається формулою:

H b (S) \u003d - Σ i \u003d 1 n p i log b \u2061 p i. (\\ Displaystyle H_ (b) ((\\ mathcal (S))) \u003d - \\ sum _ (i \u003d 1) ^ (n) p_ (i) \\ log _ (b) p_ (i).)

Зокрема, при b \u003d 2 (\\ displaystyle b \u003d 2), Ми отримуємо звичайну двійкову ентропію, що вимірюється в бітах. при b \u003d 3 (\\ displaystyle b \u003d 3), Ми отримуємо трінарную ентропію, що вимірюється в тритій (один Тріт має джерело інформації з трьома рівноімовірними станами). при b \u003d e (\\ displaystyle b \u003d e), Ми отримуємо інформацію вимірювану в Натах.

умовна ентропія

Якщо проходження символів алфавіту не незалежні (наприклад, у французькій мові після букви «q» майже завжди слід «u», а після слова «передовик» в радянських газетах зазвичай слід було слово «виробництва» або «праці»), кількість інформації, яку несе послідовність таких символів (а, отже, і ентропія), очевидно, менше. Для обліку таких фактів використовується умовна ентропія.

умовної ентропією першого порядку (аналогічно для Марківського моделі першого порядку) називається ентропія для алфавіту, де відомі ймовірності появи однієї літери після інший (тобто, ймовірно двобуквений сполучень):

H 1 (S) \u003d - Σ ipi Σ jpi (j) log 2 \u2061 pi (j), (\\ displaystyle H_ (1) ((\\ mathcal (S))) \u003d - \\ sum _ (i) p_ (i) \\ sum _ (j) p_ (i) (j) \\ log _ (2) p_ (i) (j),)

де i (\\ displaystyle i) - це стан, залежне від попереднього символу, і p i (j) (\\ displaystyle p_ (i) (j)) - це ймовірність j (\\ displaystyle j) за умови, що i (\\ displaystyle i) був попереднім символом.

Наприклад, для російської мови без букви «е» H 0 \u003d 5, H 1 \u003d 4,358, H 2 \u003d 3, 52, H 3 \u003d 3, 01 (\\ displaystyle H_ (0) \u003d 5, \\; H_ (1) \u003d 4 (,) 358, \\; H_ ( 2) \u003d 3 (,) 52, \\; H_ (3) \u003d 3 (,) 01) .

Через приватну і загальну умовні ентропії повністю описуються інформаційні втрати при передачі даних в каналі з перешкодами. Для цього застосовуються так звані канальні матриці. Для опису втрат з боку джерела (тобто відомий посланий сигнал) розглядають умовну ймовірність отримання приймачем символу за умови, що був відправлений символ a i (\\ displaystyle a_ (i)). При цьому канальна матриця має такий вигляд:

	b 1 (\\ displaystyle b_ (1))	b 2 (\\ displaystyle b_ (2))	…	b j (\\ displaystyle b_ (j))	…	b m (\\ displaystyle b_ (m))
a 1 (\\ displaystyle a_ (1))	p (b 1 | a 1) (\\ displaystyle p (b_ (1) \\ mid a_ (1)))	p (b 2 | a 1) (\\ displaystyle p (b_ (2) \\ mid a_ (1)))	…	p (b j | a 1) (\\ displaystyle p (b_ (j) \\ mid a_ (1)))	…	p (b m | a 1) (\\ displaystyle p (b_ (m) \\ mid a_ (1)))
a 2 (\\ displaystyle a_ (2))	p (b 1 | a 2) (\\ displaystyle p (b_ (1) \\ mid a_ (2)))	p (b 2 | a 2) (\\ displaystyle p (b_ (2) \\ mid a_ (2)))	…	p (b j | a 2) (\\ displaystyle p (b_ (j) \\ mid a_ (2)))	…	p (b m | a 2) (\\ displaystyle p (b_ (m) \\ mid a_ (2)))
…	…	…	…	…	…	…
a i (\\ displaystyle a_ (i))	p (b 1 | a i) (\\ displaystyle p (b_ (1) \\ mid a_ (i)))	p (b 2 | a i) (\\ displaystyle p (b_ (2) \\ mid a_ (i)))	…	p (b j | a i) (\\ displaystyle p (b_ (j) \\ mid a_ (i)))	…	p (b m | a i) (\\ displaystyle p (b_ (m) \\ mid a_ (i)))
…	…	…	…	…	…	…
a m (\\ displaystyle a_ (m))	p (b 1 | a m) (\\ displaystyle p (b_ (1) \\ mid a_ (m)))	p (b 2 | a m) (\\ displaystyle p (b_ (2) \\ mid a_ (m)))	…	p (b j | a m) (\\ displaystyle p (b_ (j) \\ mid a_ (m)))	…	p (b m | a m) (\\ displaystyle p (b_ (m) \\ mid a_ (m)))

Очевидно, ймовірно, розташовані по діагоналі, описують ймовірність правильного прийому, а сума всіх елементів будь-якого рядка дає 1. Втрати, що припадають на переданий сигнал a i (\\ displaystyle a_ (i)), Описуються через приватну умовну ентропію:

H (B | a i) \u003d - Σ j \u003d 1 m p (b j | a i) log 2 \u2061 p (b j | a i). (\\ Displaystyle H (B \\ mid a_ (i)) \u003d - \\ sum _ (j \u003d 1) ^ (m) p (b_ (j) \\ mid a_ (i)) \\ log _ (2) p (b_ ( j) \\ mid a_ (i)).)

Для обчислення втрат при передачі всіх сигналів використовується загальна умовна ентропія:

H (B | A) \u003d Σ i p (a i) H (B | a i). (\\ Displaystyle H (B \\ mid A) \u003d \\ sum _ (i) p (a_ (i)) H (B \\ mid a_ (i)).)

H (B | A) (\\ displaystyle H (B \\ mid A)) означає ентропію з боку джерела, аналогічно розглядається H (A | B) (\\ displaystyle H (A \\ mid B)) - ентропія з боку приймача: замість p (b j | a i) (\\ displaystyle p (b_ (j) \\ mid a_ (i))) всюди вказується p (a i | b j) (\\ displaystyle p (a_ (i) \\ mid b_ (j))) (Підсумовуючи елементи рядка можна отримати p (a i) (\\ displaystyle p (a_ (i))), А елементи діагоналі означають ймовірність того, що був відправлений саме той символ, який отриманий, то є ймовірність правильної передачі).

взаємна ентропія

Взаємна ентропія або ентропія об'єднання призначена для розрахунку ентропії взаємопов'язаних систем (ентропії спільного появи статистично залежних повідомлень) і позначається H (A B) (\\ displaystyle H (AB)), де A (\\ displaystyle A) характеризує передавач, а B (\\ displaystyle B) - приймач.

поняття ентропії вперше введено в 1865 Р. Клаузиусом в термодинаміки для визначення міри незворотного розсіювання енергії. Ентропія застосовується в різних галузях науки, в тому числі і в теорії інформації як міра невизначеності будь-якого досвіду, випробування, який може мати різні наслідки. Ці визначення ентропії мають глибоку внутрішню зв'язок. Так на основі уявлень про інформацію можна вивести всі найважливіші положення статистичної фізики. [БЕС. Фізика. М: Велика російська енциклопедія, 1998].

Інформаційна двійкова ентропія для незалежних (неравновероятних) випадкових подій x з n можливими станами (від 1 до n, p - функція ймовірності) розраховується за формулою Шеннона:

Ця величина також називається середньої ентропією повідомлення. Ентропія в формулі Шеннона є середньою характеристикою - математичним очікуванням розподілу випадкової величини.
Наприклад, в послідовності букв, що становлять якесь речення російською мовою, різні літери з'являються з різною частотою, тому невизначеність появи для деяких букв менше, ніж для інших.
У 1948 році, досліджуючи проблему раціональної передачі інформації через зашумлений комунікаційний канал, Клод Шеннон запропонував революційний імовірнісний підхід до розуміння комунікацій і створив першу, істинно математичну, теорію ентропії. Його сенсаційні ідеї швидко послужили основою розробки теорії інформації, яка використовує поняття ймовірності. Поняття ентропії, як міри випадковості, введено Шенноном в його статті «A Mathematical Theory of Communication», опублікованій в двох частинах в Bell System Technical Journal в 1948 році.

У разі рівно можливих подій (окремий випадок), коли всі варіанти рівноймовірно, залишається залежність тільки від кількості розглянутих варіантів і формула Шеннона значно спрощується і збігається з формулою Хартлі, яка вперше була запропонована американським інженером Ральфом Хартлі в 1928 році, як один з наукових підходів до оцінки повідомлень:

, Де I - кількість інформації, що передається, p - ймовірність події, N - можливу кількість різних (рівноймовірно) повідомлень.

Завдання 1. На рівноімовірні події.
У колоді 36 карт. Яка кількість інформації міститься в повідомленні, що з колоди взята карта з портретом "туз"; "Туз пік"?

Імовірність p1 \u003d 4/36 \u003d 1/9, а p2 \u003d 1/36. Використовуючи формулу Хартлі маємо:

Відповідь: 3.17; 5.17 біт
Зауважимо (з другого результату), що для кодування всіх карт, необхідно 6 біт.
З результатів також ясно, що чим менша ймовірність події, тим більше інформації воно містить. (Дана властивість називається монотонністю)

Завдання 2. На неравновероятние події
У колоді 36 карт. З них 12 карт з "портретами". По черзі з колоди дістається і показується одна з карт для визначення зображений на ній портрет. Карта повертається в колоду. Визначити кількість інформації, що передається кожен раз, при показі однієї карти.