|
"
0
C
F
G
H
K
L
N
P
S
T
W
Z
А
Б
В
Г
Д
Е
Ж
З
И
Й
К
Л
М
Н
О
П
Р
С
Т
У
Ф
Х
Ц
Ч
Ш
Э
Ю
Я
ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯЗначение ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ в математической энциклопедии: - формальный аналог понятия энтропии для случайных величин, имеющих плотность распределения. Д. э. h(x) случайной величины x, определенной на нек-ром вероятностном пространстве (W, U, Р), принимающей значения в n-мерном евклидовом пространстве Rn и имеющей плотность распределения р(х),
(здесь 0log0 считается равным 0). Таким образом, Д. э. совпадает с энтропией меры Лебега l(-), где Понятие Д. э. оказывается полезным при вычислении различных теоретико-информационных характеристик, в первую очередь информации количестваJ(x, h)случайных векторов xи h. В случае, когда h(x), h(h)и h(x,h)(Д. э. пары (x,h)конечны, справедлива формула:
Среди свойств Д. э. можно отметить следующие два: 1) в отличие от обычной энтропии, Д. э. не ковариантна относительно изменения системы координат и может принимать отрицательные значения; 2) пусть j(x) - дискретизация с шагом Ахn-мерной случайной величины x, обладающей плотностью, тогда для энтропии Н(j(x))справедлива формула
при Лит.:[1] Гельфанд И. М., Колмогоров А. Н., Яглом А. М., в кн.: Тр. 3-го Всесоюзного математического съезда, т. 3, М., 1958, с. 300-320; [2] Renуi A., Wahrschein-lichkeitsrechnung, В., 1962. Р. Л. Добрушин, В. В. Прелое. |
|
|
|
дается формулой
относительно меры
- распределение x.
Таким образом, при 
главный член асимптотики Н(j(x)). зависит от размерности пространства значений x, Д. э. задает следующий по порядку член асимптотич. разложения, не зависящий от Ах, причем это первый член, в к-ром проявляется зависимость от конкретного вида распределения x.