离散信源输出5个不同符号，若各符号概率分别为1/2，1/4，1/8，1/16，1/16，则该信源的熵为()。

单符号离散信源的自信息和信源熵都具有非负性。 一离散信源由A，B，C，D四个符号组成，它们出现的概率分别为1/2，1/4，且每个符号的出现都是独立的，消息{AAAAABBACCDDB}熵为2bit/符号。╳81.信息论的创始人是维纳。 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 某独立发送的二进制信源,“1”符号出现概率为1/4,则“0”符号出现概率为(__),信源的平均信息量为(__) 已知二元离散信源只有0、1两种符号，若0出现概率为1/3，则1所含的信息量为（） 离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的（）倍。 自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越（） 若十六进制符号是非等概出现，则此信源输出的每个符号所包含的平均信息量是（） 已知二元离散信源只有0、1两种符号，若0出现概率为1/3，则1所含的信息量为.（898）（） 对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加（）个概率为0的消息。 某信源发出4种符号，则该信源符号的最大平均信息量为bit/符号；若每符号占2ms时间，则该信源最大可能的信息速率为b/s（） 有一二进制信源符号，0和1发生的概率分别P(0)与P（1），当（）概率发生时，信源的熵达到最大值。 有一二进制信源符号，0和1发生的概率分别P（0）与P（1），当（）概率发生时，信源的熵达到最大值 有一二进制信源符号，0和1发生的概率分别P（0）与P（1），当（）概率发生时，信源的熵达到最大值 4符号信源的最大信源熵可达2比特/符号 简述离散平稳信源的定义，平均符号熵、极限熵的定义，含义与理解。 信源的冗余度来自两个方面，一是信源符号之间的（），二是信源符号分布的（）。 设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵为（）。 对一个具有符号集B=（b1，b2）={0，1}的二元信源，设信源产生2个符号的概率分别为P（b1）=1/5和P（b2）=4/5，如对二进制数1001进行算术编码，其结果用十进制数表示为（）。 对一个具有符号集B=（b1，b2）={0，1}的二元信源，设信源产生2个符号的概率分别为P（b1）=1/5和P（b2）=4/5，如对二进制数1001进行算术编码，其结果用十进制数表示为（）