LIMITES FUNDAMENTALES DE LA

1
LIMITES FUNDAMENTALES DE LA INFORMACION Y LA
COMUNICACION CODIGOS TURBO
Dr. Edwin Marengo Ph.D. in Electrical
Engineering Fernando Merchan
Junio, 2003
2
Publicado el ano siguiente como the mathematical
theory of communication conjuntamente con Weiver,
por la universidad de illinois se popularizo.
Uno de los trabajos mas trascendentales,
influyentes del siglo 20 fue este trabajo del
doctor shannon de los laboratorios de la bell.
Reconocido unanimemente como la carta magna (El
manifiesto) de toda la era de la informacion en
la que vivimos.
Teoría de la información
A mathematical theory of communication, Bell
System Technical Journal, 1948.
La Carta Magna de la era de la información.
3
Teoremas de Shannon

• Teorema de codificación sin ruido
• (noiseless coding theorem)
• Indica cuánto se puede comprimir un mensaje, o
  cuán
• redundante es la data.
• Teorema de codificación de canal con ruido
• (noisy channel coding theorem)
• Indica a qué rata (bits por uso del canal) puede
  
• transmitirse con error arbitrariamente bajo,
• o cuánta redundancia mínima hay que añadir
• a fin de transmitir con error arbitrariamente
  bajo.

4
El Sistema de Comunicación
Decision maker
Canal de comunicación o almacenamiento
Fuente
Mensaje (señal) transmitida
Mensaje decodificado (estación de recepción)
Mensaje alterado por ruido del canal
5
El Sistema de Comunicación
Mensaje original
Codificador de fuente
Fuente
Mensaje comprimido
Codificador de canal
Decodificador de canal
Canal
Mensaje redundante para el canal
Decodificador de fuente
Usuario receptor
Mensaje original
6
El Sistema de Comunicación
Mensaje con redundancia adicional para corrección
de errores en el canal (redundancia depende de
la estadística del canal)
10101010 11010010 10110001 10111001 01001011 10101
011 01101011
11001100 10110101 10111011 10101011 10010101 01000
110
11011 01100 10101 00110
Al canal
Mensaje comprimido (elimina redundancia en la
fuente)
Pérdidas, flips,etc.
Mensaje de la fuente
Codificación en un paso o en dos
Depende de la estadística de la fuente.
7
El Sistema de Comunicación
10101010 11010010 10110001 10111001 01001011 10101
011 01101011
Lado de la transmisión...
11001100 10110101 10111011 10101011 10010101 01000
110
11011 01100 10101 00110
Al canal
Pérdidas, flips,etc.

10101010 11010010 10110001 10111001 01001011 10101
011 01101011
Mensaje digital
11001100 10111101 10111011 11101011 11010101 01000
110
Mapeo inverso
11011 01100 10101 00110
Mensaje análogo
Del canal
Lado de la recepción...
Mensaje reconstruído
Codificación de fuente con o sin pérdida
8
La Fuente
Vamos a tratar la salida de la fuente como una
variable aleatoria X cuyos posibles valores son
x?S (Salfabeto de símbolos), con probabilidades
P(Xx)p(x).
1
0
1
0
Mensajes secuencias de 0s y 1s
Fuente (binaria)
. . .
Salida de la fuente a cada instante X
S0,1 espacio de posibles símbolos (alfabeto)
Caso especial
0
1
P(X0)p(0)p P(X1)p(1)1-p(0)1-p
9
Secuencias Producidas por la Fuente
Secuencia de n bits XX1 X2 Xn
e.g., x101010
Realización particular
x?S x?Sn
S
S
S
0
0
0
?
?
?
Sn
. . .
1
1
1
e.g., S200,01,10,11 Sntodas las secuencias
de n bits
Número Sn de elementos en Sn 2n en el caso de
S binario.

10
Secuencias Producidas por la Fuente
1
0
1
0
Fuente (binaria)
. . .
P(X0)p(0)p P(X1)p(1)1-p(0)1-p
Weak law of large numbers (WLLN)
Para secuencias largas (n grande) Número de
0s en la secuencia ? np Número de 1s en la
secuencia ? n(1-p) Proporción de 0s en la
secuencia ? p en probabilidad cuando
n?? (Probabilidad ? 1)
Es más, cada una de tales secuencias es
equiprobable.
11
Secuencias Producidas por la Fuente
Secuencias probabilísticamente típicas (N(0)?np)
10011011010101101011011011110000101011000101011011
0
Las secuencias que ocurren son típicas (con gran
probabilidad).
Secuencias atípicas
11111111111111111111111111111111111111111111111111
1
Cuántas secuencias típicas hay?
( )
n
Sntypical n!/(np)!(n-np)! ?
2nH(p)
n??
np
H(p) entropía de la fuente -p log p (1-p)
log (1-p) - E log P(X). (caso
general)
12
Secuencias Producidas por la Fuente
Large n
Sn
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
P(típica)?1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Sntypical
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Sntypical?2nH(p)
Sn2n
Nota Probabilidad de cada secuencia que ocurre
es igual, P(Xx?Sntypical)?2-nH(p)
Espacio de todas las secuencias
13
Codificación de Fuente
Secuencias largas... secuencias típicas
Fuente
11010101001101010001101010110...
Sn
.
Sntypical
14
Codificación de Fuente
Fuente
110...
Canal sin pérdida e.g., almacenamiento.
110...

• Almacenar cada bit de salida de la fuente.
• Ineficiente.

15
Codificación de Fuente

• Dejar que la fuente produzca secuencias largas

Fuente
11010101001101010001101010110...
Probablemente típica

• Identificar qué secuencia típica se produjo

Número Sntypical de tales secuencias ? 2nH(p)

• Asignar una secuencia binaria única a cada
  secuencia
• típica, i.e., necesitamos ?nH(p)? dígitos.

Almacenamiento
n bits
?nH(p)? bits
Codifica- dor
Fuente
Transmisión
Compresión H(p)?logS Para S2, H(p)?1
16
Codificación de Fuente

• Dejar que la fuente produzca secuencias largas

Fuente
11010101001101010001101010110...
Probablemente típica
Libro de todas las 2n secuencias (raw data)
17
Codificación de Fuente

• Dejar que la fuente produzca secuencias largas

Fuente
11010101001101010001101010110...
Probablemente típica
Secuencias típicas
18
Codificación de Fuente
Libro de secuencias típicas
Libro de código (codebook)
Secuencia original
Palabra código (codeword)
11010101001101010001101010110...
111111111111
L n bits
nH(p)? L ? nH(p)1
Length per symbol L/n 1
H(p)? Length per symbol L/n lt H(p)1/n
19
Entropía

H(X) Medida de incertidumbre de X
X
?
más incertidumbre más información
20
Entropía
H(X) Reducción en incertidumbre de X después de
revelar X

Información extraída
X
a
b
c
d
21
Información Mutua

Muestras (samples) de la misma variable aleatoria
X (salida de la fuente).
Y
(otra variable)
X
?
22
Información Mutua

Muestras (samples) de la misma variable aleatoria
X (salida de la fuente).
Y
(otra variable)
X
?
X
Y
Transmisor
Receptor
ruido
Cuánta información sobre X está contenida en Y?
Información mutua I(XY) de X, Y
23
Información Mutua
H(XY) -Ep(x,y) log p(XY) -?x,y p(x,y) log
p(xy)
Información ganada sobre X por conocimiento de Y
es I(XY) H(X) H(XY)
Información mutua
I(XY)
H(XY)
H(YX)
H(X)
H(Y)
24
El Canal Matemático
Sin memoria
Salida del codificador de fuente

Canal
W
Xn
Yn
W
Decodifica- dor
Codificador (de canal)
p(yx)
Mensaje
Estimado del mensaje
Secuencia de símbolos de canal, e.g., S0, 1
25
El Canal Matemático
Sin memoria
Salida del codificador de fuente

Canal
W
Xn
Yn
W
Decodifica- dor
Codificador (de canal)
p(yx)
Mensaje
Estimado del mensaje
Secuencia de símbolos de canal, e.g., S0, 1
Posibles Y
1-f-q
0
0
Canal binario con borrado (Binary erasure
channel)
q
S0,1 conjunto de valores de X
f
e
f
Probabilidades condicionales fP(Y1X0) qP(Ye
X0)
q
1
1
1-f-q
Diagrama de transiciones
26
El Código de Canal
Sin memoria
Salida del codificador de fuente
p(x)

Canal
W
Xn
Yn
W
Decodifica- dor
Codificador (de canal)
p(yx)
Mensaje
Estimado del mensaje
Secuencia de símbolos de canal, e.g., S0,
1 Medida de probabilidad p(x)
CODIGO
a
a
110010
110000
b
b
c
c


27
El Código de Canal
Sin memoria
Salida del codificador de fuente
p(x)

Canal
W
Xn
Yn
W
Decodifica- dor
Codificador (de canal)
p(yx)
Mensaje
Estimado del mensaje
Secuencia de símbolos de canal, e.g., S0,
1 Medida de probabilidad p(x)
CODIGO
a
a
110010
110000
b
b
M señales (equiprobables)
n
c
c


Rata del código R log M / n
(bits/usos)
bits de información
usos del canal
28
Definición Capacidad Informática
Información mutua
C max p(x) I(XY)
Sobre las distribuciones a la entrada
29
Teorema de Codificación de Canal

• Teorema directo Si RltC, entonces ? código
  (M,n), M2nR,
• con máxima probabilidad de error Pe(n)?0.
• Teorema inverso Para cualquier código (2nR,n)
  con
• Pe(n)?0, entonces R?C.

C
Importancia Realizabilidad.
R
Importancia Límite máximo (upper bound) de la
rata R para transmisión sin error.
Rata R máxima de transmisión C
30
Teorema de Codificación de Canal
Nota Transmisiones individuales pueden tener
error.
Canal
0
1
Transición 0?1
Y
X
31
Teorema de Codificación de Canal
Clave Usar bloques largos.
Canal
1100101110101101
Palabra código
Y
X
32
Teorema de Codificación de Canal
Canal
?
?
?
?
?
?
110010111010101
110010111010101
Xn
Yn
(espacio)
33
Teorema de Codificación de Canal
Canal
?
?
?
?
?
?
110010111010101
110010110010001
Xn
Yn
Secuencias modificadas, i.e., errores
34
Teorema de Codificación de Canal
M símbolos de fuente
1
2
Canal
3
?
?
?
?
?
?
110010111010101
110010110010001
M
Xn
Yn
Codificación
35
Teorema de Codificación de Canal
M símbolos de fuente
1
1
2
2
Canal
3
3
?
?
?
?
?
?
110010111010101
110010110010001
M
M
Xn
Yn
Rata R log M / n
Codificación
Decodificación
36
Teorema de Codificación de Canal
M secuencias
2n
Símbolo
Xn
Yn
37
Teorema de Codificación de Canal
Concepto Tipicalidad
Símbolo
Xn
Yn
38
Teorema de Codificación de Canal
Concepto Tipicalidad
2nH(YX)
Símbolo
Secuencias típicas de salida 2nH(Y)
Xn
Yn
2nH(YX)
39
Teorema de Codificación de Canal
Concepto Tipicalidad
Xn
Yn
Queremos evitar overlap Para tener Pe?0
Número M de señales discernibles 2nH(Y) /
2nH(YX)
Rate R log M / n H(Y)-H(YX) I(XY)
mutual info.
Max. R max. I(XY)
40
Conclusión
Realización
Compresión de Data
Límites
(Rate distortion theory)
TEORIA DE LA INFORMACION
41
Conclusión
Comunicaciones, Codificación de
Canal, Codificación Combi- nada
Realización
Límites
(Differential Entropy, Channel Coding)
TEORIA DE LA INFORMACION
Realización reciente (Turbo codes)
e.g., Canal Gausiano aditivo