Introduccin a las Redes Neuronales y su aplicacin a la Investigacin Astrofsica

1
Introducción a las Redes Neuronales y su
aplicación a la Investigación Astrofísica

• Patricio García Báez
• pgarcia_at_ull.es

2
Sumario

• Introducción
• Inspiración biológica
• Modelado Neuronal
• Implementaciones
• Aplicaciones
• Grupo de trabajo
• Futuro de las RNAs

3
Redes Neuronales en la IA

• Ramas de la Inteligencia Artificial en sus
  inicios
• Simbólica-deductiva
• Sistemas formales de reglas y manipulación
  simbólica
• Rama más conocida de la IA
• Conexionista
• Inspirada en las redes neuronales biológicas
• Métodos Inductivos a partir de ejemplos
• Ambas tratan de resolver problemas no
  algoritmicos a partir de la experiencia
  almacenada como conocimiento

4
RNA como Modelo de Computación

• Conexionista vs. Von Neumann

5
Áreas de Trabajo
Procesamiento de Señales Análisis de
Datos Reconocimiento de Patrones Control Inteligen
cia Artificial
Desarrollo de aplicaciones basadas en técnicas
conexionistas
Informática
Construcción de modelos neuronales
Sicología
Proponer y validar modelos de funcionamiento de
arquitecturas neuronales
Matemáticas
Neurofisiología
Física
6
Inspiración biológica

• Entender el cerebro y emular su potencia
• Cerebro
• Gran velocidad de proceso
• Tratamiento de grandes cantidades de información
  procedentes de
• Los sentidos
• Memoria almacenada
• Capacidad de tratar situaciones nuevas
• Capacidad de aprendizaje

7
Inspiración biológica

• Neuronas
• Árbol dendrítico de entradas
• Un axón de salida
• Sobre de104 sinapsis
• Comunicación mediante Potenciales de Acción (PA)
• Periodo refractario de 10-3 segundos entre PAs

8
Inspiración biológica

• Transmisión neuronal
• Impulso eléctrico que viaja por el axón
• Liberación de neurotransmisores
• Apertura/cierre de canales iónicos
• Variación potencial en dendrita
• Integración de entradas en soma
• Si se supera umbral de disparo se genera un PA

9
Inspiración biológica

• Red Neuronal Biológica
• de 1010 a 1011 neuronas
• 1014 sinapsis
• Organización por capas
• Organización por niveles
• Sistema Nervioso Central (SNC)
• Circuitos entre regiones
• Circuitos locales
• Neuronas
• Árboles dendríticos
• Microcircuitos neuronales
• Sinapsis
• Canales iónicos
• Moléculas

10
Inspiración biológica

• Características SNC
• Inclinación a adquirir conocimiento desde la
  experiencia
• Conocimiento almacenado en conexiones sinápticas
• Gran plasticidad neuronal
• Comportamiento altamente no-lineal
• Alta tolerancia a fallos (muerte neuronal)
• Apto para reconocimiento, percepción y control

11
Modelado Neuronal

• Una red neuronal artificial (RNA) es un sistema
  de procesamiento de información que tiene ciertas
  aptitudes en común con las redes neuronales
  biológicas
• El procesamiento de información ocurre en muchos
  elementos simples llamados neuronas.
• Las señales son transferidas entre neuronas a
  través de enlaces de conexión.
• Cada conexión tiene un peso asociado, el cual,
  típicamente, multiplica a la señal transmitida.
• Cada neurona aplica una función de activación
  (usualmente no lineal) a su entrada de red (suma
  de entradas pesadas) para determinar su salida.
• Laurene Fausett

12
Modelado Neuronal

• Enfoques
• Computacional
• Modelos eficientes, potentes y simples
• Áreas de aprendizaje inductivo y reconocimiento
  de patrones
• Cognitivo
• Interesado por capacidades cognitivas de los
  modelos
• Centrados en representación del conocimiento
• Biocognitivo
• Premisa la plausibilidad biológica
• Psicofisiológico
• Mecanismos naturales de procesos cognitivos reales

13
Modelado Neuronal

• Neurona Artificial
• Grupo de entradas (x)
• Pesos sinápticos (w)
• Función suma (net)
• Función de activación (act)
• Una única salida (y)
• Funcionamiento en modo aprendizaje o ejecución

14
Modelado Neuronal

• Neurona Natural vs. Artificial
• Neurona Unidad de proceso
• Conexiones sinápticas Conexiones Pesadas
• Efectividad sináptica Peso sináptico
• Exitatorio/Inhibitorio Pesos ó -
• Efecto combinado de sinapsis Función suma
• Activación-gt Ratio disparo Función activación
  -gt salida

15
Modelado Neuronal

• Arquitecturas Neuronales
• Según e/o/s
• Número y tipo de entradas
• Elementos ocultos
• Elementos de salida
• Según conectividad entre capas
• Feedforward (hacia adelante)
• Redes Recurrentes
• Estructuras Enrejadas (Lattice)

16
Modelado Neuronal

• Arquitecturas Neuronales
• Según conexión entre capas
• Totalmente conectados (full-conexión)
• Parcialmente conectados
• Conexión uno a uno
• Sincronía (actualización de valores)
• Simultánea
• Aleatoria
• Según orden topológico

17
Modelado Neuronal

• Aprendizaje
• Estimulación de la RN por el entorno
• Cambios en la RN debido a estimulación
• Nueva forma de responder debido a cambios de la
  estructura interna de la RN

18
Modelado Neuronal

• Paradigmas de aprendizaje
• Aprendizaje Supervizado
• Aprendizaje por Reforzamiento
• Aprendizaje Auto-organizado (No Supervizado)
• Precalculado o prefijado

19
Modelado Neuronal

• Aprendizaje supervizado
• Se presentan pares de patrones de entrada y
  salida deseada
• Pasos
• Fijar pesos aleatorios las conexiones
• Seleccionar par de entrenamiento
• Presentar patrón de entrada y calcular salida
• Calcular error o discrepancia con la salida
  deseada
• Aplicar regla de aprendizaje
• Dudosa plausibilidad biológica
• Requiere propagar información hacia atrás
• Requiere de instructor

20
Modelado Neuronal

• Aprendizaje no supervizado
• Se presentan sólo patrones de entrada
• Basado en la redundancia en las entradas
• Aprendizaje extrae de los patrones
• Familiaridad con patrones típicos o promedios del
  pasado
• Análisis de las Componentes Principales
• Clustering
• Prototipos, correspondientes a las categorias
  existentes
• Codificación
• Mapa de Características
• Grandes plausibilidades biológicas

21
Modelado Neuronal

• Algoritmos de aprendizaje más comunes
• Perceptrón multicapa o Backpropagation (BPN)
• Aprendizajes supervizados bajo corrección de
  error
• Mapas Auto-organizados (SOM)
• Aprendizajes competitivo no supervizados
• Extractores de características (GHA ó ICA)
• Aprendizajes hebbianos no supervizados

22
Modelado Neuronal

• Propiedades y Capacidades

• Generalización
• Estructura altamente paralela
• No linealidad
• Mapeo de Entrada-Salida
• Adaptabilidad
• Respuesta graduada

• Información Contextual
• Tolerancia a fallos
• Implementación VLSI
• Uniformidad en el Análisis y Diseño
• Analogía Neurobiológica

23
Implementaciones

• Medio biológico vs. medio silicio
• Velocidad
• Neuronas 10-3 s., Puertas lógicas 10-9 s.
• Tamaño
• Neuronas 5 ó 6 órdenes de magnitud menores
• Eficiencia energética
• Cerebro 10-16 J/op./s., mejores ordenadores
  10-6
• Fan-In
• Promedio de 10.000 sinapsis por neurona, mucho
  mayor que en silicio

24
Implementaciones

• Neurosimuladores
• Software
• Flexibles
• Económicos
• Hardware
• Eficientes

25
Implementaciones

• Tipos Neurosoftware
• Programación directa
• Librerías
• Entornos de desarrollo
• Características deseables
• Facilidad de uso
• Potencia
• Eficiente
• Extensibilidad

26
Implementaciones

• Neurohardware
• VLSI analógico
• Opto-Electrónicos
• FPGAs
• Neuro-Chips (VLSI Digital)
• Neuro-Tarjetas
• Máquinas paralelas de propósito general
• Biochips
• Objetivo
• Acelerar fases de aprendizaje y ejecución

27
Implementaciones

• Biochips

28
Aplicaciones

• Fases de desarrollo

Selección de la arquitectura neuronal
Selección del conjunto de aprendizaje
Fase de aprendizaje
Fase de validación
Selección del conjunto de validación
Implantar en aplicación
29
Aplicaciones

• Tipos de problemas abordables
• Asociación
• Clasificación de Patrones
• Predicción
• Control
• Aproximación
• Optimización
• En general
• Difícil describir conocimiento/forma de
  resolverlos
• Se dispone de una gran cantidad de datos

30
Problemas de Asociación

• NETalk (Sejnowski Rosemberg)
• A partir de textos escritos genera gonemas
  correspondientes. Mejoras durante aprendizaje
• Tratamiento de imágenes
• Ruido placas matrículas
• Restitución
• Compresión de Imágenes

31
Problemas de Clasificación de Patrones

• Conteo de células
• Clasificación de glóbulos blancos
• Inspección visual

32
Problemas de Predicción

• Airline Marketing Tactician (AMT)
• Monitoriza y recomienda la reserva de plazas
• Neuralstocks
• Servico de predicciones financieras a corto plazo

33
Problemas de Control

• Control de robots
• Cinemática inversa
• Dinámica
• ALVINN
• Conducción de vehículo

34
Problemas de Aproximación

• Aproximación de funciones utilizando RBFs

Problemas de Optimización

• Optimización de rutas
• TSP

35
Aplicaciones en Astronomía/Astrofísica

• Reconocimiento de estrellas/galaxias
• Clasificación espectral y morfológica de
  estrellas/galaxias
• Estudios de superficies planetarias
• Estudio del campo magnético interplanetario
• Determinación de parámetros en atmósferas
  estelares
• Clasificación de poblaciones de enanas blancas
• Neural Networks, 16 (2003)

36
Aplicaciones en Astronomía/Astrofísica

• Identificación y caracterización de objetos
  QSO's, galaxias IR ultraluminosas, fuente de
  Rayos Gamma
• Determinación de desplazamientos fotométricos al
  rojo
• Eliminación de ruido en pixels
• Descomposición de datos simulados
  multi-frecuencia para la misión Planck
• Búsqueda de cúmulos de galaxias
• Neural Networks, 16 (2003)

37
Aplicaciones en Astronomía/Astrofísica

• Análisis de datos recogidos por instrumentos de
  nueva generación para astrofísica de alta
  energía
• Telescopio de neutrinos AUGER y ARGO
• Telescopio de rayos gamma Cherenkhov
• Interferómetro de ondas gravitacionales VIRGO
• Búsqueda de bosones Higgs
• AstroNeural, paquete AstroMinnig reducción y
  análisis de datos
• Neural Networks, 16 (2003)

38
Grupo de Trabajo

• Grupo de Computación Neuronal y Adaptativa y
  Neurociencia Computacional
• Departamento de Estadística, I. O. y Computación,
  ULL
• I. U. de Ciencias y Tecnologías Cibernética,
  ULPGC
• Área de Conocimiento Ciencias de la Computación
  e Inteligencia Artificial
• Líneas de trabajo
• Neurociencia Computacional y Cognición
  Computacional Comunicación NeuronalAprendizaje
  y Memoria.Procesos y Estructuras
  Cognitivas/Perceptivas Teorías y Modelos
• Redes Neuronales Naturales y Artificiales Diseño
  de Nuevos Modelos de RNAs
• Aplicación de la Computación Neuronal en Dominios
  Biomédicos, Clínicos y Medioambientales

39
Grupo de Trabajo

• Campos aplicativos estudiados
• Procesamiento de Señales Neurofisiológicas
• Identificación de Espectros Luminescentes
• Agente de Catalogación Automática de Webs
• Sistema Automático de Detección de Ataques
  Informáticos
• Diagnóstico de Enfermedades Neurodegenerativas

40
Grupo de Trabajo

• Docencia Impartida en la ULL
• Introducción a los Modelos de Computación
  Conexionista
• 3er curso, Ing. Técnica en Informática de
  Sistemas, ETSII
• 30 a 40 alumnos
• http//soma.etsii.ull.es/imcc/
• Introducción a la Inteligencia Artificial
• 3er curso, ITI de Gestión/Sistemas
• 50 a 60 alumnos
• http//soma.etsii.ull.es/iia/
• Modelos Conexionistas y Autómatas
• 5º curso, Ing. Informática, ETSII
• 10 a 20 alumnos
• http//soma.etsii.ull.es/mcya/

41
Futuro de las RNAs

• Futuro prometedor, si nos seguimos acercando a
  las característicias de los organismos vivos
• Evolución, Computación Colectiva, Manejo del
  Conocimiento, ...
• Natural Computing gt Soft Computing
• Presente problemático dificultades de
  escalabilidad
• Tal vez algunos parámetros de nuestros modelos
  son erroneos?
• Tal vez no disponemos de la suficiente potencia
  informática?
• Tal vez nuestros modelos no han alcanzado la
  suficiente complejidad?
• Tal vez nos falta en nuestros modelos algún
  concepto fundamental?